Tylko jeden z 33 regionów AWS Bedrock — us-west-2 — pozwala na fine-tuning modelu Llama 3.3 o 70 miliardach parametrów. Deweloperzy muszą albo składać potoki (pipelines) międzyregionalne, albo korzystać z topornych obejść.

Dlaczego to odkrycie jest ważne

Publiczna strona z cennikiem AWS wciąż zawiera koszty trenowania starszej serii Llama 2. Nowsze rodziny Llama 3.1 i 3.3 są całkowicie pominięte. Inżynierowie muszą zgadywać, które regiony faktycznie obsługują fine-tuning, jak długo zadania będą oczekiwać w kolejkach i czy czas bezczynności będzie fakturowany.

Twarde dane

  • us-west-2 – jedyny region, w którym działa fine-tuning Llama 3.3 70B.
  • us-east-1 – tylko modele stworzone przez Amazon; brak fine-tuningu dla Llama lub Anthropic.
  • eu-west-2 (Londyn) – pozwala na fine-tuning tylko jednego, niebędącego modelem Llama.
  • Wszystkie pozostałe regiony – zwracają błędy „model not available” dla Llama 3.3 70B.

Jeśli potrzebujesz niestandardowo dostrojonego modelu Llama 3.3 70B, uruchom zadanie w us-west-2 i przesyłaj dane między regionami lub spróbuj ścieżki „Custom Model Import”, która w przypadku autora zakończyła się błędem sprzętowym (generic hardware error).

Custom Model Import: ryzykowna objazdowa trasa

Dokumentacja AWS twierdzi, że „Custom Model Import” pozwala przenieść wagi poniżej 200 GB do dowolnego regionu, w tym eu-central-1. W rzeczywistości próby importu Llama 3.3 70B (znacznie przekraczającej ten rozmiar) wielokrotnie kończyły się błędem „hardware error”. Na razie najbezpieczniejszą opcją pozostaje natywny punkt końcowy (endpoint) fine-tuningu w us-west-2.

Dwa triki, które oszczędzą pieniądze (i zdrowie psychiczne)

  1. Nie ufaj flagi „InProgress” na najwyższym poziomie. Zadanie może przez wiele godzin znajdować się w kolejce zarządzanej przez AWS ze statusem „InProgress”, podczas gdy żadne zasoby obliczeniowe nie są uruchamiane. Rozliczenia zaczynają się dopiero, gdy zagnieżdżone pole trainingDetails zmieni status na „Running”. Sprawdzaj wewnętrzną flagę, aby uniknąć płacenia za czas oczekiwania w kolejce.
  2. Cierpliwość popłaca. Jedno zadanie testowe czekało w kolejce przez 23 godziny, zanim rozpoczęło trenowanie, i zakończyło się bez problemów. Przerwanie go i ponowne uruchomienie przesunęło je na koniec kolejki, wydłużając całkowity czas oczekiwania. Czas w kolejce jest bezpłatny; koszty zaczynają się dopiero po uruchomieniu instancji GPU.

Inne lekcje z praktyki

  • Schematy modeli się różnią. Llama 3.3 i Llama 3.1 używają różnych obiektów konfiguracyjnych. Kopiowanie schematu JSON z jednej wersji do drugiej powoduje błędy walidacji, mimo że limity, takie jak długość tokenów, są takie same.
  • Dziwne zachowanie limitów (quota). Limit dla „Custom models with a creating status” jest często znacznie niższy niż ogólny limit zadań. Jeśli napotkasz błąd „quota exceeded”, podczas gdy poprzednie zadanie wciąż ma status „creating”, usuń nieaktualny wpis przed uruchomieniem nowego.
  • Koszty przechowywania rosną. Każdy punkt kontrolny (checkpoint) po fine-tuningu zajmuje miejsce w S3, co jest rozliczane według standardowych stawek. Pozostawienie starych wersji bez zmian zwiększa Twój miesięczny rachunek, nie wnosząc żadnej wartości.

Podsumowanie

Jeśli Twój projekt opiera się na modelu Llama 3.3 70B po fine-tuningu, zaplanuj ten krok w regionie us-west-2 lub przygotuj się na metodę prób i błędów przy niestandardowych importach. Weryfikuj status kolejki na szczegółowym poziomie, nie przerywaj zadań, które długo czekają, i uważnie monitoruj zużycie pamięci masowej oraz limitów.