Slechts één van de 33 regio's van AWS Bedrock — us-west-2 — stelt je in staat om het Llama 3.3-model met 70 miljard parameters te fine-tunen. Ontwikkelaars moeten ofwel cross-regionale pipelines aan elkaar knopen, of een omslachtige workaround accepteren.

Waarom deze ontdekking belangrijk is

De openbare prijzenpagina van AWS vermeldt nog steeds de trainingskosten voor de oudere Llama 2-serie. De nieuwere Llama 3.1- en 3.3-families ontbreken volledig. Ingenieurs moeten gissen welke regio's daadwerkelijk fine-tuning ondersteunen, hoe lang jobs in wachtrijen blijven staan en of inactiviteit in rekening wordt gebracht.

De harde cijfers

  • us-west-2 – de enige regio waar fine-tuning voor Llama 3.3 70B werkt.
  • us-east-1 – alleen door Amazon gebouwde modellen; geen fine-tuning voor Llama of Anthropic.
  • eu-west-2 (Londen) – fine-tunt een enkel, niet-Llama model.
  • Alle andere regio's – geven "model not available"-fouten terug voor Llama 3.3 70B.

Als je een custom-tuned Llama 3.3 70B nodig hebt, voer de job dan uit in us-west-2 en verstuur de data tussen regio's, of probeer de "Custom Model Import"-route, die bij de poging van de auteur mislukte met een generieke hardwarefout.

Custom Model Import: een riskante omweg

AWS-documentatie beweert dat "Custom Model Import" gewichten van minder dan 200 GB naar elke regio kan brengen, inclusief eu-central-1. In de praktijk liepen pogingen om Llama 3.3 70B (ruim groter dan die omvang) herhaaldelijk tegen een "hardware error" aan. Voorlopig blijft de veiligste optie het native us-west-2 fine-tuning-endpoint.

Twee trucs die geld (en je mentale gezondheid) besparen

  1. Vertrouw de top-level "InProgress"-vlag niet. Een job kan urenlang in een door AWS beheerde wachtrij staan met die status, terwijl er geen rekenkracht wordt gebruikt. Facturering begint pas wanneer het geneste trainingDetails-veld naar "Running" verspringt. Controleer de interne vlag om te voorkomen dat je betaalt voor inactiviteit in de wachtrij.
  2. Geduld loont meer dan ongeduld. Een testjob bleef 23 uur in de wachtrij staan voordat de training begon en werd zonder problemen voltooid. Het afbreken en opnieuw starten ervan zorgde ervoor dat de job weer achteraan de rij kwam te staan, wat de totale wachttijd verlengde. Wachttijd is gratis; de kosten lopen pas op zodra de GPU-instances worden opgestart.

Andere lessen uit de praktijk

  • Model-schema's verschillen. Llama 3.3 en Llama 3.1 gebruiken verschillende configuratie-objecten. Het kopiëren en plakken van een JSON-schema van de ene naar de andere versie veroorzaakt validatiefouten, ook al komen limieten zoals de tokenlengte overeen.
  • Quota-onregelmatigheden. De limiet op "Custom models with a creating status" is vaak veel lager dan het algemene job-quota. Als je een "quota exceeded"-fout krijgt terwijl een vorige job nog op "creating" staat, verwijder dan de verouderde vermelding voordat je een nieuwe start.
  • Opslag loopt op. Elk fine-tuned checkpoint verbruikt S3-opslag die tegen standaardtarieven wordt gefactureerd. Het ongemoeid laten van oude versies verhoogt je maandelijkse rekening zonder dat het waarde toevoegt.

Conclusie

Als je project afhankelijk is van een fine-tuned Llama 3.3 70B-model, plan dan om die stap in us-west-2 uit te voeren, of bereid je voor op trial-and-error met custom imports. Controleer de wachtrijstatus op een gedetailleerd niveau, weersta de neiging om langdurig wachtende jobs af te breken, en houd het gebruik van opslag en quota nauwlettend in de gaten.