AWS Bedrock-ന്റെ 33 റീജിയണുകളിൽ us-west-2 എന്ന ഒരൊറ്റ റീജിയണിൽ മാത്രമേ 70-ബില്യൺ പാരാമീറ്റർ ഉള്ള Llama 3.3 മോഡൽ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ സാധിക്കൂ. ഡെവലപ്പർമാർക്ക് ഒന്നുകിൽ റീജിയണുകൾക്കിടയിൽ പൈപ്പ്‌ലൈനുകൾ കോർത്തിണക്കേണ്ടി വരും, അല്ലെങ്കിൽ ബുദ്ധിമുട്ടുള്ള മറ്റ് വഴികൾ സ്വീകരിക്കേണ്ടി വരും.

ഈ കണ്ടെത്തൽ പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

AWS-യുടെ പബ്ലിക് പ്രൈസിംഗ് പേജിൽ ഇപ്പോഴും പഴയ Llama 2 സീരീസിന്റെ ട്രെയിനിംഗ് ചിലവുകളാണ് കാണിക്കുന്നത്. പുതിയ Llama 3.1, 3.3 ഫാമിലികൾ അവിടെ പൂർണ്ണമായും വിട്ടുപോയിരിക്കുന്നു. ഏത് റീജിയണുകളാണ് യഥാർത്ഥത്തിൽ ഫൈൻ-ട്യൂണിംഗ് പിന്തുണയ്ക്കുന്നത്, ജോലികൾ ക്യൂവിൽ എത്ര സമയം ഇരിക്കും, ഉപയോഗശൂന്യമായ സമയം (idle time) ബിൽ ചെയ്യപ്പെടുമോ എന്നിങ്ങനെയുള്ള കാര്യങ്ങളിൽ എൻജിനീയർമാർക്ക് ഊഹിക്കしかയേ കഴിയൂ.

കൃത്യമായ കണക്കുകൾ

  • us-west-2 – Llama 3.3 70B ഫൈൻ-ട്യൂണിംഗ് ലഭ്യമായ ഏക റീജിയൺ.
  • us-east-1 – Amazon നിർമ്മിച്ച മോഡലുകൾ മാത്രമേ ലഭ്യമാകൂ; Llama അല്ലെങ്കിൽ Anthropic ഫൈൻ-ട്യൂണിംഗ് ലഭ്യമല്ല.
  • eu-west-2 (London) – Llama അല്ലാത്ത ഒരു മോഡൽ മാത്രമേ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ കഴിയൂ.
  • മറ്റെല്ലാ റീജിയണുകളും – Llama 3.3 70B-യ്ക്ക് “model not available” എന്ന എറർ കാണിക്കുന്നു.

നിങ്ങൾക്ക് കസ്റ്റം-ട്യൂൺ ചെയ്ത ഒരു Llama 3.3 70B ആവശ്യമുണ്ടെങ്കിൽ, ജോബ് us-west-2-ൽ റൺ ചെയ്യുകയോ അല്ലെങ്കിൽ ഡാറ്റ റീജിയണുകൾക്കിടയിൽ കൈമാറുകയോ ചെയ്യുക. അല്ലെങ്കിൽ “Custom Model Import” വഴി പരീക്ഷിക്കാം, എന്നാൽ ലേഖകൻ ഇത് പരീക്ഷിച്ചപ്പോൾ ഒരു സാധാരണ ഹാർഡ്‌വെയർ എറർ (hardware error) കാരണം അത് പരാജയപ്പെട്ടു.

Custom Model Import: ഒരു അപകടകരമായ വഴിമാറ്റം

200 GB-യിൽ താഴെ വലിപ്പമുള്ള വെയ്റ്റുകളെ (weights) eu-central-1 ഉൾപ്പെടെയുള്ള ഏത് റീജിയനിലേക്കും “Custom Model Import” വഴി കൊണ്ടുവരാമെന്ന് AWS ഡോക്യുമെന്റുകൾ അവകാശപ്പെടുന്നു. എന്നാൽ യഥാർത്ഥത്തിൽ, Llama 3.3 70B (അതിലും വലിയ വലിപ്പം) ഇമ്പോർട്ട് ചെയ്യാൻ ശ്രമിക്കുമ്പോൾ ആവർത്തിച്ച് “hardware error” കാണിക്കുന്നു. നിലവിൽ, us-west-2-ലെ നേറ്റീവ് ഫൈൻ-ട്യൂണിംഗ് എൻഡ്‌പോയിന്റ് ഉപയോഗിക്കുന്നതാണ് ഏറ്റവും സുരക്ഷിതം.

പണവും മാനസിക സമാധാനവും ലാഭിക്കാൻ രണ്ട് വഴികൾ

  1. മുകളിലുള്ള “InProgress” ഫ്ലാഗിനെ മാത്രം വിശ്വസിക്കരുത്. കമ്പ്യൂട്ട് റൺ ആകാതെ തന്നെ ഒരു ജോബ് മണിക്കൂറുകളോളം AWS-മാനേജ്ഡ് ക്യൂവിൽ ഇരിക്കാൻ സാധ്യതയുണ്ട്. trainingDetails എന്ന ഫീൽഡ് “Running” എന്ന അവസ്ഥയിലേക്ക് മാറുമ്പോൾ മാത്രമേ ബില്ലിംഗ് ആരംഭിക്കൂ. ക്യൂവിൽ ഇരിക്കുന്ന സമയത്തിന് പണം നൽകുന്നത് ഒഴിവാക്കാൻ ഈ ഇന്റേണൽ ഫ്ലാഗ് പരിശോധിക്കുക.
  2. ക്ഷമയാണ് പ്രധാനം. ഒരു ടെസ്റ്റ് ജോബ് ട്രെയിനിംഗ് തുടങ്ങുന്നതിന് മുമ്പ് 23 മണിക്കൂർ ക്യൂവിൽ ഇരുന്നു, എന്നാൽ പിന്നീട് യാതൊരു പ്രശ്നവുമില്ലാതെ അത് പൂർത്തിയായി. ആ ജോബ് ക്യാൻസൽ ചെയ്ത് വീണ്ടും റീലോഞ്ച് ചെയ്തപ്പോൾ അത് ക്യൂവിന്റെ ഏറ്റവും പിന്നിലേക്ക് പോവുകയും കാത്തിരിപ്പ് സമയം കൂടുകയും ചെയ്തു. ക്യൂവിൽ ഇരിക്കുന്ന സമയത്തിന് ചാർജ് ഇല്ല; GPU ഇൻസ്റ്റൻസുകൾ പ്രവർത്തിച്ചു തുടങ്ങുമ്പോഴാണ് ചിലവ് തുടങ്ങുന്നത്.

മറ്റ് പാഠങ്ങൾ

  • മോഡൽ സ്കീമകൾ വ്യത്യസ്തമാണ്. Llama 3.3-ഉം Llama 3.1-ഉം വ്യത്യസ്ത കോൺഫിഗറേഷൻ ഒബ്‌ജക്റ്റുകളാണ് ഉപയോഗിക്കുന്നത്. ടോക്കൺ ലെങ്ത് (token length) പോലുള്ള പരിധികൾ ഒന്നുതന്നെയാണെങ്കിലും, ഒരു വേർഷനിലെ JSON സ്കീമ മറ്റൊരു വേർഷനിലേക്ക് കോപ്പി-പേസ്റ്റ് ചെയ്യുന്നത് വാലിഡേഷൻ എററുകൾക്ക് കാരണമാകും.
  • ക്വാട്ടയിലെ വ്യതിയാനങ്ങൾ. “Custom models with a creating status” എന്നതിനായുള്ള പരിധി പലപ്പോഴും മൊത്തത്തിലുള്ള ജോബ് ക്വാട്ടയേക്കാൾ വളരെ കുറവായിരിക്കും. ഒരു ജോബ് “creating” സ്റ്റാറ്റസിൽ ഇരിക്കുമ്പോൾ “quota exceeded” എന്ന എറർ വന്നാൽ, പുതിയൊരെണ്ണം തുടങ്ങുന്നതിന് മുമ്പ് പഴയ എൻട്രി ഡിലീറ്റ് ചെയ്യുക.
  • സ്റ്റോറേജ് ചിലവ് കൂടുന്നു. ഓരോ ഫൈൻ-ട്യൂൺ ചെയ്ത ചെക്ക്‌പോയിന്റും (checkpoint) സ്റ്റാൻഡേർഡ് നിരക്കിൽ S3 സ്റ്റോറേജ് ഉപയോഗിക്കുന്നു. പഴയ വേർഷനുകൾ ഡിലീറ്റ് ചെയ്യാതെ വെക്കുന്നത് ഉപയോഗമില്ലാതെ തന്നെ നിങ്ങളുടെ മാസ ബില്ല് വർദ്ധിപ്പിക്കും.

ചുരുക്കത്തിൽ

നിങ്ങളുടെ പ്രോജക്റ്റ് ഒരു ഫൈൻ-ട്യൂൺ ചെയ്ത Llama 3.3 70B മോഡലിനെ ആശ്രയിച്ചാണെങ്കിൽ, ആ ഘട്ടം us-west-2-ൽ ചെയ്യാൻ പ്ലാൻ ചെയ്യുക, അല്ലെങ്കിൽ കസ്റ്റം ഇമ്പോർട്ടുകൾ ഉപയോഗിച്ച് പരീക്ഷണാടിസ്ഥാനത്തിൽ മുന്നോട്ട് പോകാൻ തയ്യാറെടുക്കുക. ക്യൂ സ്റ്റാറ്റസ് കൃത്യമായി പരിശോധിക്കുക, കൂടുതൽ സമയം കാത്തിരിക്കുന്ന ജോബുകൾ പാതിവഴിയിൽ നിർത്താതിരിക്കുക, സ്റ്റോറേജ്, ക്വാട്ട ഉപയോഗം എന്നിവ സൂക്ഷ്മമായി നിരീക്ഷിക്കുക.