AWS Bedrock-ன் 33 பிராந்தியங்களில் (regions) us-west-2 மட்டுமே 70-billion-parameter கொண்ட Llama 3.3 மாடலை fine-tune செய்ய அனுமதிக்கிறது. டெவலப்பர்கள் ஒன்று cross-region pipelines-களை இணைக்க வேண்டும் அல்லது கடினமான மாற்று வழிமுறைகளை (workarounds) கையாள வேண்டியுள்ளது.

இந்தத் discovery ஏன் முக்கியமானது

AWS-ன் பொதுவான விலைப்பட்டியல் பக்கத்தில் (pricing page) இன்னும் பழைய Llama 2 தொடருக்கான பயிற்சிச் செலவுகள் மட்டுமே பட்டியலிடப்பட்டுள்ளன. புதிய Llama 3.1 மற்றும் 3.3 குடும்பங்கள் முற்றிலும் விடுபட்டுள்ளன. எந்தெந்த பிராந்தியங்கள் உண்மையில் fine-tuning-ஐ ஆதரிக்கின்றன, வேலைகள் எவ்வளவு நேரம் வரிசையில் (queues) காத்திருக்கும், மற்றும் பயன்படுத்தப்படாத நேரத்திற்கு (idle time) கட்டணம் வசூலிக்கப்படுமா என்பதைப் பற்றி பொறியாளர்கள் யூகிக்க வேண்டிய கட்டாயத்தில் உள்ளனர்.

முக்கியமான புள்ளிவிவரங்கள்

  • us-west-2 – Llama 3.3 70B fine-tuning வேலை செய்யும் ஒரே பிராந்தியம்.
  • us-east-1 – Amazon உருவாக்கிய மாடல்கள் மட்டுமே; Llama அல்லது Anthropic fine-tuning வசதி இல்லை.
  • eu-west-2 (London) – ஒரு ஒற்றை, non-Llama மாடலை மட்டும் fine-tune செய்ய முடியும்.
  • மற்ற அனைத்து பிராந்தியங்களும் – Llama 3.3 70B-க்கு “model not available” பிழைகளைத் தருகின்றன.

உங்களுக்கு ஒரு custom-tuned Llama 3.3 70B தேவைப்பட்டால், அந்த வேலையை us-west-2-ல் இயக்கிவிட்டு தரவை (data) மற்ற பிராந்தியங்களுக்கு அனுப்பவும், அல்லது “Custom Model Import” முறையை முயற்சிக்கவும்; ஆனால் ஆசிரியரின் முயற்சியில் இது ஒரு பொதுவான வன்பொருள் பிழையுடன் (generic hardware error) தோல்வியடைந்தது.

Custom Model Import: ஒரு ஆபத்தான வழிமாற்றம்

200 GB-க்கும் குறைவான எடைகளைக் (weights) கொண்ட மாடல்களை eu-central-1 உட்பட எந்தவொரு பிராந்தியத்திற்கும் “Custom Model Import” மூலம் கொண்டு வர முடியும் என்று AWS ஆவணங்கள் கூறுகின்றன. உண்மையில், Llama 3.3 70B-ஐ (அதன் அளவை விடப் பல மடங்கு பெரியது) இறக்குமதி செய்ய முயலும்போது மீண்டும் மீண்டும் “hardware error” ஏற்படுகிறது. தற்போதைக்கு, இயல்பான us-west-2 fine-tuning endpoint-ஐப் பயன்படுத்துவதே பாதுகாப்பானது.

பணத்தையும் மன நிம்மதியையும் மிச்சப்படுத்தும் இரண்டு யுக்திகள்

  1. மேல்நிலை “InProgress” குறியீட்டை (flag) நம்பாதீர்கள். ஒரு வேலை, கணினித் திறன் (compute) எதுவும் இயங்காத போதும், அந்த நிலையுடன் AWS-ஆல் நிர்வகிக்கப்படும் வரிசையில் (queue) பல மணிநேரம் இருக்கலாம். trainingDetails என்ற உட்பொதிந்த (nested) புலத்தில் (field) “Running” என்று மாறும்போது மட்டுமே கட்டணம் வசூலிக்கத் தொடங்கும். வரிசையில் காத்திருக்கும் நேரத்திற்குப் பணம் செலுத்துவதைத் தவிர்க்க உட்பொதிந்த குறியீட்டைச் சரிபார்க்கவும்.
  2. பொறுமை அவசரத்தை விட சிறந்தது. ஒரு சோதனை வேலை (test job), பயிற்சி தொடங்குவதற்கு முன்பு 23 மணிநேரம் வரிசையில் காத்திருந்தது, பின்னர் எந்தப் பிரச்சனையும் இன்றி முடிந்தது. அதை நிறுத்திவிட்டு மீண்டும் தொடங்க முயன்றது, அதை வரிசையின் கடைசியில் தள்ளியது, இதனால் மொத்த காத்திருப்பு நேரம் அதிகரித்தது. வரிசை நேரம் (Queue time) இலவசம்; GPU instances இயங்கத் தொடங்கியவுடன் மட்டுமே கட்டணம் வசூலிக்கப்படும்.

கள அனுபவத்திலிருந்து மற்ற பாடங்கள்

  • மாடல் ஸ்கீமாக்கள் (Model schemas) வேறுபடுகின்றன. Llama 3.3 மற்றும் Llama 3.1 ஆகியவை வெவ்வேறு உள்ளமைவுப் பொருட்களை (configuration objects) பயன்படுத்துகின்றன. டோக்கன் நீளம் (token length) போன்ற வரம்புகள் ஒன்றாக இருந்தாலும், ஒரு பதிப்பிலிருந்து மற்றொரு பதிப்பிற்கு JSON ஸ்கீமாவை அப்படியே நகலெடுப்பது (copy-pasting) சரிபார்ப்பு பிழைகளை (validation errors) ஏற்படுத்தும்.
  • ஒதுக்கீடு சிக்கல்கள் (Quota quirks). “Custom models with a creating status” என்பதற்கான வரம்பு பெரும்பாலும் ஒட்டுமொத்த வேலை ஒதுக்கீட்டை (job quota) விட மிகக் குறைவாகவே இருக்கும். முந்தைய வேலை இன்னும் “creating” நிலையில் இருக்கும்போது நீங்கள் “quota exceeded” பிழையைச் சந்தித்தால், புதிய ஒன்றை தொடங்குவதற்கு முன் பழைய பதிவை நீக்கவும்.
  • சேமிப்புச் செலவு (Storage) அதிகரிக்கும். ஒவ்வொரு fine-tuned checkpoint-ம் நிலையான விகிதத்தில் (standard rates) S3 சேமிப்பகத்தைக் (storage) பயன்படுத்துகிறது. பழைய பதிவுகளை அப்படியே வைத்திருப்பது, எந்தப் பயனும் இன்றி உங்கள் மாதாந்திரக் கட்டணத்தை அதிகரிக்கும்.

சுருக்கமாகச் சொன்னால்

உங்கள் திட்டம் ஒரு fine-tuned Llama 3.3 70B மாடலைச் சார்ந்து இருந்தால், அந்தப் படிநிலையை us-west-2-ல் இயக்கத் திட்டமிடுங்கள், அல்லது custom imports மூலம் பலமுறை முயற்சி செய்யத் தயாராக இருங்கள். வரிசை நிலையை (queue status) நுணுக்கமான அளவில் சரிபார்க்கவும், நீண்ட நேரம் காத்திருக்கும் வேலைகளைத் தன்னிச்சையாக நிறுத்த வேண்டாம், மற்றும் சேமிப்பு மற்றும் ஒதுக்கீடு பயன்பாட்டைக் (storage and quota usage) கூர்ந்து கண்காணிக்கவும்.