AWS Bedrock के 33 रीजन्स में से केवल एक—us-west-2—आपको 70-बिलियन-पैरामीटर वाले Llama 3.3 मॉडल को fine-tune करने की अनुमति देता है। डेवलपर्स को या तो cross-region pipelines को जोड़ना पड़ता है या फिर किसी असुविधाजनक workaround का सहारा लेना पड़ता है।

यह खोज क्यों महत्वपूर्ण है

AWS का सार्वजनिक प्राइसिंग पेज अभी भी पुराने Llama 2 सीरीज़ के लिए ट्रेनिंग लागत दिखाता है। नए Llama 3.1 और 3.3 परिवार पूरी तरह से गायब हैं। इंजीनियरों को यह अंदाज़ा लगाना पड़ता है कि कौन से रीजन्स वास्तव में fine-tuning का समर्थन करते हैं, जॉब्स को क्यू (queue) में कितना समय लगेगा, और क्या खाली समय (idle time) के लिए बिल लिया जाएगा।

सटीक आंकड़े

  • us-west-2 – एकमात्र रीजन जहाँ Llama 3.3 70B fine-tuning काम करती है।
  • us-east-1 – केवल Amazon-निर्मित मॉडल; कोई Llama या Anthropic fine-tuning नहीं।
  • eu-west-2 (London) – केवल एक सिंगल, non-Llama मॉडल को fine-tune करता है।
  • अन्य सभी रीजन्स – Llama 3.3 70B के लिए “model not available” एरर देते हैं।

यदि आपको एक कस्टम-ट्यून्ड Llama 3.3 70B की आवश्यकता है, तो जॉब को us-west-2 में चलाएं और डेटा को रीजन्स के बीच भेजें, या “Custom Model Import” का तरीका आज़माएं, लेकिन लेखक के प्रयास में यह एक सामान्य हार्डवेयर एरर के कारण विफल रहा।

Custom Model Import: एक जोखिम भरा रास्ता

AWS डॉक्स का दावा है कि “Custom Model Import” 200 GB से कम के weights को eu-central-1 सहित किसी भी रीजन में ला सकता है। वास्तव में, Llama 3.3 70B (जो इस आकार से काफी बड़ा है) को इम्पोर्ट करने के प्रयास बार-बार “hardware error” का सामना करते हैं। फिलहाल, सबसे सुरक्षित विकल्प native us-west-2 fine-tuning endpoint ही है।

पैसे (और मानसिक शांति) बचाने के दो तरीके

  1. टॉप-लेवल “InProgress” फ्लैग पर भरोसा न करें। एक जॉब उस स्टेटस के साथ घंटों तक AWS-managed queue में रह सकती है जबकि कोई कंप्यूट नहीं चल रहा हो। बिलिंग तभी शुरू होती है जब नेस्टेड trainingDetails फ़ील्ड “Running” में बदल जाता है। खाली क्यू (queue) समय के लिए भुगतान करने से बचने के लिए आंतरिक फ्लैग की जाँच करें।
  2. धैर्य, अधीरता से बेहतर है। एक टेस्ट जॉब ट्रेनिंग शुरू होने से पहले 23 घंटों तक क्यू में रुकी रही और बिना किसी समस्या के पूरी हो गई। उसे बंद करने और फिर से शुरू करने से वह लाइन में सबसे पीछे चली गई, जिससे कुल प्रतीक्षा समय बढ़ गया। क्यू का समय मुफ्त है; लागत तब शुरू होती है जब GPU instances चालू होते हैं।

अन्य व्यावहारिक सबक

  • मॉडल स्कीमा अलग होते हैं। Llama 3.3 और Llama 3.1 अलग-अलग कॉन्फ़िगरेशन ऑब्जेक्ट्स का उपयोग करते हैं। एक वर्शन से दूसरे वर्शन में JSON स्कीमा को कॉपी-पेस्ट करने से वैलिडेशन एरर आते हैं, भले ही टोकन लेंथ जैसी सीमाएँ समान हों।
  • कोटा की विचित्रताएँ। “Custom models with a creating status” की सीमा अक्सर कुल जॉब कोटा से काफी कम होती है। यदि आपको “quota exceeded” एरर मिलता है जबकि पिछला जॉब अभी भी “creating” दिखा रहा है, तो नया जॉब शुरू करने से पहले पुराने (stale) एंट्री को डिलीट कर दें।
  • स्टोरेज का खर्च बढ़ता है। प्रत्येक fine-tuned चेकपॉइंट S3 स्टोरेज का उपयोग करता है, जिसका बिल मानक दरों पर आता है। पुराने वर्शन्स को बिना उपयोग के छोड़ देने से बिना किसी मूल्य के आपका मासिक बिल बढ़ जाता है।

निष्कर्ष

यदि आपका प्रोजेक्ट एक fine-tuned Llama 3.3 70B मॉडल पर निर्भर है, तो उस स्टेप को us-west-2 में चलाने की योजना बनाएं, या कस्टम इम्पोर्ट के साथ ट्रायल-एंड-एरर के लिए तैयार रहें। क्यू स्टेटस की सूक्ष्म स्तर (granular level) पर जाँच करें, लंबे समय से प्रतीक्षा कर रहे जॉब्स को बीच में रोकने से बचें, और स्टोरेज एवं कोटा उपयोग की बारीकी से निगरानी करें।