AWS Bedrock ના 33 રિજિયન્સમાંથી માત્ર એક જ—us-west-2—તમને 70-બિલિયન-પેરામીટર ધરાવતા Llama 3.3 મોડેલને fine-tune કરવાની સુવિધા આપે છે. ડેવલપર્સે કાં તો ક્રોસ-રિજન પાઇપલાઇન્સ જોડવી પડે છે અથવા અણઘડ વર્કઅરાઉન્ડ (workaround) સહન કરવું પડે છે.

આ શોધ શા માટે મહત્વની છે

AWS નું પબ્લિક પ્રાઇસિંગ પેજ હજુ પણ જૂની Llama 2 સિરીઝ માટે ટ્રેનિંગ ખર્ચ દર્શાવે છે. નવી Llama 3.1 અને 3.3 ફેમિલીઝનો તો અહીં કોઈ ઉલ્લેખ જ નથી. એન્જિનિયરોએ અનુમાન લગાવવું પડે છે કે કયા રિજિયન્સ ખરેખર fine-tuning ને સપોર્ટ કરે છે, જોબ્સ ક્યુ (queue) માં કેટલો સમય રહેશે, અને શું આઈડલ (idle) સમય માટે બિલિંગ કરવામાં આવશે કે નહીં.

ચોક્કસ આંકડા

  • us-west-2 – એકમાત્ર રિજિયન જ્યાં Llama 3.3 70B fine-tuning કામ કરે છે.
  • us-east-1 – માત્ર Amazon-બનાવેલા મોડેલ્સ; Llama કે Anthropic fine-tuning ઉપલબ્ધ નથી.
  • eu-west-2 (London) – માત્ર એક જ, non-Llama મોડેલને fine-tune કરી શકે છે.
  • અન્ય તમામ રિજિયન્સ – Llama 3.3 70B માટે “model not available” એરર આપે છે.

જો તમારે કસ્ટમ-ટ્યુન કરેલ Llama 3.3 70B ની જરૂર હોય, તો જોબ us-west-2 માં ચલાવો અને ડેટા ક્રોસ-રિજિયન્સમાં મોકલો, અથવા “Custom Model Import” નો રસ્તો અજમાવો, જે લેખકના પ્રયાસમાં એક સામાન્ય હાર્ડવેર એરર (hardware error) ને કારણે નિષ્ફળ રહ્યો હતો.

Custom Model Import: એક જોખમી વિકલ્પ

AWS ડોક્યુમેન્ટ્સનો દાવો છે કે “Custom Model Import” દ્વારા 200 GB થી ઓછા વજન (weights) ધરાવતા મોડેલ્સને eu-central-1 સહિત કોઈપણ રિજિયનમાં લાવી શકાય છે. વાસ્તવમાં, Llama 3.3 70B (જે આ કદ કરતા ઘણું મોટું છે) ઇમ્પોર્ટ કરવાનો પ્રયાસ વારંવાર “hardware error” આપે છે. અત્યારે માટે, નેટિવ us-west-2 fine-tuning એન્ડપોઇન્ટ જ સૌથી સુરક્ષિત વિકલ્પ છે.

પૈસા (અને માનસિક શાંતિ) બચાવવાની બે ટ્રીક્સ

  1. ટોપ-લેવલના “InProgress” ફ્લેગ પર વિશ્વાસ ન કરો. કોઈ જોબ કલાકો સુધી AWS-મેનેજ્ડ ક્યુ (queue) માં તે સ્ટેટસ સાથે પડી શકે છે જ્યારે કોઈ કમ્પ્યુટિંગ રન ન થતું હોય. બિલિંગ ત્યારે જ શરૂ થાય છે જ્યારે નેસ્ટેડ trainingDetails ફીલ્ડ “Running” માં બદલાય છે. આઈડલ ક્યુ સમય માટે પેમેન્ટ કરવાનું ટાળવા માટે અંદરના ફ્લેગને તપાસો.
  2. ધીરજ એ અધીરાઈ કરતા વધુ સારી છે. એક ટેસ્ટ જોબ ટ્રેનિંગ શરૂ થાય તે પહેલાં 23 કલાક સુધી ક્યુમાં પડી રહી હતી અને કોઈ સમસ્યા વગર પૂર્ણ થઈ હતી. તેને બંધ કરીને ફરીથી શરૂ કરવાથી તે લાઇનના છેડે પહોંચી ગઈ, જેનાથી કુલ રાહ જોવાનો સમય વધી ગયો. ક્યુ સમય મફત છે; ખર્ચ ત્યારે જ શરૂ થાય છે જ્યારે GPU ઇન્સ્ટન્સ ચાલુ થાય છે.

અન્ય ક્ષેત્રના પાઠ

  • મોડેલ સ્કીમા (schemas) અલગ હોય છે. Llama 3.3 અને Llama 3.1 અલગ-અલગ કોન્ફિગરેશન ઓબ્જેક્ટ્સનો ઉપયોગ કરે છે. એક વર્ઝનમાંથી બીજા વર્ઝનમાં JSON સ્કીમા કોપી-પેસ્ટ કરવાથી વેલિડેશન એરર આવે છે, ભલે ટોકન લંબાઈ જેવી મર્યાદાઓ સમાન હોય.
  • ક્વોટાની વિચિત્રતાઓ. “Custom models with a creating status” ની મર્યાદા ઘણીવાર એકંદર જોબ ક્વોટા કરતા ઘણી ઓછી હોય છે. જો અગાઉની જોબ હજુ પણ “creating” બતાવતી હોય અને તમને “quota exceeded” એરર આવે, તો નવી જોબ શરૂ કરતા પહેલા જૂની એન્ટ્રી ડિલીટ કરી દો.
  • સ્ટોરેજનો ખર્ચ વધે છે. દરેક fine-tuned ચેકપોઇન્ટ S3 સ્ટોરેજ વાપરે છે જે સ્ટાન્ડર્ડ રેટ પર બિલ થાય છે. જૂના વર્ઝનને એમ જ રાખવાથી કોઈ ફાયદો થયા વગર તમારું માસિક બિલ વધી જાય છે.

નિષ્કર્ષ

જો તમારો પ્રોજેક્ટ fine-tuned Llama 3.3 70B મોડેલ પર આધારિત હોય, તો તે સ્ટેપ us-west-2 માં ચલાવવાનું આયોજન કરો, અથવા કસ્ટમ ઇમ્પોર્ટ્સ સાથેના ટ્રાયલ-એન્ડ-એરર માટે તૈયાર રહો. ક્યુ સ્ટેટસને ઝીણવટપૂર્વક તપાસો, લાંબા સમયથી રાહ જોતી જોબ્સને રદ કરવાનું ટાળો, અને સ્ટોરેજ તથા ક્વોટાના વપરાશ પર સતત નજર રાખો.