AWS Bedrock యొక్క 33 రీజియన్లలో కేవలం ఒకటైన us-west-2 మాత్రమే మీకు 70-బిలియన్-పారామీటర్ల Llama 3.3 మోడల్‌ను fine-tune చేసే అవకాశం కల్పిస్తుంది. డెవలపర్లు క్రాస్-రీజియన్ పైప్‌లైన్‌లను togetherగా నిర్మించుకోవాలి లేదా ఏదో ఒక అసౌకర్యమైన పద్ధతిని (clunky workaround) అనుసరించాల్సి ఉంటుంది.
ఈ ఆవిష్కరణ ఎందుకు ముఖ్యమైనది
AWS యొక్క పబ్లిక్ ప్రైసింగ్ పేజీలో ఇప్పటికీ పాత Llama 2 సిరీస్ యొక్క ట్రైనింగ్ ఖర్చులు మాత్రమే కనిపిస్తున్నాయి. కొత్త Llama 3.1 మరియు 3.3 ఫ్యామిలీలు పూర్తిగా అందుబాటులో లేవు. ఏ రీజియన్లు నిజంగా fine-tuning కి మద్దతు ఇస్తాయి, జాబ్స్ క్యూలో ఎంత సమయం ఉంటాయి, మరియు ఖాళీగా ఉన్న సమయానికి (idle time) బిల్లింగ్ వస్తుందా లేదా అనే విషయాలపై ఇంజనీర్లు ఊహించాల్సి వస్తోంది.
ఖచ్చితమైన గణాంకాలు
- us-west-2 – Llama 3.3 70B fine-tuning పనిచేసే ఏకైక రీజియన్.
- us-east-1 – కేవలం Amazon రూపొందించిన మోడల్స్ మాత్రమే; Llama లేదా Anthropic fine-tuning అందుబాటులో లేదు.
- eu-west-2 (London) – కేవలం ఒకే ఒక non-Llama మోడల్‌ను fine-tune చేస్తుంది.
- మిగిలిన అన్ని రీజియన్లు – Llama 3.3 70B కోసం “model not available” ఎర్రర్‌లను చూపుతాయి.
మీకు కస్టమ్-ట్యూన్ చేసిన Llama 3.3 70B కావాలంటే, ఆ జాబ్‌ను us-west-2 లో రన్ చేసి డేటాను ఇతర రీజియన్లకు పంపండి, లేదా “Custom Model Import” మార్గాన్ని ప్రయత్నించండి; అయితే రచయిత చేసిన ప్రయత్నంలో ఒక సాధారణ హార్డ్‌వేర్ ఎర్రర్‌తో అది విఫలమైంది.
Custom Model Import: ఒక రిస్క్‌తో కూడిన ప్రత్యామ్నాయం
“Custom Model Import” ద్వారా 200 GB కంటే తక్కువ బరువు (weights) ఉన్న మోడల్‌లను eu-central-1 తో సహా ఏ రీజియన్‌లోకి అయినా తీసుకురావచ్చని AWS డాక్యుమెంట్లు పేర్కొంటున్నాయి. వాస్తవానికి, Llama 3.3 70B (ఆ పరిమాణం కంటే చాలా ఎక్కువ) ని ఇంపోర్ట్ చేయడానికి చేసిన ప్రయత్నాలు పదేపదే “hardware error” కి దారితీస్తున్నాయి. ప్రస్తుతానికి, నేటివ్ us-west-2 fine-tuning endpoint మాత్రమే సురక్షితమైన మార్గం.
డబ్బును (మరియు మానసిక ప్రశాంతతను) ఆదా చేసే రెండు చిట్కాలు
- టాప్-లెవల్ “InProgress” ఫ్లాగ్‌ను నమ్మకండి. కంప్యూట్ రన్ కానప్పటికీ, ఒక జాబ్ ఆ స్టేటస్‌తో గంటల తరబడి AWS-మేనేజ్డ్ క్యూలో ఉండవచ్చు. నెస్టెడ్
trainingDetailsఫీల్డ్ “Running” గా మారినప్పుడు మాత్రమే బిల్లింగ్ ప్రారంభమవుతుంది. క్యూలో ఖాళీగా ఉన్న సమయానికి డబ్బులు చెల్లించకుండా ఉండటానికి లోపల ఉన్న ఫ్లాగ్‌ను తనిఖీ చేయండి. - తొందరపాటు కంటే ఓపిక మిన్న. ఒక టెస్ట్ జాబ్ ట్రైనింగ్ ప్రారంభం కావడానికి ముందు 23 గంటల పాటు క్యూలో వేచి ఉంది, ఆ తర్వాత ఎటువంటి సమస్య లేకుండా పూర్తయింది. దాన్ని ఆపి (kill చేసి) మళ్ళీ ప్రారంభించడం వల్ల అది క్యూలో మళ్ళీ చివరకి వెళ్ళిపోయింది, దీనివల్ల మొత్తం వేచి ఉండే సమయం పెరిగింది. క్యూ టైమ్ ఉచితం; GPU ఇన్‌స్టాన్స్‌లు ప్రారంభమైన తర్వాతే ఖర్చు మొదలవుతుంది.
ఇతర క్షేత్రస్థాయి పాఠాలు
- మోడల్ స్కీమాలు భిన్నంగా ఉంటాయి. Llama 3.3 మరియు Llama 3.1 వేర్వేరు కాన్ఫిగరేషన్ ఆబ్జెక్ట్‌లను ఉపయోగిస్తాయి. టోకెన్ లెంగ్త్ వంటి పరిమితులు ఒకేలా ఉన్నప్పటికీ, ఒక వెర్షన్ నుండి మరొక వెర్షన్‌కు JSON స్కీమాను కాపీ-పేస్ట్ చేస్తే వాలిడేషన్ ఎర్రర్‌లు వస్తాయి.
- కోటా సంబంధిత సమస్యలు. “Custom models with a creating status” పరిమితి తరచుగా మొత్తం జాబ్ కోటా కంటే చాలా తక్కువగా ఉంటుంది. మునుపటి జాబ్ ఇంకా “creating” అని చూపిస్తున్నప్పుడు మీకు “quota exceeded” ఎర్రర్ వస్తే, కొత్తదాన్ని ప్రారంభించే ముందు పాత ఎంట్రీని డిలీట్ చేయండి.
- స్టోరేజ్ ఖర్చులు పెరుగుతాయి. ప్రతి fine-tuned చెక్‌పాయింట్ స్టాండర్డ్ రేట్ల ప్రకారం S3 స్టోరేజీని వినియోగిస్తుంది. పాత వెర్షన్లను అలాగే ఉంచడం వల్ల ఎటువంటి ప్రయోజనం లేకుండా మీ నెలవారీ బిల్లు పెరుగుతుంది.
ముగింపు
మీ ప్రాజెక్ట్ fine-tuned Llama 3.3 70B మోడల్‌పై ఆధారపడి ఉంటే, ఆ దశను us-west-2 లో రన్ చేయడానికి ప్లాన్ చేయండి, లేదా కస్టమ్ ఇంపోర్ట్‌లతో తలెత్తే సమస్యలను ఎదుర్కోవడానికి సిద్ధంగా ఉండండి. క్యూ స్టేటస్‌ను క్షుణ్ణంగా తనిఖీ చేయండి, ఎక్కువ సమయం వేచి ఉన్న జాబ్‌లను మధ్యలో ఆపివేయకండి, మరియు స్టోరేజ్ మరియు కోటా వినియోగాన్ని నిశితంగా గమనించండి.