మీ రోజువారీ పనుల కోసం మీకు అత్యంత అధునాతన AI అవసరమా?
ప్రతి వారం కొత్త AI మోడల్స్ వస్తున్నాయి. ప్రజలు బెంచ్మార్క్లు మరియు కోడింగ్ స్కోర్ల గురించి చర్చించుకుంటున్నారు. మనమందరం ఉత్సాహపడతాము.
కానీ నేను ఒక భిన్నమైన ప్రశ్న అడగడం ప్రారంభించాను. మీ రోజువారీ పనుల కోసం మీకు నిజంగా అత్యంత అధునాతన మోడల్ అవసరమా?
నేను ఇటీవల దీనిని పరీక్షించాను. కోడ్ రిఫ్యాక్టరింగ్ (code refactoring) టాస్క్ కోసం నేను రెండు మోడల్స్ను పోల్చాను.
- Sonnet కి 76.1 క్రెడిట్లు ఖర్చయ్యాయి.
- Haiku కి 13.3 క్రెడిట్లు ఖర్చయ్యాయి.
Haiku 5.7 రెట్లు తక్కువ ఖర్చుతో కూడుకున్నది. ఖరీదైన మోడల్ గెలుస్తుందని నేను ఆశించాను. కానీ అది జరగలేదు.
Haiku మెరుగైన ఫలితాన్ని ఇచ్చింది. ఇది కోడ్ను మూడు స్పష్టమైన ఫైళ్లుగా విభజించింది. ఇది Sonnet కంటే మా కోడింగ్ ప్రమాణాలను (coding standards) బాగా పాటించింది. ఇది తక్కువ ఖర్చుతో మరియు మరింత ప్రభావవంతంగా ఉంది.
పెద్దది మరియు ఖరీదైనది అంటే మెరుగైనది అని కాదు.
మోడల్ సామర్థ్యం అనేది ప్రక్రియలో ఒక భాగం మాత్రమే. మెరుగైన ఫలితాలను పొందడానికి నేను ఒక AI డెవలప్మెంట్ హార్నెస్ (AI development harness) ఉపయోగిస్తాను. ఈ హార్నెస్ లో ఇవి ఉంటాయి:
• Repository-specific instructions • Coding standards • Architectural guidance • Development workflows • Project context • Review expectations
మీరు ఈ గార్డ్రైల్స్ (guardrails) నిర్మించినప్పుడు, చిన్న మోడల్స్ మెరుగ్గా పనిచేస్తాయి. మంచి కోడ్ ఎలా ఉంటుందో మోడల్ ఊహించదు. పర్యావరణం (environment) దానికి చెబుతుంది.
చాలా ఇంజనీరింగ్ పనులు పరిశోధనా సమస్యలు (research problems) కావు. రిఫ్యాక్టరింగ్, టెస్ట్లు రాయడం లేదా డాక్యుమెంటేషన్ సృష్టించడం వంటి పనులకు భారీ మోడల్ అవసరం లేదు.
ఏ మోడల్కు అత్యధిక బెంచ్మార్క్ ఉందో అడగడం ఆపండి. దానికి బదులుగా ఈ ప్రశ్నలు అడగండి:
- టాస్క్ పూర్తయిందా?
- ఫలితాన్ని నిర్వహించడం (maintain) సులభంగా ఉందా?
- ఇది ప్రాజెక్ట్ ప్రమాణాలను పాటిస్తుందా?
- ఖర్చు విలువైనదేనా?
- టీమ్ దీనిని తక్కువ ఖర్చుతో స్కేల్ చేయగలదా?
మీ సమస్యను పరిష్కరించే అతి తక్కువ ఖరీదైన మోడల్ను ఉపయోగించండి.
AI పరిశ్రమ మేధస్సు (intelligence) పై దృష్టి పెడుతుంది. మీరు హార్నెస్ నాణ్యత (harness quality) పై దృష్టి పెట్టాలి. మీరు సరైన కాంటెక్స్ట్ను ఇస్తే, 5.7 రెట్లు తక్కువ ఖర్చుతో కూడిన మోడల్ కూడా మెరుగైన ఫలితాలను అందించగలదు.
మూలం (Source): https://dev.to/drottnings/do-we-really-need-the-most-advanced-ai-models-for-everyday-development-3n2b
ఐచ్ఛిక అభ్యాస సమూహం (Optional learning community): https://t.me/GyaanSetuAi