వెరిఫికేషన్ ఖర్చుయే నిజమైన AI కోడింగ్ ఖర్చు
కోడింగ్ కోసం AI మోడల్ను ఎంచుకునేటప్పుడు నేను ఒక ప్రశ్న అడిగేవాడిని.
ఈ పనికి ఏ మోడల్ సరిపడా బలంగా ఉంది?
ఆ ప్రశ్న బాగుంది. కానీ అది ఇప్పుడు నా మొదటి ప్రశ్న కాదు.
మెరుగైన ప్రశ్న ఏమిటంటే: నేను అవుట్పుట్ను ఎంత త్వరగా వెరిఫై (verify) చేయగలను?
ఈ ఆలోచనా విధానం మీరు తక్కువ ఖర్చుతో కూడిన మోడళ్లను ఎలా ఉపయోగిస్తారో మారుస్తుంది. వాటిని పెద్ద మోడళ్ల బలహీనమైన వెర్షన్లుగా చూడకండి. వాటిని తక్కువ వెరిఫికేషన్ సమయం పట్టే పనుల కోసం పనిచేసే కార్మికులుగా చూడండి.
కొన్ని పనులను రివ్యూ చేయడం చౌకగా ఉంటుంది, ఎందుకంటే మీరు ఫలితాలను వెంటనే చూడవచ్చు.
• README cleanup • Usage examples • Code comments • Changelog notes • చిన్న ఫార్మాటింగ్ స్క్రిప్ట్లు • Issue templates
ఒక మోడల్ తప్పుగా README పారాగ్రాఫ్ను రాస్తే, మీరు దానిని వెంటనే గమనించవచ్చు. ఆ తప్పు భాగాన్ని మీరు తొలగించవచ్చు. ఆ తప్పు చిరాకు కలిగించవచ్చు, కానీ దానికి మీకు ఖర్చు దాదాపు ఏమీ ఉండదు. తక్కువ ఖర్చుతో కూడిన మోడళ్లకు ఇది ఉత్తమమైన ఉపయోగం.
తదుపరి విభాగం 'టెస్టబుల్ వర్క్' (testable work).
మీరు ఆశించిన ప్రవర్తనను (expected behavior) నిర్వచించి, టెస్ట్ సూట్ను (test suite) రన్ చేయగలిగితే, మొదటి డ్రాఫ్ట్ కోసం తక్కువ ఖర్చుతో కూడిన మోడల్ను ఉపయోగించండి. మీరు మోడల్కు స్పష్టమైన పరిధులు (boundaries) ఇవ్వాలి.
ఇలా అనకండి: Add tests for this helper.
ఇలా చెప్పండి: Add tests for empty input, null input, duplicate values, invalid config, default config, and normal input. Do not change runtime code.
ఇది మోడల్ను ఒక వెరిఫికేషన్ ఫ్రేమ్ (verification frame) లోపల పనిచేసేలా చేస్తుంది.
కొన్ని పనులకు ఆటోమేటెడ్ టెస్ట్లు ఉండవు, కానీ స్పష్టమైన మాన్యువల్ చెక్లకు అవకాశం ఉంటుంది.
• CLI output formatting • Config examples • Migration dry run notes • చిన్న డేటా కన్వర్షన్ స్క్రిప్ట్లు
వీటి కోసం, మోడల్ను వీటిని చేర్చమని అడగండి:
- కోడ్ను ఎలా రన్ చేయాలి
- ఏ ఇన్పుట్ను ఉపయోగించాలి
- ఎలాంటి అవుట్పుట్ను ఆశించాలి
- ఏ ఎడ్జ్ కేస్లను (edge cases) తనిఖీ చేయాలి
ఒక మోడల్ తన పనిని ఎలా వెరిఫై చేయాలో వివరించలేకపోతే, ఆ కోడ్ను నమ్మకండి.
చిన్న రిఫ్యాక్టర్లు (refactors) ప్రమాదకరమైనవి. ఒక 'డిఫ్' (diff) చిన్నదిగా మరియు క్లీన్గా కనిపించవచ్చు. కానీ ఒక దాగి ఉన్న పాత్ (hidden path), డిఫాల్ట్ వాల్యూ లేదా పర్మిషన్ చెక్లో ప్రవర్తన మారవచ్చు.
ఈ క్రింది అంశాలను ఏదైనా పని తాకినప్పుడు మీ రిస్క్ స్థాయిని పెంచండి:
- Fallbacks
- Defaults
- Routing
- Permissions
- Billing
- Rate limits
- Migrations
- Backwards compatibility
సాధారణ కోడ్ రివ్యూలో ఈ లోపాలను గుర్తించడం కష్టం. వీటికి లోతైన సందర్భం (deep context) అవసరం.
మీ పనిని వెరిఫికేషన్ ఖర్చు ఆధారంగా విభజించండి:
- తక్కువ వెరిఫికేషన్ ఖర్చు: డ్రాఫ్ట్ కోసం తక్కువ ఖర్చుతో కూడిన మోడల్ను ఉపయోగించండి.
- మధ్యస్థ వెరిఫికేషన్ ఖర్చు: తక్కువ ఖర్చుతో కూడిన మోడల్ను ఉపయోగించి, ఆపై మనుషులు ఎడిట్ చేయాలి.
- ఎక్కువ వెరిఫికేషన్ ఖర్చు: టెస్ట్లు మరియు మనుషుల రివ్యూతో కూడిన శక్తివంతమైన మోడల్ను ఉపయోగించండి.
పరిమాణం ముఖ్యం కాదు. వెరిఫై చేయడం కష్టమైతే, చిన్న పని కూడా ఖరీదైనదే అవుతుంది.
AI కోడింగ్లో ఖరీదైన భాగం జనరేషన్ కాదు. అది నమ్మకం.
Source: https://dev.to/zephyrelabs369/verification-cost-is-the-real-ai-coding-cost-1354
Optional learning community: https://t.me/GyaanSetuAi