ఈ వారం మీ టీమ్కు మెరుగైన AI మోడల్ అవసరం లేదు
కొత్త AI మోడళ్ల కోసం వెతకడం ఆపండి. మీకు నిజంగా కావాల్సిన అప్గ్రేడ్ మీ వర్క్ఫ్లో (workflow).
చాలా టీమ్లు ఏ మోడల్ తెలివైనదో అనే దానిపై దృష్టి పెడతాయి. వారు కొత్త విడుదలలను బెంచ్మార్క్ చేస్తారు మరియు తెలివితేటల గురించి వాదిస్తారు. కానీ మీరు LLMలతో పని చేస్తున్నట్లయితే, అసలు సమస్య ఏమిటో మీకు తెలుస్తుంది. సమస్య తప్పు కోడ్ కాదు. సమస్య తప్పు అమలు (execution).
మీరు ఈ సమస్యలను చూస్తుంటారు:
- టాస్క్ మధ్యలో ఆగిపోయే ఏజెంట్ లూప్లు (Agent loops).
- ప్రజలను అయోమయానికి గురిచేసే అప్రూవల్ ప్రాంప్ట్లు (Approval prompts).
- రీట్రై (retry) చేసేటప్పుడు విచ్ఛిన్నమయ్యే కాంటెక్స్ట్ చైన్లు (Context chains).
- ఆటోమేషన్ తన స్టేట్ను (state) కోల్పోవడం వల్ల మనుషులు పనులను సరిచేయాల్సి రావడం.
తెలివితేటలు పెరుగుతున్నాయి, కానీ ఆపరేషనల్ కంట్రోల్ (operational control) వెనుకబడి ఉంది. మనం 'ఆర్కెస్ట్రేషన్ టాక్స్' (orchestration tax) యుగంలోకి ప్రవేశిస్తున్నాము. మీరు దీని కోసం ప్రణాళిక వేయకపోతే, సర్వీస్ అంతరాయాలు (outages) మరియు సైలెంట్ ఫెయిల్యూర్ల (silent failures) రూపంలో దాని మూల్యం చెల్లించుకోవాల్సి వస్తుంది.
AI అవుట్పుట్ అనేది చాలా అరుదుగా తుది ఉత్పత్తి అవుతుంది. ఇది ఒక పెద్ద వ్యవస్థలో మధ్యంతర దశ మాత్రమే. మీరు ఈ ప్రశ్నలకు పరిష్కారం కనుగొనాలి:
- టైమ్ అవుట్ (timeout) అయిన తర్వాత టాస్క్ మళ్ళీ ప్రారంభం కాగలదా?
- మనం ప్రతి అప్రూవల్ను ఆడిట్ చేయగలమా?
- డూప్లికేట్ చర్యలు లేకుండా స్టెప్స్ను మళ్ళీ రన్ చేయగలమా?
- పని జరుగుతున్నప్పుడే మనిషి దానిని నియంత్రించగలడా?
సీనియర్ ఇంజనీర్లు ఈ సమస్యలను సంవత్సరాల క్రితమే పేమెంట్స్ మరియు బ్యాక్గ్రౌండ్ జాబ్స్లో పరిష్కరించారు. మేము ఐడెంపోటెన్సీ కీలు (idempotency keys), చెక్పాయింట్లు (checkpoints) మరియు ట్రాన్సాక్షన్ లాగ్లను (transaction logs) ఉపయోగించాము. AI ఈ సమస్యలను సృష్టించలేదు. అది కేవలం వాటిని వేగంగా జరిగేలా చేసింది.
మీ ఎగ్జిక్యూషన్ కాంట్రాక్ట్ను (execution contract) ఎంచుకోకముందే మోడల్ను ఎంచుకోవద్దు. అది బ్రేకులు లేని కారు కోసం రేసింగ్ ఇంజిన్ను ఎంచుకోవడం లాంటిది.
ఈ దశలను ఉపయోగించి నమ్మదగిన వర్క్ఫ్లోను నిర్మించండి:
AI పనిని చిన్న దశలుగా విభజించండి ఒకే పెద్ద ప్రాంప్ట్ను ఉపయోగించకండి. దానిని విభజించండి: కాంటెక్స్ట్ను సేకరించడం, మార్పును ప్రతిపాదించడం, తనిఖీలు చేయడం, అప్రూవల్ కోరడం మరియు మార్పును అమలు చేయడం.
డ్యూరబుల్ స్టోరేజ్ (durable storage) ఉపయోగించండి స్టేటస్, స్టెప్స్ మరియు ప్రయత్నాల సంఖ్యను ట్రాక్ చేయడానికి ఒక డేటాబేస్ను ఉపయోగించండి. ఒక వర్కర్ క్రాష్ అయితే, మీరు మెమరీ నుండి కాకుండా స్టేట్ (state) నుండి తిరిగి పొందగలరు.
ఐడెంపోటెన్సీని (idempotency) అమలు చేయండి డేటాను మార్చే ప్రతి చర్యకు ఒక స్థిరమైన కీ అవసరం. ఒక స్టెప్ రెండుసార్లు రన్ అయినా, ఫలితం ఒకేలా ఉండాలి.
టియర్లతో (tiers) పర్మిషన్లను నిర్వహించండి నిరంతరం అప్రూవల్స్ అడగడం ఆపండి. టియర్లను సృష్టించండి:
- Tier 0: రీడ్-ఓన్లీ టాస్క్లు (auto-approved).
- Tier 1: తక్కువ రిస్క్ ఉన్న రైట్స్ (batched approval).
- Tier 2: అధిక ప్రభావం చూపే టాస్క్లు (human checkpoint).
- ఆపరేషనల్ మెట్రిక్స్ను (operational metrics) ట్రాక్ చేయండి కేవలం లేటెన్సీ (latency) మరియు ఖర్చును మాత్రమే చూడటం ఆపండి. టైమ్ అవుట్ రేట్లు, రీట్రై సక్సెస్ మరియు రోల్బ్యాక్ ఫ్రీక్వెన్సీని ట్రాక్ చేయండి.
ఉత్తమ AI టీమ్లు మ్యాజిక్ ప్రాంప్ట్ల గురించి గొప్పలు చెప్పుకోవు. అవి బోరింగ్, డ్యూరబుల్ మరియు అబ్జర్వబుల్ పైప్లైన్లను (pipelines) నడుపుతాయి. వారి బలం మోడల్ కాదు. వారి బలం క్రమశిక్షణతో కూడిన సిస్టమ్స్ ఇంజనీరింగ్ (systems engineering).
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4
Optional learning community: https://t.me/GyaanSetuAi