మోడల్ అనేది ఉత్పత్తి కాదు. అసలైన ఉత్పత్తి ఏమిటో ఇక్కడ చూడండి.
నేను AIని డెలివరీ చేస్తున్న ఇంజనీర్లతో మాట్లాడటం మరియు వారితో కలిసి పనిచేయడంపై సమయాన్ని గడుపుతాను. డెమోలకు మరియు నిజమైన ప్రొడక్షన్ సిస్టమ్స్కు మధ్య ఒక అంతరం ఉంది. చాలా మంది ఈ అంతరం గురించి నిజాయితీగా ఉండరు.
ప్రతి ఒక్కరూ ప్రతిదాన్ని ఏజెంట్ అని పిలుస్తున్నారు. లూప్ ఉన్న ఒక స్క్రిప్ట్ను ఏజెంట్ అంటారు. మెమరీ ఉన్న చాట్బాట్ను ఏజెంట్ అంటారు. దీనివల్ల ఇంజనీరింగ్ తప్పులు జరుగుతున్నాయి. మీరు సాధారణ పనులకు అతిగా ఇంజనీరింగ్ చేస్తారు మరియు సంక్లిష్టమైన పనులకు తక్కువ ఇంజనీరింగ్ చేస్తారు.
ఒక ఏజెంట్కు ఒక లక్ష్యం (objective) ఉండాలి. అది కేవలం ఒక సూచనను మాత్రమే అనుసరించదు. ఏజెంట్ తదుపరి ఏమి చేయాలో నిర్ణయించుకుంటుంది. అది వైఫల్యాలను ఎదుర్కొంటుంది. పని ఎప్పుడు పూర్తయిందో దానికి తెలుసు.
- ఒక మనిషి మీ సిస్టమ్కు ప్రతి దశను చెబితే, అది ఒక చాట్ ఇంటర్ఫేస్.
- మీ సిస్టమ్ విఫలమైన టూల్ కాల్ (tool call) నుండి కోలుకోగలిగితే, మీరు ఒక ఏజెంట్ను నిర్మిస్తున్నారు.
- మీ సిస్టమ్ ఒక లక్ష్యాన్ని ఉప-పనులుగా (subtasks) విభజిస్తే, అది నిజమైన ఏజెంట్.
నిజమైన ఏజెంట్ డిప్లాయ్మెంట్లు పరిమితమైనవి. అవి డాక్యుమెంట్ ఎక్స్ట్రాక్షన్ లేదా కోడ్ రివ్యూ వంటి ఒక పనిని మాత్రమే చక్కగా చేస్తాయి. విజయవంతమైన బృందాలు కొత్త మోడల్స్ కోసం వెతకవు. అవి ఈ మూడు అంశాలపై దృష్టి పెడతాయి:
- Tool design: ఇంటర్ఫేస్ ఎంత స్పష్టంగా ఉంది?
- Failure handling: ఒక టూల్ ఏమీ తిరిగి ఇవ్వనప్పుడు ఏం జరుగుతుంది?
- Observability: ఏజెంట్ ఒక నిర్ణయం ఎందుకు తీసుకుందో మీరు గుర్తించగలరా?
LangChain లేదా CrewAI వంటి ఫ్రేమ్వర్క్ల కంటే ప్యాటర్న్లు ఎక్కువ ప్రాముఖ్యత కలిగి ఉంటాయి. ఫ్రేమ్వర్క్ అనేది కేవలం ఒక మద్దతు (scaffolding) మాత్రమే. ఆర్కిటెక్చర్ అనేది అసలైన భవనం.
ఈ ప్యాటర్న్లను ఉపయోగించండి:
- Plan then execute. ప్లాన్ చేసి ఆపై అమలు చేయండి. ప్లానింగ్ కోసం ఒక దశను మరియు అమలు (execution) కోసం మరొక ప్రత్యేక దశను ఉపయోగించండి.
- Separate retrieval from reasoning. రిట్రీవల్ (retrieval) మరియు రీజనింగ్ (reasoning)లను వేరు చేయండి. కాంటెక్స్ట్ను సేకరించడం మరియు కాంటెక్స్ట్ను ఉపయోగించడం వేర్వేరు పనులు.
- Explicit handoffs. ఒక ఏజెంట్ మరొక ఏజెంట్కు పనిని అప్పగించేటప్పుడు (handoff), ఆ ప్రక్రియను స్పష్టంగా నిర్మించండి.
RAG అనేది ప్రామాణికమైనది, కానీ చంకింగ్ (chunking) తరచుగా తప్పుగా ఉంటుంది. మీరు డాక్యుమెంట్లను సరిగ్గా విభజించకపోతే, మోడల్ కాంటెక్స్ట్ను కోల్పోయి హాలూసినేట్ (hallucinates) అవుతుంది. మీ RAG ఫలితాలు ఉపయోగపడకపోతే, మీ చంకింగ్ మరియు మెటాడేటాను సరిచేయండి. ఎంబెడ్డింగ్ మోడల్ను నిందించకండి.
మోడల్స్ మెరుగుపడతాయి. కాంటెక్స్ట్ విండోలు పెరుగుతాయి. ఖర్చులు తగ్గుతాయి. ఇది ఇంజనీరింగ్ సవాలును మార్చదు. మీరు పర్యవేక్షించనప్పుడు కూడా నమ్మదగిన సిస్టమ్లను మీరు నిర్మించాలి.
గవర్నెన్స్, అబ్జర్వబిలిటీ మరియు టూల్ వినియోగంపై దృష్టి పెట్టండి. కేవలం ప్రాంప్ట్ ఇంజనీరింగ్లో మాత్రమే కాకుండా, సిస్టమ్స్ డిజైన్లో నైపుణ్యం ఉన్న ఇంజనీర్లే ముఖ్యం.
Source: https://dev.to/aibughunter/the-model-is-not-the-product-heres-what-actually-is-52b5