కాంటెక్స్ట్ విండోలు భారీగా పెరుగుతున్నాయి
ప్రజలు 'ఏజెంట్' (agent) అనే పదాన్ని ప్రతిదానికీ వాడుతున్నారు.
ఒక టూల్ను పిలిచే ఫంక్షన్ ఒక ఏజెంట్. మెమరీ ఉన్న చాట్బాట్ ఒక ఏజెంట్. లూప్ ఉన్న స్క్రిప్ట్ ఒక ఏజెంట్.
ఈ తప్పు వల్ల ఇంజనీరింగ్ దెబ్బతింటుంది. టీమ్లు సాధారణ పనులకు అతిగా ఇంజనీరింగ్ చేస్తాయి మరియు సంక్లిష్టమైన పనులకు తక్కువ ఇంజనీరింగ్ చేస్తాయి. కేవలం ఒక మంచి ప్రాంప్ట్ (prompt) ఉంటే సరిపోయే వర్క్ఫ్లోల కోసం, ఏజెంట్ ఆర్కెస్ట్రేషన్ (agent orchestration) చేయడానికే టీమ్లు వారాల తరబడి సమయం వృథా చేయడం నేను చూస్తున్నాను.
అసలైన ఏజెంట్ అంటే ఏమిటో నా నిర్వచనం ఇక్కడ ఉంది.
ఒక ఏజెంట్కు ఒక లక్ష్యం (objective) ఉంటుంది. అది కేవలం సూచనలను మాత్రమే పాటించదు. తదుపరి ఏమి చేయాలో అది నిర్ణయించుకుంటుంది. అది వైఫల్యాలను (failure) ఎదుర్కోగలదు. ఎప్పుడు ఆగాలో దానికి తెలుసు.
ఈ బెంచ్మార్క్లను ఉపయోగించండి:
- ప్రతి అడుగులోనూ మనిషి మార్గనిర్దేశం చేయాల్సి వస్తే, అది ఒక చాట్ ఇంటర్ఫేస్ మాత్రమే.
- ఒకవేళ టూల్ కాల్ (tool call) విఫలమైనప్పుడు సిస్టమ్ దాని నుండి కోలుకోగలిగితే, అది ఏజెంట్గా మారుతోంది అని అర్థం.
- ఒక లక్ష్యాన్ని పనులుగా (tasks) విభజించి, వాటిని అప్పగిస్తే (delegate), అది అసలైన ఏజెంట్.
విజయవంతమైన ఏజెంట్లు చాలా వరకు నిర్దిష్టమైన పనులకే పరిమితమై ఉంటాయి (narrow). అవి ఒక పనిని చక్కగా చేస్తాయి. అవి కస్టమర్ సపోర్ట్ ట్రైయాజ్ (customer support triage) లేదా డాక్యుమెంట్ ఎక్స్ట్రాక్షన్ (document extraction) వంటి పనులను నిర్వహిస్తాయి. అవి జనరల్ రీజనింగ్ ఇంజన్లు (general reasoning engines) కావు.
విజయవంతమైన టీమ్లు ఈ మూడు విషయాలపై దృష్టి పెడతాయి:
- టూల్ డిజైన్: ఇంటర్ఫేస్ ఎంత స్పష్టంగా ఉంది?
- ఫెయిల్యూర్ హ్యాండ్లింగ్: ఒక టూల్ ఏమీ తిరిగి ఇవ్వనప్పుడు (returns nothing) ఏం జరుగుతుంది?
- అబ్జర్వబిలిటీ (Observability): ఏజెంట్ ఒక నిర్ణయం ఎందుకు తీసుకుందో మీరు గుర్తించగలరా?
విఫలమయ్యే టీమ్లు కేవలం ఒక మోడల్ను తీసివేసి కొత్త మోడల్ను ఉపయోగిస్తాయి మరియు మెరుగైన ఫలితాలను ఆశిస్తాయి. వారు సిస్టమ్ డిజైన్ను పట్టించుకోరు.
LangChain లేదా CrewAI వంటి ఫ్రేమ్వర్క్లు ప్రతి నెలా మారుతుంటాయి. ఫ్రేమ్వర్క్ కంటే ప్యాటర్న్ (pattern) ముఖ్యం.
ఈ ప్యాటర్న్లను ఉపయోగించండి:
- ప్లాన్ చేసి అమలు చేయండి (Plan then execute): రీజనింగ్ స్టెప్ను ఎగ్జిక్యూషన్ స్టెప్ నుండి వేరు చేయండి.
- రిట్రీవల్ (retrieval) ను రీజనింగ్ నుండి వేరు చేయండి: కాంటెక్స్ట్ను సేకరించడం (fetching context) అనేది దానిని ఉపయోగించడం కంటే భిన్నమైన పని.
- ఎక్స్ప్లిసిట్ హ్యాండోఫ్స్ (Explicit handoffs): ఒక ఏజెంట్ మరొక ఏజెంట్కు పనిని అప్పగించినప్పుడు స్ట్రక్చర్డ్ లాగ్స్ (structured logs) ఉపయోగించండి.
ఫ్రేమ్వర్క్ అనేది కేవలం ఒక తాత్కాలిక నిర్మాణం (scaffolding) మాత్రమే. ఆర్కిటెక్చర్ అనేది అసలైన భవనం.
RAG అనేది ప్రామాణికమైనది, కానీ చంకింగ్ (chunking) తరచుగా సరిగ్గా ఉండదు. మీరు డాక్యుమెంట్లను సరిగ్గా విభజించకపోతే, మోడల్ కాంటెక్స్ట్ను కోల్పోతుంది. ఇది హాలూసినేషన్స్కు (hallucinations) దారితీస్తుంది.
మీ RAG ఫలితాలు ఉపయోగపడకపోతే, మీ చంకింగ్ మరియు మెటాడేటాను (metadata) తనిఖీ చేయండి. మోడల్ అనేది చాలా అరుదుగా సమస్యగా ఉంటుంది.
మోడల్స్ మెరుగుపడతాయి. కాంటెక్స్ట్ విండోలు పెరుగుతాయి. టోకెన్ ఖర్చులు తగ్గుతాయి.
ఇవేవీ నిజమైన ఇంజనీరింగ్ సవాలును పరిష్కరించవు. మీరు చూడనప్పుడు కూడా సరిగ్గా పనిచేసే వ్యవస్థలను మీరు నిర్మించాలి.
గవర్నెన్స్ (governance), అబ్జర్వబిలిటీ (observability) మరియు నమ్మదగిన టూల్ వినియోగంపై దృష్టి పెట్టండి. ఉత్తమ ఇంజనీర్లు మోడల్ రీసెర్చర్లు కాలేరు. వారు నమ్మదగిన AIని నిర్మించే సిస్టమ్స్ డిజైనర్లుగా ఉంటారు.
Source: https://dev.to/aibughunter/context-windows-are-getting-huge-heres-why-that-changes-everything-2jlh