ఏజెంట్ ఆర్కిటెక్చర్ అనేది ఒక కంప్యూట్ అలోకేషన్ సమస్య
AI ఏజెంట్ డిజైన్ విషయంలో ఇటీవల మూడు స్వతంత్ర సమూహాలు ఒకే ముగింపుకు వచ్చాయి.
Anthropic 'అడ్వైజర్ స్ట్రాటజీ' (advisor strategy) పై ఒక బ్లాగ్ పోస్ట్ను విడుదల చేసింది. వారు మెయిన్ లూప్ను నడపడానికి ఒక చౌకైన మోడల్ను ఉపయోగిస్తారు. చౌకైన మోడల్ ఆగిపోయినప్పుడు మాత్రమే వారు ఖరీదైన మోడల్ను పిలుస్తారు. BrowseComp లో ఈ సెటప్, ప్రతిదానికీ టాప్-టియర్ మోడల్ను ఉపయోగించే ఖర్చులో కేవలం 15% ఖర్చుతోనే 41.2% ఖచ్చితత్వాన్ని సాధించింది.
Shopify నుండి Tobi Lutke X లో ఇలాంటి సెటప్ను పంచుకున్నారు. ఆయన పరిశోధన కోసం ఒక లోకల్ మోడల్ను నడుపుతారు మరియు అడ్వైజర్గా ఒక ఫ్రంటియర్ మోడల్ను ఉపయోగిస్తారు. డెవలపర్లు కొన్ని గంటల్లోనే దీనికి ఓపెన్-సోర్స్ వెర్షన్లను రూపొందించారు.
HazyResearch ఒక 'కంప్రెసర్-ప్రిడిక్టర్ ఫ్రేమ్వర్క్' (compressor-predictor framework) పై ఒక పేపర్ను ప్రచురించింది. ఒక చిన్న మోడల్, పెద్ద మోడల్ తర్కించడానికి (reasoning) అవసరమైన కాంటెక్స్ట్ను సంగ్రహిస్తుంది (distills). వారి సిస్టమ్ 26% ఖర్చుతోనే 99% ఖచ్చితత్వాన్ని తిరిగి పొందింది.
ఈ ఏకాభిప్రాయం యాదృచ్ఛికం కాదు. ఇది ఒక నిర్దిష్ట డిజైన్ నియమాన్ని అనుసరిస్తుంది: 'కాస్ట్-కర్వ్ ఫ్రేమ్' (cost-curve frame).
ఈ సిరీస్లో మూడు పొరల (layers) ద్వారా నేను ఈ ఫ్రేమ్ను వివరించాను:
- లేయర్ 1 (Retrieval): చాలా కోడ్ టాస్క్ల కోసం tool-loops ఎందుకు RAG కంటే మెరుగ్గా పనిచేస్తాయి.
- లేయర్ 2 (Storage): సింబల్ గ్రాఫ్స్ కోసం SQLite ఎందుకు వెక్టర్ డేటాబేస్ల కంటే మెరుగ్గా ఉంటుంది.
- లేయర్ 3 (Orchestration): మోడల్ ఎంపిక కోసం అడ్వైజర్ స్ట్రాటజీ ఎందుకు విజయం సాధిస్తుంది.
లాజిక్ ఒక్కటే. చాలా ఏజెంట్ టాస్క్లు అనేక తక్కువ విలువ కలిగిన ఆపరేషన్లు మరియు కొన్ని అధిక విలువ కలిగిన నిర్ణయాలతో కూడి ఉంటాయి.
మీరు ప్రతి టోకెన్ కోసం ఖరీదైన మోడల్ను ఉపయోగిస్తే, కాంటెక్స్ట్ను చదవడం లేదా టెక్స్ట్ను ఫార్మాట్ చేయడం వంటి సాధారణ పనుల కోసం డబ్బు వృథా అవుతుంది. అడ్వైజర్ స్ట్రాటజీ ఈ మార్గాలను వేరు చేస్తుంది. మీరు మెజారిటీ పనుల కోసం చౌకైన ఎగ్జిక్యూటర్ను మరియు కేవలం కీలకమైన నిర్ణయ సమయాల్లో మాత్రమే ఖరీదైన అడ్వైజర్ను ఉపయోగిస్తారు.
మీరు ఏజెంట్లను నిర్మిస్తుంటే, ఈ మూడు ఇంజనీరింగ్ సవాళ్లను గమనించండి:
- డేటా ఎగ్రెస్ (Data Egress): రిమోట్ అడ్వైజర్కు కాంటెక్స్ట్ను పంపడం వల్ల సున్నితమైన డేటా లీక్ అయ్యే ప్రమాదం ఉంది. ఒక redaction లేయర్ను ఉపయోగించండి.
- ఎస్కలేషన్ పాలసీ (Escalation Policy): అడ్వైజర్ను ఎప్పుడు పిలవాలో నిర్ణయించడం కష్టం. మరీ త్వరగా పిలిస్తే డబ్బు వృథా అవుతుంది. మరీ ఆలస్యంగా పిలిస్తే సమయం వృథా అవుతుంది.
- హ్యాండోఫ్ డిజైన్ (Handoff Design): అడ్వైజర్ ఒక సంక్షిప్త ప్రణాళికను మాత్రమే అందించాలి, పూర్తి పరిష్కారాన్ని కాదు.
ఈ విధానం సమర్థవంతంగా ఉండటం వల్ల ఇది నిజమైనది. వాటి అవసరం లేని టోకెన్ల కోసం ఫ్రంటియర్-మోడల్ ధరలను చెల్లించడం ఆపండి.
ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi