𝗠𝗖𝗣 యొక్క చీకటి రహస్యం: మీ ఏజెంట్ టోకెన్లను వేగంగా ఖర్చు చేస్తోంది

మీ AI ఏజెంట్ ప్రతిసారి ఒక MCP సర్వర్‌ని కాల్ చేసినప్పుడు, అది ఒక దాగి ఉన్న పన్నును (hidden tax) చెల్లిస్తుంది. ఈ పన్ను డాలర్లలో ఉండదు. ఇది టోకెన్ల రూపంలో ఉంటుంది.

మీరు ఏజెంట్లను పెద్ద ఎత్తున (at scale) ఉపయోగిస్తుంటే, ఈ ఖర్చు వేగంగా పెరుగుతుంది. నేను నా టోకెన్ వినియోగాన్ని ట్రాక్ చేయగా, భారీ పెరుగుదలను గమనించాను. సమస్య మోడల్ రీజనింగ్‌లో లేదు. సమస్య కాంటెక్స్ట్ ఓవర్‌హెడ్ (context overhead) లో ఉంది.

మీరు ఒక ఏజెంట్‌ను MCP సర్వర్‌కు కనెక్ట్ చేసినప్పుడు, ఆ సర్వర్ టూల్ డెఫినిషన్లను (tool definitions) సిస్టమ్ ప్రాంప్ట్‌లోకి పంపిస్తుంది. వీటిలో ప్రతి పారామీటర్ మరియు వివరణ (description) ఉంటాయి.

మీరు ఒక్కొక్కటి 20 టూల్స్ ఉన్న ఐదు MCP సర్వర్‌లను ఉపయోగిస్తే, ప్రతి టర్న్‌కు 15,000 టోకెన్ల వరకు అదనంగా చేరుతుంది. మోడల్ మాట్లాడకముందే ఇది జరుగుతుంది.

10-టర్న్ సంభాషణ పరీక్ష నుండి సేకరించిన డేటా ఇక్కడ ఉంది:

• No MCP: ప్రతి టర్న్‌కు 2,400 టోకెన్లు • 3 MCP సర్వర్లు: ప్రతి టర్న్‌కు 18,700 టోకెన్లు • 5 MCP సర్వర్లు: ప్రతి టర్న్‌కు 31,200 టోకెన్లు

ప్రస్తుత ధరల ప్రకారం, రోజుకు 5 సర్వర్లతో 50 సంభాషణలు నిర్వహించే ఒక టీమ్, కేవలం MCP ఓవర్‌హెడ్ కోసం మాత్రమే నెలకు $23,400 ఖర్చు చేయవచ్చు.

ఇది రెండు ప్రధాన సమస్యలకు దారితీస్తుంది:

దీనిని పరిష్కరించడానికి మూడు మార్గాలు ఇక్కడ ఉన్నాయి:

  1. గేట్‌వేని (Gateway) ఉపయోగించండి అన్ని టూల్ డెఫినిషన్లను ఒకేసారి లోడ్ చేయకండి. ప్రస్తుత టాస్క్‌కు అవసరమైన టూల్స్‌ను మాత్రమే పంపడానికి గేట్‌వేని ఉపయోగించండి. ఇది ఓవర్‌హెడ్‌ను ప్రతి కాల్‌కు 8,000 టోకెన్ల నుండి 400 టోకెన్లకు తగ్గించగలదు.

  2. ఇంటెంట్ క్లాసిఫైయర్‌ని (Intent Classifier) ఉపయోగించండి ఏ సర్వర్ సంబంధితమో నిర్ణయించడానికి మొదట తక్కువ ఖర్చుతో కూడిన మోడల్ కాల్‌ను రన్ చేయండి. క్లాసిఫైయర్ కోసం చేసే స్వల్ప ఖర్చు మీ MCP ఓవర్‌హెడ్‌ను 60% నుండి 80% వరకు తగ్గించగలదు.

  3. మీ స్కీమాలను కంప్రెస్ చేయండి (Compress) MCP స్కీమాలు చాలా పదాలను ఉపయోగిస్తాయి. వివరణలను కేవలం ముఖ్యమైన నామవాచకాలకు (nouns) పరిమితం చేయండి. ఉదాహరణ ఫీల్డ్స్‌ను తొలగించండి. టెక్స్ట్‌ను సరళీకరిస్తే, 400-టోకెన్ల స్కీమా 120 టోకెన్లతో కూడా అద్భుతంగా పనిచేస్తుందని నేను గమనించాను.

కాంటెక్స్ట్‌ను అపరిమితమైనదిగా భావించడం ఆపండి. కాంటెక్స్ట్ బడ్జెట్ అనేది ఒక ఇన్‌ఫ్రాస్ట్రక్చర్. దానిని ఒక నిజమైన ఖర్చులా నిర్వహించండి.

మీ ప్రొడక్షన్ ఏజెంట్లలో MCP ఓవర్‌హెడ్‌ను మీరు ఎలా నిర్వహిస్తున్నారు? కామెంట్లలో నాకు తెలియజేయండి.

Source: https://dev.to/mrclaw207/mcps-dirty-secret-your-agent-is-burning-10-32x-more-tokens-than-you-think-32d1

Optional learning community: https://t.me/GyaanSetuAi