మీరు ఒక్క పదం కూడా టైప్ చేయకముందే మీ MCP సర్వర్లు టోకెన్లను వృథా చేస్తున్నాయి
మీరు ఎప్పుడూ ఉపయోగించని డేటా కోసం డబ్బు చెల్లిస్తున్నారు.
గత వారం నేను ఒక ఏజెంట్ సెషన్ను ట్రాక్ చేశాను. అందులో 47 MCP టూల్స్ లోడ్ అయ్యి ఉన్నాయి. ప్రతి టూల్ తన పూర్తి JSON schemaను సిస్టమ్ ప్రాంప్ట్లోకి పంపింది. నేను ఒక్క పదం కూడా టైప్ చేయకముందే ఇది జరిగిపోయింది.
ప్రతి టూల్ schema 150 నుండి 400 టోకెన్లను ఉపయోగిస్తుంది. 47 టూల్స్ వల్ల నాకు 11,000 టోకెన్ల అదనపు ఖర్చు (overhead) అయ్యింది. మోడల్ ప్రతి టర్న్ (turn) లోనూ ఈ టోకెన్లను చదువుతుంది. మీరు కేవలం రెండు టూల్స్ మాత్రమే ఉపయోగించినప్పటికీ, ఈ కాంటెక్స్ట్ (context) కోసం మీరు చెల్లించాల్సి ఉంటుంది.
చాలా మంది పెద్ద ఫైల్ అప్లోడ్ల గురించి ఆందోళన చెందుతారు. కానీ టూల్ మెనూ వల్ల కలిగే ఖర్చును వారు మర్చిపోతారు.
మీరు GitHub, Slack మరియు డేటాబేస్ల వంటి సర్వర్లను ఒకదానిపై ఒకటి అమర్చినప్పుడు, మీకు 60 నుండి 100 టూల్స్ వరకు వస్తాయి. టూల్ డెఫినిషన్లే మొత్తం కాంటెక్స్ట్ బడ్జెట్లో 20% వరకు ఆక్రమించే సెషన్లను నేను చూశాను.
అన్నింటినీ ఒకేసారి లోడ్ చేయడం ఆపండి. దానికి బదులుగా deferred loading ఉపయోగించండి.
ఈ పద్ధతిని అనుసరించండి: • టూల్స్ పేరు మరియు చిన్న వివరణతో మాత్రమే జాబితా చేయండి. • అవసరమైనప్పుడు పూర్తి schemaలను పొందడానికి ఒక సెర్చ్ టూల్ను ఉపయోగించండి.
ప్రతి టూల్ కోసం భారీ JSON ఆబ్జెక్ట్ను పంపే బదులు, మీరు ఒక సాధారణ పేరును మాత్రమే అందిస్తారు. మోడల్కు ఏదైనా నిర్దిష్ట టూల్ అవసరమైనప్పుడు, అది ఒక సెర్చ్ ఫంక్షన్ను పిలుస్తుంది (calls). ఆ ఫంక్షన్ కేవలం సరిపోలే టూల్స్ కోసం మాత్రమే పూర్తి schemaను తిరిగి ఇస్తుంది.
దీని ఫలితాలు అద్భుతం: • 80 టూల్స్ను Eager loading ద్వారా లోడ్ చేస్తే: ~18,000 టోకెన్లు. • 80 టూల్స్ను Deferred loading ద్వారా లోడ్ చేస్తే: ~1,000 టోకెన్లు.
ఇది టూల్ డెఫినిషన్లను ఒక పెద్ద ఖర్చు నుండి చాలా స్వల్పమైన ఖర్చుగా మారుస్తుంది.
ఈ వ్యూహం పని చేస్తుంది ఎందుకంటే చాలా సెషన్లలో అందుబాటులో ఉన్న టూల్స్లో చాలా తక్కువ భాగం మాత్రమే ఉపయోగించబడతాయి. ఒకవేళ మీరు సెషన్లో ప్రతి టూల్ను ఉపయోగిస్తే, ఖర్చు అలాగే ఉంటుంది. కానీ చాలా మంది వినియోగదారులకు, ఇది భారీ మొత్తంలో కాంటెక్స్ట్ను ఆదా చేస్తుంది.
మోడల్ ఏ టూల్స్ను పిలవాలి (call) అని అడగకండి. మోడల్కు డిఫాల్ట్గా ఏ టూల్స్ ఉన్నాయని తెలియాలి అని అడగండి.
చాలా క్యాటలాగ్లు సులభం కాబట్టి అన్నింటినీ ఒకేసారి అందిస్తాయి. కానీ ఎవరూ చూడని మెనూ కోసం మీ బడ్జెట్ను వేగంగా ఖర్చు చేయడానికి ఇది ఒక మార్గం.
దీన్ని సరళంగా ఉంచండి. ఒక పేరు, వివరణ మరియు సెర్చ్ ఫంక్షన్ను మాత్రమే అందించండి. మీరు ఉపయోగించే మూడు టూల్స్ కోసం మాత్రమే చెల్లించండి, మీరు పట్టించుకోని ఎనభై టూల్స్ కోసం కాదు.
Source: https://dev.to/enjoy_kumawat/your-mcp-servers-are-burning-tokens-before-you-type-a-word-3076
Optional learning community: https://t.me/GyaanSetuAi