𝗠𝗖𝗣 का काला सच: आपका एजेंट टोकन बर्बाद कर रहा है
आपका AI एजेंट हर बार जब किसी MCP सर्वर को कॉल करता है, तो उसे एक छिपा हुआ टैक्स देना पड़ता है। यह टैक्स डॉलर्स में नहीं, बल्कि टोकन में है।
यदि आप बड़े पैमाने पर एजेंट चलाते हैं, तो यह लागत तेजी से बढ़ती है। मैंने अपने टोकन उपयोग को ट्रैक किया और इसमें भारी उछाल देखा। समस्या मॉडल की रीजनिंग (reasoning) में नहीं है। समस्या कॉन्टेक्स्ट ओवरहेड (context overhead) में है।
जब आप किसी एजेंट को MCP सर्वर से जोड़ते हैं, तो सर्वर सिस्टम प्रॉम्प्ट (system prompt) में टूल डेफिनिशन (tool definitions) भेजता है। इनमें हर पैरामीटर और विवरण शामिल होता है।
यदि आप 20 टूल वाले पांच MCP सर्वर का उपयोग करते हैं, तो आप हर एक टर्न (turn) में 15,000 टोकन तक जोड़ देते हैं। यह मॉडल के बोलने से पहले ही हो जाता है।
यहाँ 10-टर्न बातचीत के परीक्षण का डेटा दिया गया है:
• No MCP: प्रति टर्न 2,400 टोकन • 3 MCP सर्वर: प्रति टर्न 18,700 टोकन • 5 MCP सर्वर: प्रति टर्न 31,200 टोकन
वर्तमान कीमतों पर, 5 सर्वरों के साथ प्रतिदिन 50 बातचीत चलाने वाली एक टीम केवल MCP ओवरहेड पर ही प्रति माह $23,400 खर्च कर सकती है।
इससे दो मुख्य समस्याएं होती हैं:
- क्वालिटी (Quality) गिर जाती है। जब टूल स्कीमा (tool schemas) आपके कॉन्टेक्स्ट विंडो का 40% हिस्सा ले लेते हैं, तो मॉडल के पास हिस्ट्री के लिए कम जगह बचती है। जगह खत्म होने के कारण मॉडल चीजें भूलने लगता है।
- लागत निश्चित (fixed) होती है। आप हर एक टर्न में इन सिस्टम प्रॉम्प्ट्स के लिए पूरी कीमत चुकाते हैं।
इसे ठीक करने के तीन तरीके यहाँ दिए गए हैं:
गेटवे (Gateway) का उपयोग करें सभी टूल डेफिनिशन को एक साथ लोड न करें। केवल वर्तमान कार्य के लिए आवश्यक टूल को इंजेक्ट करने के लिए गेटवे का उपयोग करें। इससे ओवरहेड प्रति कॉल 8,000 टोकन से घटकर 400 टोकन तक हो सकता है।
इंटेंट क्लासिफायर (Intent Classifier) का उपयोग करें यह तय करने के लिए कि कौन सा सर्वर प्रासंगिक है, पहले एक सस्ता मॉडल कॉल चलाएं। क्लासिफायर की मामूली लागत आपके MCP ओवरहेड को 60% से 80% तक कम कर सकती है।
अपने स्कीमा (Schemas) को कंप्रेस करें MCP स्कीमा में बहुत सारे शब्दों का उपयोग होता है। विवरणों को केवल आवश्यक संज्ञाओं (nouns) तक सीमित कर दें। उदाहरण फ़ील्ड्स (example fields) को हटा दें। मैंने पाया कि यदि आप टेक्स्ट को सरल बना देते हैं, तो 400-टोकन वाला स्कीमा 120 टोकन में भी बिल्कुल सही काम करता है।
कॉन्टेक्स्ट को असीमित मानना बंद करें। कॉन्टेक्स्ट बजट एक इंफ्रास्ट्रक्चर है। इसे एक वास्तविक लागत की तरह प्रबंधित करें।
आप अपने प्रोडक्शन एजेंटों में MCP ओवरहेड को कैसे संभालते हैं? मुझे कमेंट्स में बताएं।
Optional learning community: https://t.me/GyaanSetuAi