𝗠𝗖𝗣 𝗗𝗶𝗿𝘁𝘆 𝗦𝗲𝗰𝗿𝗲𝘁: 𝗬𝗼𝘂𝗿 𝗔𝗴𝗲𝗻𝘁 𝗜𝘀 𝗕𝘂𝗿𝗻𝗶𝗻𝗴 𝗧𝗼𝗸𝗲𝗻𝘀

तुमचा AI agent प्रत्येक वेळी MCP server ला कॉल करतो तेव्हा त्याला एक छुपा कर (tax) द्यावा लागतो. हा कर डॉलर्समध्ये नसून टोकन्समध्ये असतो.

जर तुम्ही मोठ्या प्रमाणावर (at scale) agents चालवत असाल, तर हा खर्च वेगाने वाढतो. मी माझ्या टोकन वापराचा मागोवा घेतला आणि त्यात मोठी वाढ (spikes) दिसून आली. समस्या मॉडेलच्या तर्कशक्तीची (reasoning) नाही, तर समस्या context overhead ची आहे.

जेव्हा तुम्ही एखाद्या agent ला MCP server शी जोडता, तेव्हा server सिस्टम प्रॉम्प्टमध्ये (system prompt) tool definitions पाठवते. यामध्ये प्रत्येक पॅरामीटर आणि वर्णन (description) समाविष्ट असते.

जर तुम्ही प्रत्येकी 20 टूल्स असलेले पाच MCP servers वापरले, तर प्रत्येक टर्नमध्ये तुम्ही 15,000 टोकन्सपर्यंत वाढवता. मॉडेलने बोलण्यापूर्वीच हे घडते.

१०-टर्न संभाषणाच्या चाचणीचा डेटा खालीलप्रमाणे आहे:

• No MCP: प्रति टर्न 2,400 टोकन्स • 3 MCP servers: प्रति टर्न 18,700 टोकन्स • 5 MCP servers: प्रति टर्न 31,200 टोकन्स

सध्याच्या किमतीनुसार, दिवसाला 5 servers सह 50 संभाषणे चालवणारी टीम फक्त MCP overhead वर महिन्याला $23,400 खर्च करू शकते.

यामुळे दोन मुख्य समस्या निर्माण होतात:

हे सुधारण्याचे तीन मार्ग खालीलप्रमाणे आहेत:

  1. Use a Gateway सर्व tool definitions एकाच वेळी लोड करू नका. सध्याच्या कामासाठी आवश्यक असलेले टूल्सच समाविष्ट करण्यासाठी gateway वापरा. यामुळे प्रति कॉल overhead 8,000 टोकन्सवरून 400 टोकन्सपर्यंत कमी होऊ शकतो.

  2. Use an Intent Classifier कोणता server संबंधित आहे हे ठरवण्यासाठी प्रथम एक स्वस्त (cheap) मॉडेल कॉल करा. Classifier साठी लागणारा अल्प खर्च तुमचा MCP overhead 60% ते 80% पर्यंत कमी करू शकतो.

  3. Compress Your Schemas MCP schemas मध्ये खूप शब्द वापरले जातात. वर्णनांमधून केवळ आवश्यक नामे (nouns) ठेवा. उदाहरण फील्ड्स (example fields) काढून टाका. मी असे पाहिले आहे की जर तुम्ही मजकूर सोपा केला, तर 400-token schema 120 टोकन्समध्ये उत्तम प्रकारे काम करते.

Context ला अमर्याद मानणे थांबवा. Context budget हे इन्फ्रास्ट्रक्चर आहे. त्याचे व्यवस्थापन एका वास्तविक खर्चाप्रमाणे करा.

तुम्ही तुमच्या production agents मध्ये MCP overhead कसे हाताळता? मला कमेंट्समध्ये नक्की सांगा.

Source: https://dev.to/mrclaw207/mcps-dirty-secret-your-agent-is-burning-10-32x-more-tokens-than-you-think-32d1

Optional learning community: https://t.me/GyaanSetuAi