𝗠𝗖𝗣 کا گندہ راز: آپ کا ایجنٹ ٹوکنز ضائع کر رہا ہے

آپ کا AI ایجنٹ ہر بار جب کسی MCP سرور کو کال کرتا ہے، تو ایک چھپا ہوا ٹیکس ادا کرتا ہے۔ یہ ٹیکس ڈالرز میں نہیں ہے، بلکہ ٹوکنز کی صورت میں ہے۔

اگر آپ بڑے پیمانے پر ایجنٹس چلاتے ہیں، تو یہ لاگت تیزی سے بڑھتی ہے۔ میں نے اپنے ٹوکن کے استعمال پر نظر رکھی اور اس میں بہت زیادہ اضافہ دیکھا۔ مسئلہ ماڈل کی منطق (reasoning) کا نہیں ہے۔ مسئلہ context overhead کا ہے۔

جب آپ کسی ایجنٹ کو MCP سرور سے جوڑتے ہیں، تو سرور system prompt میں tool definitions بھیجتا ہے۔ ان میں ہر پیرامیٹر اور تفصیل شامل ہوتی ہے۔

اگر آپ 20 ٹولز والے پانچ MCP سرورز استعمال کرتے ہیں، تو آپ ہر ایک مرحلے (turn) میں 15,000 تک ٹوکنز کا اضافہ کر دیتے ہیں۔ یہ اس سے پہلے ہوتا ہے کہ ماڈل کچھ بولے بھی۔

یہاں 10 مرحلوں کے مکالمے کے ٹیسٹ کا ڈیٹا ہے:

• بغیر MCP کے: 2,400 ٹوکنز فی مرحلہ • 3 MCP سرورز: 18,700 ٹوکنز فی مرحلہ • 5 MCP servers: 31,200 ٹوکنز فی مرحلہ

موجودہ قیمتوں کے مطابق، 5 سرورز کے ساتھ روزانہ 50 مکالمے چلانے والی ٹیم صرف MCP overhead پر ماہانہ $23,400 خرچ کر سکتی ہے۔

اس سے دو اہم مسائل پیدا ہوتے ہیں:

اسے ٹھیک کرنے کے تین طریقے یہ ہیں:

  1. Use a Gateway تمام tool definitions ایک ساتھ لوڈ نہ کریں۔ صرف موجودہ کام کے لیے ضروری ٹولز شامل کرنے کے لیے ایک gateway کا استعمال کریں۔ اس سے overhead فی کال 8,000 ٹوکنز سے کم ہو کر 400 ٹوکنز تک گر سکتا ہے۔

  2. Use an Intent Classifier یہ فیصلہ کرنے کے لیے کہ کون سا سرور متعلقہ ہے، پہلے ایک سستا ماڈل کال چلائیں۔ ایک classifier پر ہونے والی معمولی لاگت آپ کے MCP overhead کو 60% سے 80% تک کم کر سکتی ہے۔

  3. Compress Your Schemas MCP schemas بہت زیادہ الفاظ استعمال کرتی ہیں۔ تفصیلات کو صرف ضروری اسموں (nouns) تک محدود کر دیں۔ example fields کو ہٹا دیں۔ میں نے پایا کہ اگر آپ متن کو سادہ کر دیں تو 400-token schema 120 tokens پر بھی بہترین کام کرتی ہے۔

Context کو لامحدود سمجھنا بند کریں۔ Context budget ایک انفراسٹرکچر ہے۔ اسے ایک حقیقی لاگت کی طرح مینیج کریں۔

آپ اپنے پروڈکشن ایجنٹس میں MCP overhead کو کیسے سنبھالتے ہیں؟ مجھے کمنٹس میں بتائیں۔

Source: https://dev.to/mrclaw207/mcps-dirty-secret-your-agent-is-burning-10-32x-more-tokens-than-you-think-32d1

Optional learning community: https://t.me/GyaanSetuAi