MCP-এর গোপন রহস্য: আপনার এজেন্ট টোকেন নষ্ট করছে
আপনার AI এজেন্ট প্রতিবার যখন একটি MCP সার্ভার কল করে, তখন সে একটি গোপন কর (tax) প্রদান করে। এই কর ডলারের মাধ্যমে নয়, বরং টোকেনের মাধ্যমে।
আপনি যদি বড় পরিসরে এজেন্ট চালান, তবে এই খরচ দ্রুত বৃদ্ধি পায়। আমি আমার টোকেন ব্যবহার ট্র্যাক করেছি এবং বিশাল বৃদ্ধি লক্ষ্য করেছি। সমস্যাটি মডেলের রিজনিং-এ নয়। সমস্যাটি হলো কনটেক্সট ওভারহেড।
যখন আপনি একটি এজেন্টকে একটি MCP সার্ভারের সাথে যুক্ত করেন, তখন সার্ভারটি সিস্টেম প্রম্পটে টুল ডেফিনিশনগুলো পাঠিয়ে দেয়। এর মধ্যে প্রতিটি প্যারামিটার এবং বর্ণনা অন্তর্ভুক্ত থাকে।
আপনি যদি ২০টি টুলসহ পাঁচটি MCP সার্ভার ব্যবহার করেন, তবে প্রতিটি টার্নে আপনি ১৫,০০০ টোকেন পর্যন্ত যোগ করছেন। মডেল কথা বলার আগেই এটি ঘটে যায়।
১০-টার্ন কথোপকথন পরীক্ষার ডেটা নিচে দেওয়া হলো:
• কোনো MCP নেই: প্রতি টার্নে ২,৪০০ টোকেন • ৩টি MCP সার্ভার: প্রতি টার্নে ১৮,৭০০ টোকেন • ৫টি MCP সার্ভার: প্রতি টার্নে ৩১,২০০ টোকেন
বর্তমান মূল্যে, ৫টি সার্ভার ব্যবহার করে প্রতিদিন ৫০টি কথোপকথন চালানো একটি টিম শুধুমাত্র MCP ওভারহেডের জন্য মাসে ২৩,৪০০ ডলার খরচ করতে পারে।
এটি দুটি প্রধান সমস্যার সৃষ্টি করে:
- কোয়ালিটি বা মান কমে যায়। যখন টুল স্কিমাগুলো আপনার কনটেক্সট উইন্ডোর ৪০% দখল করে নেয়, তখন মডেলের কাছে হিস্ট্রির জন্য কম জায়গা থাকে। জায়গা ফুরিয়ে যাওয়ার কারণে মডেল জিনিসপত্র ভুলে যেতে শুরু করে।
- খরচ নির্ধারিত। প্রতিটি টার্নে আপনাকে এই সিস্টেম প্রম্পটগুলোর জন্য পুরো দাম দিতে হয়।
এটি সমাধানের তিনটি উপায় এখানে দেওয়া হলো:
একটি গেটওয়ে (Gateway) ব্যবহার করুন সব টুল ডেফিনিশন একসাথে লোড করবেন না। বর্তমান কাজের জন্য প্রয়োজনীয় টুলগুলো ইনজেক্ট করার জন্য একটি গেটওয়ে ব্যবহার করুন। এটি প্রতি কলের ওভারহেড ৮,০০০ টোকেন থেকে কমিয়ে ৪০০ টোকেনে নামিয়ে আনতে পারে।
একটি ইনটেন্ট ক্লাসিফায়ার (Intent Classifier) ব্যবহার করুন কোন সার্ভারটি প্রাসঙ্গিক তা নির্ধারণ করতে প্রথমে একটি সস্তা মডেল কল করুন। একটি ক্লাসিফায়ারের সামান্য খরচ আপনার MCP ওভারহেড ৬০% থেকে ৮০% পর্যন্ত কমিয়ে দিতে পারে।
আপনার স্কিমাগুলো কম্প্রেস (Compress) করুন MCP স্কিমাগুলোতে অনেক শব্দ ব্যবহৃত হয়। বর্ণনাগুলোকে কমিয়ে শুধুমাত্র প্রয়োজনীয় বিশেষ্য বা নাউন (noun) হিসেবে রাখুন। উদাহরণস্বরূপ ফিল্ডগুলো (example fields) সরিয়ে ফেলুন। আমি দেখেছি যে টেক্সট সহজ করলে ৪০০-টোকেনের একটি স্কিমা ১২০ টোকেনেও চমৎকারভাবে কাজ করে।
কনটেক্সটকে অসীম মনে করা বন্ধ করুন। কনটেক্সট বাজেট হলো একটি ইনফ্রাস্ট্রাকচার। এটিকে একটি প্রকৃত খরচের মতো পরিচালনা করুন।
আপনি আপনার প্রোডাকশন এজেন্টগুলোতে MCP ওভারহেড কীভাবে সামলান? কমেন্টে আমাকে জানান।
Optional learning community: https://t.me/GyaanSetuAi