𝗠𝗖𝗣 𝗗𝗶𝗿𝘁𝘆 𝗦𝗲𝗰𝗿𝗲𝘁: 𝗪𝗮𝗸𝗮𝗹𝗮 𝗪𝗮𝗸𝗼 𝗨𝗻𝗮𝗰𝗵𝗼𝗺𝗮 𝗧𝗼𝗸𝗲𝗻𝘀
Wakala wako wa AI analipa kodi ya siri kila wakati unapoita MCP server. Kodi hii siyo kwa dola. Ni kwa token.
Ikiwa unaendesha wakala kwa kiwango kikubwa, gharama hii huongezeka haraka. Nilifuatilia matumizi yangu ya token na kuona ongezeko kubwa sana. Tatizo siyo uwezo wa kufikiri wa modeli (model reasoning). Tatizo ni mzigo wa muktadha (context overhead).
Unapounganisha wakala kwenye MCP server, server hiyo hutuma maelezo ya zana (tool definitions) kwenye system prompt. Hii inajumuisha kila parameter na maelezo.
Ikiwa unatumia MCP server tano zenye zana 20 kila moja, unaongeza hadi token 15,000 kwenye kila mzunguko mmoja. Hii hutokea kabla hata modeli haijaanza kuzungumza.
Hapa kuna data kutoka kwenye jaribio la mazungumzo ya mzunguko 10:
• Bila MCP: token 2,400 kwa kila mzunguko • MCP server 3: token 18,700 kwa kila mzunguko • MCP server 5: token 31,200 kwa kila mzunguko
Kwa bei za sasa, timu inayofanya mazungumzo 50 kwa siku kwa kutumia server 5 inaweza kutumia $23,400 kwa mwezi kwa ajili ya mzigo wa MCP pekee.
Hii inasababisha matatizo makuu mawili:
- Ubora unashuka. Wakati tool schemas zinapochukua 40% ya context window yako, modeli inakuwa na nafasi ndogo ya kumbukumbu (history). Modeli inaanza kusahau mambo kwa sababu nafasi inaisha.
- Gharama zimepangwa. Unalipa bei kamili kwa system prompts hizi katika kila mzunguko.
Hizi hapa ni njia tatu za kurekebisha hili:
Tumia Gateway Usipakue maelezo ya zana zote kwa wakati mmoja. Tumia gateway kuingiza zana zinazohitajika tu kwa kazi ya sasa. Hii inaweza kupunguza mzigo kutoka token 8,000 hadi token 400 kwa kila mwito.
Tumia Intent Classifier Anzisha mwito wa modeli rahisi kwanza ili kuamua ni server ipi inayohusika. Gharama ndogo kwa classifier inaweza kupunguza mzigo wako wa MCP kwa 60% hadi 80%.
Punguza Ukubwa wa Schemas Zako MCP schemas hutumia maneno mengi. Punguza maelezo hadi kwenye nomino muhimu pekee. Ondoa sehemu za mifano (example fields). Niligundua kuwa schema ya token 400 inafanya kazi vizuri sana ikiwa token 120 ukisimplify maandishi.
Acha kuchukulia muktadha (context) kama kitu kisicho na kikomo. Bajeti ya muktadha ni miundombinu. Isimamie kama gharama halisi.
Unashughulikiaje mzigo wa MCP kwenye wakala wako wa production? Nijulishe kwenye maoni.
Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi