Your MCP Servers Are Burning Tokens Before You Type a Word
Unalipia data ambayo huwahi kuitumia.
Nilifuatilia kikao kimoja cha agent wiki iliyopita. Kilikuwa na zana 47 za MCP zilizopakia. Kila zana ilituma JSON schema yake nzima kwenye system prompt. Hii ilitokea kabla hata sijachapa neno moja.
Kila JSON schema ya zana hutumia token 150 hadi 400. Zana 47 zilinigharimu token 11,000 kama gharama ya ziada. Model inasoma token hizi katika kila hatua. Unalipia muktadha (context) huu hata kama unatumia zana mbili tu.
Watu wengi wanahofia kupakia faili kubwa. Wanasahau gharama ya menyu ya zana yenyewe.
Unapounganisha seva kama GitHub, Slack, na kanzidata (databases), unaishia kuwa na zana 60 hadi 100. Nimeona vikao ambapo maelezo ya zana yalichukua 20% ya bajeti nzima ya muktadha (context budget).
Acha kupakia kila kitu kwa wakati mmoja. Badala yake, tumia deferred loading.
Huu hapa ni mtindo: • Orodhesha zana kwa jina na maelezo mafupi tu. • Tumia zana ya utafutaji (search tool) ili kupata schema kamili inapohitajika.
Badala ya kuingiza JSON object kubwa kwa kila zana, unatoa jina rahisi. Model inapohitaji zana mahususi, inaita kazi ya utafutaji (search function). Kazi hiyo inarudisha schema kamili kwa zana zinazoendana tu.
Matokeo ni makubwa: • Eager loading ya zana 80: ~token 18,000. • Deferred loading ya zana 80: ~token 1,000.
Hii inageuza maelezo ya zana kutoka kuwa gharama kubwa hadi kuwa kiasi kidogo sana kisichozingatiwa (rounding error).
Mkakati huu unafanya kazi kwa sababu vikao vingi hutumia sehemu ndogo tu ya zana zinazopatikana. Ikiwa unatumia kila zana katika kikao, gharama inabaki vilevile. Lakini kwa watumiaji wengi, hii huokoa kiasi kikubwa cha muktadha (context).
Usiulize ni zana zipi model inahitaji kuziita. Uliza ni nini model inahitaji kujua kinakuwepo kwa asili (by default).
Katalog nyingi hutoa kila kitu kwa wakati mmoja kwa sababu ni rahisi. Pia, ni njia ya haraka zaidi ya kutumia bajeti yako kwenye menyu ambayo hakuna anayesoma.
Iweke iwe rahisi. Toa jina, maelezo, na kazi ya utafutaji (search function). Lipia zana tatu unazotumia, siyo zana themanini unazozipuuza.
Chanzo: https://dev.to/enjoy_kumawat/your-mcp-servers-are-burning-tokens-before-you-type-a-word-3076
Jumuia ya kujifunza ya hiari: https://t.me/GyaanSetuAi