𝗠𝗖𝗣-യുടെ രഹസ്യം: നിങ്ങളുടെ ഏജന്റ് ടോക്കണുകൾ പാഴാക്കുന്നു

ഓരോ തവണയും ഒരു MCP സെർവർ വിളിക്കുമ്പോഴും നിങ്ങളുടെ AI ഏജന്റ് ഒരു മറഞ്ഞിരിക്കുന്ന നികുതി (hidden tax) നൽകേണ്ടി വരുന്നു. ഈ നികുതി ഡോളറിലല്ല, മറിച്ച് ടോക്കണുകളിലാണ്.

നിങ്ങൾ വലിയ തോതിൽ ഏജന്റുകളെ പ്രവർത്തിപ്പിക്കുന്നുണ്ടെങ്കിൽ, ഈ ചിലവ് അതിവേഗം വർദ്ധിക്കും. എന്റെ ടോക്കൺ ഉപയോഗം ഞാൻ പരിശോധിച്ചപ്പോൾ വലിയ വർദ്ധനവ് കണ്ടു. പ്രശ്നം മോഡലിന്റെ റീസണിംഗിലല്ല (reasoning), മറിച്ച് കോൺടെക്സ്റ്റ് ഓവർഹെഡിലാണ് (context overhead).

നിങ്ങൾ ഒരു ഏജന്റിനെ ഒരു MCP സെർവറുമായി ബന്ധിപ്പിക്കുമ്പോൾ, സെർവർ ടൂൾ ഡെഫനിഷനുകൾ (tool definitions) സിസ്റ്റം പ്രോംപ്റ്റിലേക്ക് അയക്കുന്നു. ഇതിൽ ഓരോ പാരാമീറ്ററും വിവരണവും ഉൾപ്പെടുന്നു.

ഓരോന്നിനും 20 ടൂളുകൾ വീതമുള്ള അഞ്ച് MCP സെർവറുകൾ നിങ്ങൾ ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ, ഓരോ സംഭാഷണ ഘട്ടത്തിലും (turn) 15,000 ടോക്കണുകൾ വരെ അധികമായി വരുന്നു. മോഡൽ സംസാരിക്കുന്നതിന് മുൻപേ ഇത് സംഭവിക്കുന്നു.

10-ഘട്ട സംഭാഷണ പരീക്ഷണത്തിൽ നിന്നുള്ള വിവരങ്ങൾ ഇതാ:

• MCP ഇല്ലാതെ: ഓരോ ഘട്ടത്തിലും 2,400 ടോക്കണുകൾ • 3 MCP സെർവറുകൾ: ഓരോ ഘട്ടത്തിലും 18,700 ടോക്കണുകൾ • 5 MCP സെർവറുകൾ: ഓരോ ഘട്ടത്തിലും 31,200 ടോക്കണുകൾ

നിലവിലെ നിരക്കനുസരിച്ച്, 5 സെർവറുകൾ ഉപയോഗിച്ച് ദിവസം 50 സംഭാഷണങ്ങൾ നടത്തുന്ന ഒരു ടീമിന് MCP ഓവർഹെഡിനായി മാത്രം പ്രതിമാസം $23,400 വരെ ചിലവാകാം.

ഇത് പ്രധാനമായും രണ്ട് പ്രശ്നങ്ങൾക്ക് കാരണമാകുന്നു:

ഇത് പരിഹരിക്കാൻ മൂന്ന് വഴികൾ ഇതാ:

  1. ഒരു ഗേറ്റ്‌വേ (Gateway) ഉപയോഗിക്കുക എല്ലാ ടൂൾ ഡെഫനിഷനുകളും ഒരേസമയം ലോഡ് ചെയ്യരുത്. നിലവിലെ ടാസ്കിന് ആവശ്യമായ ടൂളുകൾ മാത്രം ഉൾപ്പെടുത്താൻ ഒരു ഗേറ്റ്‌വേ ഉപയോഗിക്കുക. ഇത് ഓരോ കോളിനും ഉള്ള ഓവർഹെഡ് 8,000 ടോക്കണുകളിൽ നിന്ന് 400 ടോക്കണുകളായി കുറയ്ക്കാൻ സഹായിക്കും.

  2. ഒരു ഇന്റന്റ് ക്ലാസിഫയർ (Intent Classifier) ഉപയോഗിക്കുക ഏത് സെർവറാണ് പ്രസക്തമെന്ന് തീരുമാനിക്കാൻ ആദ്യം കുറഞ്ഞ ചിലവുള്ള ഒരു മോഡൽ കോൾ നടത്തുക. ഒരു ക്ലാസിഫയറിനായുള്ള ചെറിയ ചിലവ് നിങ്ങളുടെ MCP ഓവർഹെഡ് 60% മുതൽ 80% വരെ കുറയ്ക്കാൻ സഹായിക്കും.

  3. നിങ്ങളുടെ സ്കീമകൾ കംപ്രസ്സ് (Compress) ചെയ്യുക MCP സ്കീമകൾ ധാരാളം വാക്കുകൾ ഉപയോഗിക്കുന്നു. വിവരണങ്ങൾ ചുരുക്കി അത്യാവശ്യമായ നാമങ്ങൾ (nouns) മാത്രം നിലനിർത്തുക. ഉദാഹരണ ഫീൽഡുകൾ (example fields) ഒഴിവാക്കുക. ടെക്സ്റ്റ് ലളിതമാക്കിയാൽ 400 ടോക്കൺ സ്കീമ 120 ടോക്കണിൽ കൃത്യമായി പ്രവർത്തിക്കുമെന്ന് ഞാൻ കണ്ടെത്തിയിട്ടുണ്ട്.

കോൺടെക്സ്റ്റിനെ പരിധിയില്ലാത്തതായി കാണുന്നത് നിർത്തുക. കോൺടെക്സ്റ്റ് ബജറ്റ് എന്നത് ഒരു ഇൻഫ്രാസ്ട്രക്ചറാണ് (infrastructure). അതിനെ ഒരു യഥാർത്ഥ ചിലവായി കണക്കാക്കി കൈകാര്യം ചെയ്യുക.

നിങ്ങളുടെ പ്രൊഡക്ഷൻ ഏജന്റുകളിൽ MCP ഓവർഹെഡ് എങ്ങനെയാണ് കൈകാര്യം ചെയ്യുന്നത്? കമന്റുകളിൽ അറിയിക്കുക.

Source: https://dev.to/mrclaw207/mcps-dirty-secret-your-agent-is-burning-10-32x-more-tokens-than-you-think-32d1

Optional learning community: https://t.me/GyaanSetuAi