MCP નું ગળ્યું રહસ્ય: તમારો એજન્ટ ટોકન્સ બરબાદ કરી રહ્યો છે
તમારો AI એજન્ટ જ્યારે પણ MCP સર્વરને કોલ કરે છે ત્યારે એક છુપો ટેક્સ ચૂકવે છે. આ ટેક્સ ડોલરમાં નથી, પણ ટોકન્સમાં છે.
જો તમે મોટા પાયે એજન્ટ્સ ચલાવો છો, તો આ ખર્ચ ઝડપથી વધે છે. મેં મારા ટોકન વપરાશને ટ્રેક કર્યો અને તેમાં મોટો ઉછાળો જોયો. સમસ્યા મોડેલના રીઝનિંગની નથી. સમસ્યા કોન્ટેક્સ્ટ ઓવરહેડ (context overhead) ની છે.
જ્યારે તમે એજન્ટને MCP સર્વર સાથે કનેક્ટ કરો છો, ત્યારે સર્વર સિસ્ટમ પ્રોમ્પ્ટમાં ટૂલ ડેફિનેશન (tool definitions) મોકલે છે. આમાં દરેક પેરામીટર અને વર્ણનનો સમાવેશ થાય છે.
જો તમે 20 ટૂલ્સ ધરાવતા પાંચ MCP સર્વરનો ઉપયોગ કરો છો, તો તમે દરેક ટર્નમાં 15,000 જેટલા ટોકન્સ ઉમેરો છો. મોડેલ બોલવાનું શરૂ કરે તે પહેલાં જ આ બધું થઈ જાય છે.
10-ટર્નની વાતચીતના ટેસ્ટનો ડેટા અહીં છે:
• No MCP: 2,400 tokens per turn • 3 MCP servers: 18,700 tokens per turn • 5 MCP servers: 31,200 tokens per turn
વર્તમાન કિંમતો મુજબ, 5 સર્વર્સ સાથે દિવસના 50 કન્વર્સેશન ચલાવતી ટીમ માત્ર MCP ઓવરહેડ પર જ દર મહિને $23,400 ખર્ચ કરી શકે છે.
આનાથી મુખ્ય બે સમસ્યાઓ ઊભી થાય છે:
- ગુણવત્તામાં ઘટાડો થાય છે. જ્યારે ટૂલ સ્કીમા (tool schemas) તમારા કોન્ટેક્સ્ટ વિન્ડોનો 40% ભાગ રોકી લે છે, ત્યારે મોડેલ પાસે હિસ્ટ્રી માટે ઓછી જગ્યા રહે છે. જગ્યા ખૂટી જવાથી મોડેલ વસ્તુઓ ભૂલવાનું શરૂ કરી દે છે.
- ખર્ચ નિશ્ચિત છે. તમારે દરેક ટર્નમાં આ સિસ્ટમ પ્રોમ્પ્ટ્સ માટે પૂરેપૂરી કિંમત ચૂકવવી પડે છે.
આને સુધારવા માટે અહીં ત્રણ રીતો છે:
Use a Gateway બધા ટૂલ ડેફિનેશન એકસાથે લોડ ન કરો. વર્તમાન કાર્ય માટે જરૂરી ટૂલ્સ જ ઇન્જેક્ટ કરવા માટે Gateway નો ઉપયોગ કરો. આનાથી ઓવરહેડ પ્રતિ કોલ 8,000 ટોકન્સથી ઘટાડીને 400 ટોકન્સ કરી શકાય છે.
Use an Intent Classifier કયું સર્વર સુસંગત છે તે નક્કી કરવા માટે પહેલા એક સસ્તું મોડેલ કોલ કરો. ક્લાસિફાયર માટેનો નાનો ખર્ચ તમારા MCP ઓવરહેડને 60% થી 80% સુધી ઘટાડી શકે છે.
Compress Your Schemas MCP સ્કીમામાં ઘણા શબ્દોનો ઉપયોગ થાય છે. વર્ણનોને માત્ર આવશ્યક નામ પદ (nouns) સુધી મર્યાદિત કરો. ઉદાહરણ ફિલ્ડ્સ (example fields) દૂર કરો. મેં જોયું છે કે જો તમે ટેક્સ્ટને સરળ બનાવો તો 400-ટોકન સ્કીમા 120 ટોકન્સમાં પણ ઉત્તમ રીતે કામ કરે છે.
કોન્ટેક્સ્ટને અમર્યાદિત માનવાનું બંધ કરો. કોન્ટેક્સ્ટ બજેટ એ ઇન્ફ્રાસ્ટ્રક્ચર છે. તેને વાસ્તવિક ખર્ચની જેમ મેનેજ કરો.
તમે તમારા પ્રોડક્શન એજન્ટ્સમાં MCP ઓવરહેડને કેવી રીતે હેન્ડલ કરો છો? મને કોમેન્ટ્સમાં જણાવો.
Optional learning community: https://t.me/GyaanSetuAi