𝗠𝗖𝗣'𝗻𝗶𝗻 𝗞𝗶𝗿𝗹𝗶 𝗦𝗶𝗿𝗿ı: 𝗔𝗷𝗮𝗻ı𝗻ı𝘇 𝗧𝗼𝗸𝗲𝗻 𝗬𝗮𝗸ı𝘆𝗼𝗿
Yapay zeka ajanınız, her bir MCP sunucusunu çağırdığında gizli bir vergi ödüyor. Bu vergi dolar cinsinden değil, token cinsinden.
Eğer ajanları ölçekli bir şekilde çalıştırıyorsanız, bu maliyet hızla artar. Token kullanımımı takip ettim ve devasa sıçramalar gördüm. Sorun modelin muhakemesi değil; sorun bağlam (context) yüküdür.
Bir ajanı bir MCP sunucusuna bağladığınızda, sunucu araç tanımlarını (tool definitions) sistem istemine (system prompt) gönderir. Bunlar her bir parametreyi ve açıklamayı içerir.
Her biri 20 araca sahip beş MCP sunucusu kullanıyorsanız, her bir tura 15.000 tokene kadar ek yük getirirsiniz. Bu, model daha konuşmaya başlamadan gerçekleşir.
İşte 10 turluk bir konuşma testinden elde edilen veriler:
• MCP yok: Tur başına 2.400 token • 3 MCP sunucusu: Tur başına 18.700 token • 5 MCP sunucusu: Tur başına 31.200 token
Mevcut fiyatlarla, günde 5 sunucu ile 50 konuşma yürüten bir ekip, sadece MCP yükü için ayda 23.400 dolar harcayabilir.
Bu durum iki ana soruna yol açar:
- Kalite düşer. Araç şemaları (tool schemas) bağlam pencerenizin (context window) %40'ını kapladığında, modelin geçmiş için daha az alanı kalır. Model, alanı tükendiği için şeyleri unutmaya başlar.
- Maliyetler sabittir. Bu sistem istemleri için her bir turda tam ücret ödersiniz.
Bunu düzeltmenin üç yolu şunlardır:
Bir Gateway Kullanın Tüm araç tanımlarını aynı anda yüklemeyin. Sadece mevcut görev için gereken araçları enjekte etmek için bir gateway kullanın. Bu, çağrı başına yükü 8.000 tokenden 400 tokene düşürebilir.
Bir Niyet Sınıflandırıcı (Intent Classifier) Kullanın Hangi sunucunun ilgili olduğuna karar vermek için önce ucuz bir model çağrısı yapın. Bir sınıflandırıcı için ödenecek küçük bir maliyet, MCP yükünüzü %60 ile %80 arasında azaltabilir.
Şemalarınızı Sıkıştırın MCP şemaları çok fazla kelime kullanır. Açıklamaları temel isimlere indirgeyin. Örnek alanlarını (example fields) kaldırın. Metni basitleştirirseniz, 400 tokenlık bir şemanın 120 token ile mükemmel çalıştığını gördüm.
Bağlamı sınırsızmış gibi görmeyi bırakın. Bağlam bütçesi bir altyapıdır. Onu gerçek bir maliyet gibi yönetin.
Üretim aşamasındaki (production) ajanlarınızda MCP yükünü nasıl yönetiyorsunuz? Yorumlarda bana bildirin.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi