Rahasia Kotor MCP: Agen Anda Membakar Token
Agen AI Anda membayar pajak tersembunyi setiap kali ia memanggil server MCP. Pajak ini bukan dalam bentuk dolar. Melainkan dalam bentuk token.
Jika Anda menjalankan agen dalam skala besar, biaya ini akan membengkak dengan cepat. Saya melacak penggunaan token saya dan melihat lonjakan yang sangat besar. Masalahnya bukan pada penalaran model. Masalahnya adalah overhead konteks.
Saat Anda menghubungkan agen ke server MCP, server tersebut mengirimkan definisi tool ke dalam prompt sistem. Ini mencakup setiap parameter dan deskripsi.
Jika Anda menggunakan lima server MCP dengan masing-masing 20 tool, Anda menambahkan hingga 15.000 token pada setiap giliran (turn). Hal ini terjadi bahkan sebelum model mulai berbicara.
Berikut adalah data dari tes percakapan 10 giliran:
• Tanpa MCP: 2.400 token per giliran • 3 server MCP: 18.700 token per giliran • 5 server MCP: 31.200 token per giliran
Dengan harga saat ini, tim yang menjalankan 50 percakapan sehari dengan 5 server dapat menghabiskan $23.400 per bulan hanya untuk overhead MCP saja.
Ini menyebabkan dua masalah utama:
- Kualitas menurun. Ketika skema tool memakan 40% dari jendela konteks Anda, model memiliki lebih sedikit ruang untuk riwayat. Model mulai melupakan hal-hal karena kehabisan ruang.
- Biaya bersifat tetap. Anda membayar harga penuh untuk prompt sistem ini pada setiap giliran.
Berikut adalah tiga cara untuk memperbaikinya:
Gunakan Gateway Jangan memuat semua definisi tool sekaligus. Gunakan gateway untuk menyuntikkan hanya tool yang diperlukan untuk tugas saat ini. Ini dapat menurunkan overhead dari 8.000 token menjadi 400 token per panggilan.
Gunakan Intent Classifier Jalankan panggilan model yang murah terlebih dahulu untuk memutuskan server mana yang relevan. Biaya kecil untuk sebuah classifier dapat memangkas overhead MCP Anda sebesar 60% hingga 80%.
Kompres Skema Anda Skema MCP menggunakan banyak kata. Ringkas deskripsi menjadi kata benda esensial saja. Hapus kolom contoh. Saya menemukan bahwa skema 400 token dapat bekerja dengan sempurna pada 120 token jika Anda menyederhanakan teksnya.
Berhentilah menganggap konteks tidak terbatas. Anggaran konteks adalah infrastruktur. Kelolalah seperti biaya nyata.
Bagaimana Anda menangani overhead MCP pada agen produksi Anda? Beri tahu saya di kolom komentar.
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi