Mengapa Kami Menolak Penjimatan Token sebanyak 96%

Kami menemui pelayan MCP yang menjimatkan 96% token. Ia menggunakan satu alatan: execute_code. Daripada memanggil fungsi khusus, ejen menulis JavaScript untuk mendapatkan data.

Di atas kertas, ia menang. Untuk tugasan yang kompleks, pelaksanaan kod mengatasi pemanggilan alatan (tool-calling) dari segi kecekapan.

Tetapi kami tidak menggunakannya. Sebaliknya, kami mengekalkan alatan khusus kami yang dinamakan.

Berikut adalah sebab mengapa pilihan yang jelas itu merupakan pilihan yang salah untuk ejen kami.

Sasaran Menentukan Reka Bentuk

Kebanyakan orang membina untuk model frontier dalam tetingkap sembang. Model-model tersebut mempunyai bajet token yang besar. Bagi mereka, pelaksanaan kod adalah raja.

Kami membina untuk ejen berasaskan suara (voice-first) pada model tempatan yang kecil (Hermes 3 8B) di atas sebuah bot.

Bagi model kecil, kekangannya bukanlah token. Kekangannya adalah kebolehpercayaan.

Jika model kecil bergelut untuk memanggil alatan yang mudah, memintanya menulis JavaScript yang betul adalah tugasan yang jauh lebih sukar. execute_code menukar kebolehpercayaan dengan token. Kami tidak mampu melakukan pertukaran tersebut.

Masalah Batas Terakhir (Last-Mile)

Pelaksanaan kod meletakkan kerja "batas terakhir" (last mile) kepada ejen. Ejen mesti:

  • Menapis data
  • Menyusun keputusan
  • Memformat output

Alatan kami melakukan kerja ini di dalam pelayan. Sebagai contoh, apabila bertanya tentang status bateri, alatan kami mengembalikan rentetan (string) yang sedia untuk teks-ke-suara (text-to-speech). Ia menyebut "68 peratus, 12.8 volt" dan bukannya nombor mentah.

Jika kami menggunakan execute_code, ejen mesti menulis logik untuk memformat ucapan tersebut. Model kecil sering gagal dalam hal ini.

Peraturan Ketiadaan (Absence Rule)

Di atas bot, sensor boleh terputus sambungan (offline). Dalam sistem kami, sensor yang hilang akan mengembalikan null yang bersih. Ini adalah panggilan yang berjaya.

Dalam model pelaksanaan kod, sensor yang hilang sering mencetuskan ralat. Jika model kecil meneka beberapa laluan yang salah, ia akan mencetuskan had ralat dan merosakkan ejen. Alatan bernama membolehkan kami menjadikan ketiadaan sebagai satu kejayaan, bukan satu kesalahan.

Senarai Semak Adopt-vs-Build

Sebelum anda menggunakan atau membina pelayan MCP, tanya soalan-soalan ini:

• Siapakah ejen sasaran? (Model frontier vs. Model tempatan kecil) • Apakah kekangan utama? (Token vs. Kebolehpercayaan) • Siapa yang melakukan 'last mile'? (Adakah alatan memformat data atau ejen?) • Bagaimanakah ia mengendalikan ketiadaan? (Adakah nilai yang hilang merupakan ralat atau null?) • Apakah kos penyelenggaraan? (Adakah anda mewarisi kod asas yang tidak aktif?)

Kami tidak mengabaikan projek lain tersebut. Kami mengambil idea-ideanya. Kami mengambil logik pengendalian penggera dan penemuan laluan mereka dan menambahkannya ke dalam pelan hala tuju (roadmap) kami.

Kecekapan itu bagus, tetapi kebolehpercayaan adalah keperluan apabila anda berada di laut.

Sumber: https://dev.to/clarkbw--/why-we-kept-named-mcp-tools-despite-a-96-token-saving-40ae

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi