𝗠𝗲𝗺𝗮𝗵𝗮𝗺𝗶 𝗚𝗲𝗹𝘂𝗻𝗴 𝗘𝗷𝗲𝗻
Jika anda membina menggunakan model panggilan-alatan (tool-calling models), keputusan paling penting anda bukanlah prom (prompt). Ia adalah gelung (loop) di sekeliling model tersebut.
LLM memutuskan untuk menggunakan alatan, tetapi ia tidak boleh menjalankan alatan tersebut. Aplikasi atau SDK mesti menyusun konteks, menjalankan alatan, dan menambah hasil tersebut. Kitaran ini adalah gelung ejen (agent loop).
Model hanyalah satu bahagian daripada sistem. Harness atau SDK menguruskan orkestrasi. Ini termasuk penyusunan prom, pelaksanaan alatan, cubaan semula (retries), dan penamatan.
Konsep utama untuk membina ejen yang boleh dipercayai:
- Pengurusan keadaan (state management) adalah sangat penting. Jika anda kehilangan output alatan, ejen akan lupa apa yang telah berlaku.
- Prestasi bergantung pada kawalan pertumbuhan prom. Gunakan awalan (prefix) yang stabil dan pengecachean (caching) untuk mengekalkan kos yang rendah.
- Keselamatan memerlukan pengesahan. Gunakan pintu kelulusan (approval gates) untuk tindakan yang mengubah data.
- Harness, bukannya model, yang menguruskan kitaran hayat.
Model mental praktikal untuk gelung tersebut:
- Bina keadaan input.
- Panggil model.
- Periksa respons.
- Jika model meminta alatan, sahkan dan laksanakannya.
- Tambah hasil alatan semula ke dalam konteks.
- Panggil model sekali lagi.
- Berhenti hanya apabila model memberikan jawapan akhir.
Dua sistem boleh menggunakan model yang sama tetapi berkelakuan secara berbeza. Ini berlaku kerana harness mereka membuat keputusan yang berbeza tentang konteks, susunan alatan, dan sejarah.
Berwaspada dengan isu-isu biasa ini:
- Tingkah laku berulang: Biasanya disebabkan oleh kesinambungan keadaan (state continuity) yang terputus.
- Kualiti rendah: Sering disebabkan oleh output alatan yang terlalu panjang atau bising (noisy).
- Kos tinggi: Biasanya disebabkan oleh susunan prom yang lemah yang merosakkan pengecachean.
- Tindakan tidak selamat: Berlaku apabila anda tidak mengesahkan argumen alatan sebelum menjalankannya.
Model memilih tindakan. Harness mengawal realiti. Jika anda mahukan sistem yang lebih baik, jangan sekadar mengubah suai prom. Bina gelung yang lebih baik.
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi