Model Event Runtime Agen
Berhentilah berdebat tentang framework agen.
Insinyur sering bertanya apakah mereka harus menggunakan LangChain, CrewAI, atau membangun sendiri. Ini adalah pertanyaan yang salah. Keputusan sebenarnya adalah di mana Anda menyematkan kebijakan di dalam runtime agen Anda.
Framework berubah. Kebutuhan arsitektural untuk kebijakan tetap sama.
Setiap stack agen produksi membutuhkan empat event runtime spesifik untuk mencegah bug dan kebocoran keamanan:
• UserPromptSubmit: Sebelum prompt mencapai model. Gunakan ini untuk memblokir rahasia (secrets) dan PII. • PreToolUse: Sebelum sebuah tool dijalankan. Gunakan ini untuk menegakkan anggaran biaya dan whitelist tool. • PostToolUse: Setelah tool mengembalikan hasil. Gunakan ini untuk memindai PII atau serangan injeksi. • Stop: Setelah agen selesai. Gunakan ini untuk memverifikasi apakah agen benar-benar telah menyelesaikan tugasnya.
Setiap event memiliki tugas yang berbeda.
Pengiriman prompt harus cepat. Ia perlu berjalan dalam hitungan milidetik agar pengguna tidak menunggu. Event Stop dapat memakan waktu lebih lama. Anda bisa meluangkan waktu satu detik penuh untuk memverifikasi apakah agen benar-benar melakukan tugasnya sebelum pengguna melihat hasilnya.
Anda juga harus memutuskan bagaimana hook Anda gagal.
Jika hook keamanan crash, Anda harus melakukan fail closed. Lebih baik menolak permintaan daripada membocorkan rahasia. Jika pemeriksaan kualitas crash, Anda mungkin melakukan fail open agar pengguna tetap mendapatkan respons.
Framework adalah komoditas. Cakupan kebijakan Anda adalah parit pertahanan (moat) Anda.
Ajukan tiga pertanyaan ini kepada diri Anda sendiri mengenai stack Anda saat ini:
- Event mana yang menghentikan kebocoran rahasia dalam prompt?
- Event mana yang menangkap agen yang berbohong tentang penyelesaian tugas?
- Event mana yang mengaudit output tool untuk PII sebelum model membacanya?
Jika Anda tidak dapat menjawab ini, agen Anda belum siap untuk produksi.
Sumber: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi