𝗨𝗻𝗱𝗲𝗿𝘀𝘁𝗮𝗻𝗱𝗶𝗻𝗴 𝗧𝗵𝗲 𝗔𝗴𝗲𝗻𝘁 𝗟𝗼𝗼𝗽

Jika Anda membangun dengan model pemanggilan alat (tool-calling models), keputusan terpenting Anda bukanlah prompt. Melainkan loop di sekitar model tersebut.

Sebuah LLM memutuskan untuk menggunakan alat, tetapi ia tidak dapat menjalankan alat tersebut. Aplikasi atau SDK harus menyusun konteks, menjalankan alat, dan menambahkan hasilnya. Siklus inilah yang disebut agent loop.

Model hanyalah satu bagian dari sistem. Harness atau SDK mengelola orkestrasi. Ini mencakup penyusunan prompt, eksekusi alat, percobaan ulang (retries), dan terminasi.

Konsep kunci untuk membangun agen yang andal:

  • Manajemen status (state management) sangatlah vital. Jika Anda kehilangan output alat, agen akan lupa apa yang telah terjadi.
  • Performa bergantung pada pengendalian pertumbuhan prompt. Gunakan prefix yang stabil dan caching untuk menjaga biaya tetap rendah.
  • Keamanan memerlukan validasi. Gunakan gerbang persetujuan (approval gates) untuk tindakan yang mengubah data.
  • Harness, bukan model, yang mengelola siklus hidup (lifecycle).

Model mental praktis untuk loop tersebut:

  • Bangun status input.
  • Panggil model.
  • Periksa respons.
  • Jika model meminta alat, validasi dan eksekusi alat tersebut.
  • Tambahkan kembali hasil alat ke dalam konteks.
  • Panggil model lagi.
  • Berhenti hanya ketika model memberikan jawaban akhir.

Dua sistem dapat menggunakan model yang sama tetapi berperilaku berbeda. Hal ini terjadi karena harness mereka membuat keputusan yang berbeda mengenai konteks, urutan alat, dan riwayat.

Waspadai masalah umum berikut:

  • Perilaku berulang: Biasanya disebabkan oleh kontinuitas status yang terputus.
  • Kualitas rendah: Sering kali disebabkan oleh output alat yang terlalu panjang atau berisik (noisy).
  • Biaya tinggi: Biasanya disebabkan oleh pengurutan prompt yang buruk yang merusak caching.
  • Tindakan tidak aman: Terjadi ketika Anda tidak memvalidasi argumen alat sebelum menjalankannya.

Model memilih tindakan. Harness mengendalikan realitas. Jika Anda menginginkan sistem yang lebih baik, jangan hanya mengubah prompt. Bangunlah loop yang lebih baik.

Sumber: https://dev.to/pramod_sahu_d5bd2e6de82d1/understanding-the-agent-loop-how-tool-using-llm-systems-actually-work-2mb5

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi