Terblokir Bukan Berarti Gagal: Agen Membutuhkan Umpan Balik Batasan

Sebagian besar pengaturan agen menganggap tindakan yang terblokir sebagai kegagalan alat (tool failure).

Seorang agen memanggil sebuah alat. Permintaan tersebut melanggar aturan. Sistem mengembalikan kesalahan umum (generic error). Pemanggilan alat pun gagal.

Ini tampak baik-baik saja pada awalnya. Tindakan yang tidak aman telah dihentikan. Namun, ini hanya menyelesaikan setengah dari masalahnya.

Kesalahan umum tidak membantu agen bekerja dalam batasannya. Hal ini mengubah keputusan kebijakan menjadi gangguan (noise). Agen mungkin mencoba menebak perbaikan. Ia mungkin mengulangi kesalahan yang sama atau mencoba payload yang berbeda. Ini menciptakan loop percobaan ulang yang sia-sia.

Tindakan yang terblokir seharusnya menjadi keputusan yang terstruktur, bukan crash yang tidak terduga.

Ketika sebuah permintaan diblokir, sistem eksternal tidak boleh berubah. Namun, responsnya harus memberi tahu agen cara melanjutkan dengan aman.

Alih-alih kesalahan sederhana, gunakan respons yang terstruktur.

Bayangkan seorang agen mencoba menulis ke file yang telah berubah saat ia sedang merencanakan. Kesalahan umum mengatakan "gagal." Respons terstruktur mengatakan:

  • Status keputusan: konflik
  • Status hasil: tidak ada dampak
  • Alasan: status usang (stale state)
  • Tindakan selanjutnya: baca ulang status target

Sekarang agen tahu bahwa tujuannya tidak mustahil. Ia hanya perlu memperbarui informasinya. Ia berhenti menebak-nebak dan mengambil langkah selanjutnya yang benar.

Ini berfungsi untuk banyak skenario:

  • Jika sebuah jalur di luar cakupan, sarankan jalur yang diizinkan.
  • Jika suatu efek sudah ada, sarankan untuk menggunakan kembali hasilnya.
  • Jika dampaknya terlalu tinggi, sarankan untuk menunggu tinjauan manusia.

Ini tidak membuat batasan menjadi longgar. Tindakan tetap terblokir. Sistem tetap aman. Anda hanya mengubah jalan buntu menjadi jalur yang terpandu.

Anda harus menyeimbangkan hal ini dengan keamanan. Umpan balik yang presisi dapat membantu agen yang buruk untuk menguji batas-batas Anda.

Gunakan kode alasan yang jelas untuk gesekan operasional seperti data usang (stale data) atau input yang tidak valid (malformed inputs). Jika agen menunjukkan perilaku mencurigakan atau mengabaikan petunjuk, beralihlah ke penolakan umum atau tinjauan manusia.

Pisahkan umpan balik agen dari skor audit. Agen perlu tahu cara agar patuh (compliant). Sistem perlu tahu apakah agen berperilaku buruk. Jangan mencampur kedua tugas ini.

Batasan ada karena agen menjadi cukup berguna untuk bertindak pada sistem nyata. Pekerjaan nyata memiliki aturan dan batasan.

Batasan yang hanya mengembalikan kegagalan adalah sebuah dinding. Batasan yang memberikan panduan adalah sebuah alat.

Blocked seharusnya berarti:

  • Dampak yang diharapkan tidak terjadi.
  • Alasannya diketahui.
  • Langkah aman selanjutnya sudah jelas.

Sumber: https://dev.to/davidloibner/blocked-is-not-failed-agents-need-boundary-feedback-bbg

Komunitas belajar opsional: https://t.me/GyaanSetuAi