Agen AI Membutuhkan Circuit Breaker
Orang-orang membicarakan tentang penalaran, perencanaan, dan memori AI.
Mereka jarang membicarakan apa yang terjadi ketika sebuah agen gagal.
Saya menyadari hal ini saat menguji alur kerja otonom. Agen tersebut tidak crash. Ia tidak menunjukkan error.
Ia hanya mencoba lebih keras.
Sebuah pemanggilan tool gagal. Agen mencoba lagi. Itu pun gagal. Ia membuat rencana baru. Ia memanggil lebih banyak tool. Ia terus berputar-putar tanpa arah.
Dari luar, ia tampak produktif. Namun di dalamnya, ia terjebak dalam sebuah loop.
Dalam sistem terdistribusi, para engineer menggunakan circuit breaker. Jika sebuah layanan gagal, Anda berhenti mengirim permintaan. Anda melindungi sisa sistem lainnya.
Agen AI juga membutuhkan ini.
Seorang agen otonom memanggil API, melakukan deployment kode, dan menghabiskan token. Tanpa guardrails, kesalahan kecil bisa menjadi sangat mahal.
Bayangkan sebuah agen sedang melakukan deployment aplikasi. Deployment tersebut gagal. Agen mencoba lagi. Ia gagal lagi. Ia mengubah sebuah pengaturan dan mencoba lagi. Setiap tindakan justru memperburuk error tersebut.
Modelnya bukanlah masalahnya. Kecerdasan tanpa batasan tidak dapat diprediksi.
Circuit breaker menciptakan batasan-batasan tersebut. Ia dapat:
- Menghentikan eksekusi setelah terlalu banyak upaya yang gagal.
- Menunda alur kerja ketika biaya mencapai batas tertentu.
- Meminta persetujuan manusia sebelum menyentuh production.
- Memblokir tindakan berbahaya sampai Anda memvalidasinya.
Circuit breaker tidak mengurangi otonomi. Mereka membangun kepercayaan.
Kita menghabiskan waktu untuk mengajari agen cara bertindak. Kita juga harus menghabiskan waktu untuk mengajari mereka kapan harus berhenti.
Dalam production, mengetahui kapan harus berhenti jauh lebih penting daripada mengetahui apa yang harus dilakukan selanjutnya.
Source: https://dev.to/mukeshkuiry/the-day-i-realized-ai-agents-need-circuit-breakers-22hj
Optional learning community: https://t.me/GyaanSetuAi