Demo Agen Anda Berhasil. Agen Anda Tidak.

Sebagian besar arsitektur agen gagal dalam pekerjaan nyata.

Sebuah demo terlihat bagus dengan satu tugas tunggal dan respons yang cepat. Pekerjaan nyata melibatkan klaim asuransi, urutan penjualan, atau rekonsiliasi data. Tugas-tugas ini memakan waktu dan membutuhkan banyak langkah.

Masalahnya adalah statelessness. Sebagian besar agen membangun kembali konteks dari nol setiap kali mereka berinteraksi. Mereka kehilangan rantai penalaran dan kemajuan yang telah dicapai. Anda akhirnya mendapatkan AI sopan yang berpura-pura memahami situasi.

Pakar Google Cloud, Addy Osmani dan Shubham Saboo, membagikan lima pola untuk memperbaiki hal ini. Berikut adalah rinciannya:

  • Checkpoint-and-Resume Perlakukan agen Anda seperti server. Simpan kemajuan setiap beberapa unit pekerjaan. Jika sebuah agen gagal pada tugas 201 dari 1.000, ia akan melanjutkan di tugas 201. Jangan mulai dari nol.

  • Delegated Approval Berhenti menggunakan Slack atau email untuk persetujuan manusia. Alat-alat ini merusak konteks. Hentikan agen di tempatnya. Jaga agar status lengkap tetap utuh sehingga ia dapat melanjutkan secara instan saat manusia merespons. Gunakan kotak masuk terstruktur untuk permintaan dan kesalahan.

  • Memory-Layered Context Pisahkan memori jangka panjang dari memori kerja. Memori jangka panjang menyimpan pengetahuan di berbagai sesi. Memori kerja menangani tugas saat ini. Anda harus mencegah memory drift di mana agen mempelajari kebiasaan buruk dari edge cases. Gunakan manajemen identitas dan lapisan tata kelola (governance layer) untuk memblokir data yang buruk.

  • Ambient Processing Bangun agen yang memantau aliran data seperti tiket dukungan atau perubahan basis data. Jangan melakukan hardcode aturan ke dalam agen. Letakkan aturan dalam lapisan tata kelola eksternal. Dengan cara ini, Anda memperbarui aturan di satu tempat dan seluruh armada akan mengikutinya.

  • Fleet Orchestration Gunakan agen koordinator untuk mengelola agen spesialis. Setiap spesialis memiliki alat dan identitasnya sendiri. Ini mengikuti pola pekerja (worker pattern) yang digunakan dalam sistem terdistribusi. Anda dapat memperbarui satu spesialis tanpa merusak seluruh sistem.

Risiko terbesar adalah memory drift.

Orang-orang fokus pada prompt tetapi mengabaikan bagaimana perilaku agen berubah seiring waktu. Jika sebuah agen belajar dari interaksi yang buruk atau aneh, ia akan berhenti bertindak seperti kode yang Anda tulis.

Anda harus memperlakukan agen seperti microservices. Mereka membutuhkan identitas, registri, dan penegakan kebijakan yang ketat.

Tanyakan pada diri sendiri: Apa tugas terlama yang harus dilakukan agen saya tanpa berhenti? Jika jawabannya adalah jam atau hari, Anda membutuhkan pola-pola ini.

Source: https://dev.to/archit_aggarwal_5310522d5/your-agent-demo-works-your-agent-doesnt-88l

Optional learning community: https://t.me/GyaanSetuAi