Di Dalam Sebuah Agen AI

Demo agen AI terlihat luar biasa dalam video. Namun, mereka sering kali gagal saat Anda mengajukan pertanyaan nyata.

Agen tersebut melakukan hal yang salah. Ia melupakan keputusan. Ia memanggil alat (tools) yang tidak ada. Ia terjebak dalam loop selamanya. Ini bukan kegagalan model. Ini adalah kegagalan alur kerja (workflow).

Sebuah agen adalah alur kerja perangkat lunak. Model bahasa memilih langkah berikutnya dan memanggil alat. Kecerdasannya terletak pada orkestrasi, bukan hanya pada modelnya saja.

Setiap agen produksi bergantung pada lima pilar:

  • Planning (Perencanaan): Berpikir sebelum bertindak.
  • Tool Use (Penggunaan Alat): Berinteraksi dengan dunia.
  • Memory (Memori): Menyimpan konteks dan fakta.
  • Constraints (Batasan): Menetapkan batasan dan anggaran.
  • Verification (Verifikasi): Membuktikan bahwa pekerjaan tersebut benar.

Gaya Perencanaan

Agen naif langsung melompat ke tindakan. Hal ini menyebabkan halusinasi. Agen yang baik merencanakan terlebih dahulu.

  1. Plan-then-execute: Model menulis rencana lengkap. Ini mudah diaudit tetapi sulit untuk beradaptasi jika realitas berubah.
  2. ReAct (Reason + Act): Model berpikir, bertindak, dan mengamati dalam sebuah loop. Ini lebih adaptif tetapi memakan lebih banyak token dan waktu.

Penggunaan Alat

Tanpa alat, sebuah agen hanyalah sebuah chatbot. Sebuah alat membutuhkan nama, skema JSON, dan sebuah fungsi.

Model memilih alat berdasarkan deskripsi. Jika deskripsi Anda samar, agen akan gagal. Perlakukan deskripsi seperti lembar spesifikasi. Tentukan untuk apa alat tersebut digunakan dan untuk apa yang tidak.

Selalu validasi panggilan alat. Jika model mengirimkan argumen yang salah, tolak panggilan tersebut dan berikan pesan kesalahan kembali ke model. Ini membantu agen belajar di tengah loop.

Memori

Memori bukan hanya satu hal.

  • Working Memory: Percakapan saat ini dan hasil alat.
  • Scratchpad: Tempat bagi agen untuk menulis catatan bagi dirinya sendiri.
  • Long-term Memory: Menyimpan fakta untuk sesi mendatang.

Jangan hanya mengandalkan database vektor. Memori berbasis file menggunakan file markdown sering kali lebih baik. Mudah untuk diaudit, diedit, dan di-grep.

Batasan dan Keamanan

Agen produksi membutuhkan guardrails. Gunakan empat hal ini:

  • Tool allowlists: Hanya izinkan alat tertentu yang sudah dinamai.
  • Iteration budgets: Batasi jumlah langkah untuk mencegah loop tak terbatas.
  • Token budgets: Batasi biaya dengan membatasi total token.
  • Approval gates: Memerlukan izin manusia untuk tindakan berisiko tinggi seperti mengirim email atau menghapus data.

Verifikasi

Jangan pernah percaya begitu saja pada model saat ia mengatakan sebuah tugas telah selesai. Model secara default akan selalu merasa percaya diri.

Gunakan verifikasi nyata. Jika agen menulis kode, jalankan pengujiannya. Jika ia menghasilkan JSON, periksa skemanya. Jika ia melakukan suatu tugas, jalankan kueri untuk mengonfirmasi perubahan tersebut.

Agen terbaik menggunakan verifikasi di dalam loop. Jika pengujian gagal, berikan pesan kesalahan kembali ke agen. Biarkan ia mencoba lagi.

Berhentilah mengejar prompt yang lebih cerdas. Mulailah membangun sistem plumbing yang lebih baik.

Sumber: https://dev.to/nazar_boyko/inside-an-ai-agent-planning-tool-use-memory-constraints-and-verification-2fcc

Komunitas belajar opsional: https://t.me/GyaanSetuAi