How Much Autonomy Should Your AI Agent Have?

Orang-orang membicarakan Agentic AI sebagai perlombaan untuk mendapatkan lebih banyak otonomi.

Mereka menginginkan lebih banyak alat. Lebih banyak penalaran. Lebih banyak kemandirian.

Insinyur perangkat lunak tidak bekerja dengan cara seperti itu. Kami tidak membangun microservices hanya karena mereka populer. Kami membangun sistem yang menyeimbangkan kapabilitas dengan kompleksitas.

Agen AI memerlukan pendekatan yang sama.

Pertanyaannya bukan seberapa otonom sebuah agen bisa bertindak. Pertanyaannya adalah seberapa otonom sebuah agen seharusnya bertindak.

Otonomi adalah sebuah keputusan desain. Setiap kali agen membuat keputusan, Anda meningkatkan tanggung jawabnya.

Otonomi tinggi membantu agen beradaptasi dengan situasi baru. Ini membantu agen mencapai tujuan tanpa panduan terus-menerus.

Namun, otonomi tinggi membuat agen lebih sulit diprediksi dan di-debug. Hal ini membuatnya lebih sulit untuk dipercaya.

Otonomi adalah sebuah spektrum.

  • Otonomi rendah: Sistem yang hanya menghasilkan teks.
  • Otonomi sedang: Sistem yang menyarankan tindakan dan menggunakan alat.
  • Otonomi tinggi: Sistem yang memutuskan cara mencapai tujuan dengan sedikit bantuan manusia.

Setiap langkah meningkatkan kapabilitas dan kompleksitas. Anda harus berhenti pada tingkat yang dibutuhkan oleh masalah Anda.

Pertimbangkan seorang asisten HR. Ia menjawab pertanyaan kebijakan. Memberinya akses untuk mengubah catatan karyawan menambah risiko tanpa memberikan banyak nilai tambah.

Sekarang pertimbangkan agen operasional. Ia menyelidiki insiden produksi. Ia harus memeriksa log dan mencari dokumentasi. Ia perlu menyesuaikan pencariannya berdasarkan apa yang ia temukan. Alur kerja yang kaku akan gagal di sini. Otonomi yang lebih besar akan meningkatkan solusi ini.

Masalah tersebut menentukan tingkat otonomi.

Sistem produksi yang sukses sering kali dibatasi secara sengaja. Ini disebut bounded autonomy (otonomi terbatas). Anda menetapkan batasan untuk menjaga sistem tetap andal.

Contoh batasan:

  • Membatasi akses alat
  • Membatasi cakupan tugas
  • Memerlukan persetujuan manusia untuk tindakan besar
  • Menetapkan batas pengeluaran
  • Menentukan kapan harus melakukan eskalasi ke manusia

Batasan-batasan ini membuat agen Anda lebih mudah diprediksi.

Sebelum Anda memberikan lebih banyak otonomi, ajukan pertanyaan-pertanyaan ini:

  • Bisakah alur kerja yang kaku menyelesaikan ini?
  • Apakah langkah selanjutnya bergantung pada informasi yang tidak diketahui?
  • Apa yang terjadi jika agen gagal?
  • Bisakah Anda memisahkan tindakan berisiko dari penalaran berisiko rendah?

Insinyur terbaik tidak memaksimalkan otonomi. Mereka memutuskan dengan tepat di mana otonomi dimulai dan di mana ia berakhir.

Arsitektur yang baik adalah tentang melakukan apa yang diperlukan dan tidak lebih dari itu.

Sumber: https://dev.to/rohith_kn/how-much-autonomy-should-your-ai-agent-have-4h4n