Apa yang Saya Pelajari Saat Menjalankan AI Agent di Produksi

Saya membangun sistem AI. Saya berbicara dengan para insinyur yang merilis kode. Ada celah antara demo yang memukau dan sistem produksi yang nyata.

Sekarang, orang menyebut segalanya sebagai agent. Sebuah skrip dengan loop adalah agent. Chatbot dengan memori adalah agent. Kesalahan ini menyebabkan engineering yang buruk.

Tim melakukan over-engineering pada tugas-tugas sederhana. Mereka menambahkan orkestrasi yang kompleks ke dalam alur kerja yang sebenarnya hanya membutuhkan satu prompt yang bagus.

Seorang agent harus memiliki tujuan, bukan sekadar instruksi. Ia harus memutuskan apa yang harus dilakukan selanjutnya. Ia harus mampu menangani kegagalan. Ia harus tahu kapan ia telah selesai.

Segala sesuatu yang lain hanyalah sebuah function call.

• Jika manusia harus memandu setiap langkah, itu adalah antarmuka chat. • Jika sebuah sistem pulih dari kegagalan tool call, itu adalah agent. • Jika sebuah sistem memecah tujuan menjadi sub-tugas, itu adalah agent yang sebenarnya.

Implementasi agent yang nyata bersifat spesifik. Mereka melakukan satu hal dengan baik, seperti ekstraksi dokumen atau code review. Mereka bukanlah mesin penalaran umum (general reasoning engines).

Tim yang sukses berfokus pada tiga hal:

  • Tool design: Antarmuka yang bersih untuk apa yang dipanggil oleh agent.
  • Failure handling: Apa yang terjadi ketika sebuah tool tidak mengembalikan apa pun.
  • Observability: Melacak mengapa seorang agent membuat keputusan tertentu.

Framework seperti LangChain atau CrewAI berubah setiap bulan. Framework kurang penting dibandingkan dengan pola (patterns) yang digunakan.

Gunakan pola-pola ini untuk berhasil:

  • Plan then execute: Gunakan satu langkah untuk perencanaan dan langkah terpisah untuk eksekusi.
  • Separate retrieval from reasoning: Mengambil konteks dan menggunakan konteks adalah tugas yang berbeda.
  • Explicit handoffs: Gunakan log terstruktur saat satu agent menyerahkan pekerjaan ke agent lainnya.

RAG adalah standar, tetapi kebanyakan orang gagal dalam chunking. Jika Anda membagi teks dengan buruk, model akan kehilangan konteks. Jika hasil RAG Anda tidak berguna, periksa metadata dan strategi chunking Anda sebelum menyalahkan modelnya.

Model akan menjadi lebih baik dan lebih murah. Hal ini tidak mengubah tantangan engineering inti. Anda harus membangun sistem yang berperilaku dengan benar saat Anda tidak mengawasinya.

Fokuslah pada governance dan observability. Insinyur yang penting adalah mereka yang membangun sistem yang dapat dipercaya orang lain. Ini adalah desain sistem, bukan riset model.

Sumber: https://dev.to/aibughunter/what-i-learned-after-running-ai-agents-in-production-for-a-year-49n