Stack Tepat yang Saya Gunakan untuk Membina Ejen AI Produksi

Demo menunjukkan satu perkara. Sistem produksi menunjukkan perkara lain. Terdapat jurang antara keduanya yang sering diabaikan oleh ramai orang.

Sekarang, orang menggelar segalanya sebagai ejen. Chatbot dengan memori adalah ejen. Skrip dengan gelung (loop) adalah ejen. Kesilapan ini membawa kepada kejuruteraan yang lemah. Anda akhirnya melakukan kejuruteraan berlebihan (over-engineering) untuk tugasan mudah dan kejuruteraan yang tidak mencukupi (under-engineering) untuk tugasan kompleks.

Ejen mesti mempunyai objektif. Ia tidak seharusnya sekadar mengikut arahan. Ejen yang sebenar memutuskan apa yang perlu dilakukan seterusnya. Ia mengendalikan kegagalan. Ia tahu bila kerja telah selesai.

Semak sistem anda berdasarkan peraturan ini:

  • Jika manusia perlu membimbing setiap langkah, ia adalah antara muka sembang, bukan ejen.
  • Jika sistem pulih daripada panggilan alatan (tool call) yang gagal, anda sedang membina ejen.
  • Jika sistem memecahkan matlamat kepada subtugasan, anda mempunyai ejen yang sebenar.

Pasukan yang berjaya tidak membina enjin penaakulan umum. Mereka membina saluran paip (pipeline) yang khusus dan dibina untuk tujuan tertentu. Mereka fokus pada tiga perkara:

  • Reka bentuk alatan: Membuat antara muka yang bersih untuk dipanggil oleh ejen.
  • Pengendalian kegagalan: Memutuskan apa yang perlu dilakukan apabila alatan tidak mengembalikan apa-apa.
  • Kebolehlihatan (Observability): Menjejaki mengapa ejen membuat keputusan tertentu.

Rangka kerja seperti LangChain atau CrewAI berubah setiap bulan. Rangka kerja kurang penting berbanding corak (patterns). Gunakan corak ini untuk berjaya:

  • Rancang kemudian laksanakan: Gunakan satu langkah untuk mencipta pelan dan langkah berasingan untuk mengikutinya.
  • Asingkan pengambilan (retrieval) daripada penaakulan: Mengambil konteks adalah tugas yang berbeza daripada menggunakannya.
  • Penyerahan (handoffs) eksplisit: Gunakan log berstruktur apabila satu ejen menyerahkan kerja kepada ejen yang lain.

RAG adalah standard, tetapi kebanyakan orang gagal dalam chunking. Jika anda membahagikan teks dengan lemah, model akan kehilangan konteks dan berhalusinasi. Jika hasil anda tidak berguna, semak metadata dan strategi chunking anda sebelum menyalahkan model.

Cabarannya bukan mengejar penanda aras (benchmarks). Cabarannya adalah membina sistem yang boleh anda percayai untuk berfungsi semasa anda tidak memerhatikannya. Fokus pada tadbir urus (governance), kebolehlihatan (observability), dan penggunaan alatan yang boleh dipercayai.

Jurutera terbaik akan fokus pada reka bentuk sistem, bukan sekadar kejuruteraan prompt. Bina sistem yang boleh diselenggara oleh orang lain.

Sumber: https://dev.to/aibughunter/the-exact-stack-i-use-to-build-production-ai-agents-no-fluff-2lmp