𝗕𝘂𝗶𝗹𝗱𝗶𝗻𝗴 𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀 𝗧𝗵𝗮𝘁 𝗗𝗼𝗻'𝘁 𝗛𝗮𝗹𝗹𝘂𝗰𝗶𝗻𝗮𝘁𝗲
Sebagian besar agen AI gagal saat tahap produksi. Mereka mengarang nama fungsi. Mereka menebak parameter yang salah. Mereka memanggil tools yang salah.
Function calling seharusnya menghentikan hal ini. Kenyataannya, hal ini sering kali membuat agen menjadi salah secara meyakinkan dalam skala besar.
Anda tidak membutuhkan model yang lebih besar untuk memperbaiki ini. Anda membutuhkan arsitektur yang lebih baik.
Ikuti empat pola ini untuk membangun agen yang andal:
Gunakan router dua tahap Jangan berikan 15 tools ke model sekaligus. Ini menyebabkan pembengkakan skema (schema bloat). Sebaliknya, gunakan model yang cepat dan murah untuk mengklasifikasikan intent terlebih dahulu. Setelah Anda mengetahui intent-nya, hanya tampilkan tools yang relevan. Ini mengurangi kesalahan sebesar 60-70%.
Terapkan output terstruktur Berhenti meminta model untuk mengembalikan JSON yang valid melalui prompt. Gunakan penegakan skema (schema enforcement) pada level API. Skema selalu menang dibandingkan prompt sepanjang 500 kata. Ini menjamin model mengikuti aturan Anda.
Bangun lapisan validasi Setiap pemanggilan tool membutuhkan tiga langkah:
- Pra-validasi
- Eksekusi model
- Pasca-validasi
Jika pemanggilan tool gagal validasi, kirimkan error tersebut kembali ke model. Model memperbaiki kesalahan parameternya sendiri sebanyak 80% pada percobaan kedua.
- Tetapkan batasan keras (hard limits) Loop tak terbatas akan menghabiskan anggaran Anda. Sebuah model mungkin memanggil tools dalam sebuah loop hingga mencapai timeout. Selalu tetapkan jumlah iterasi maksimum. Batasan keras adalah sebuah keharusan, bukan pilihan.
Optimalkan biaya Anda dengan menggunakan model yang berbeda untuk tugas yang berbeda:
- Gunakan model kecil untuk routing intent dan pemformatan output.
- Gunakan model tingkat menengah (mid-tier) untuk pemilihan tool.
- Gunakan model frontier hanya untuk perencanaan yang kompleks.
Pendekatan ini memangkas biaya sebesar 10x hingga 15x dengan hampir tanpa penurunan kualitas.
AI yang andal adalah tentang desain sistem. Fokuslah pada batasan (constraints), validasi, dan orkestrasi.
Pola apa yang Anda gunakan untuk membangun agen yang andal?