Bagian Sulit dari AI Agent bukanlah Melakukan, melainkan Merencanakan
Membangun AI agent yang menjalankan tugas itu mudah. Membangun yang merencanakannya dengan benar itu sulit.
Saya membangun sebuah CLI di mana Anda mengetikkan sebuah kalimat dan LLM menjalankan tindakan pada akun asli Anda. Saya menggunakan dua mode: Direct mode dan Plan mode.
Direct mode untuk kecepatan. Plan mode untuk keamanan. Dalam Plan mode, agent akan menunjukkan setiap langkah kepada Anda sebelum menyentuh data Anda.
Berikut adalah cara saya membangun perencana yang andal:
• Pisahkan otaknya Satu agent tidak bisa melakukan perencanaan sekaligus eksekusi. Agent perencana ingin berpikir. Agent eksekusi ingin bertindak. Saya memisahkan keduanya menjadi dua agent berbeda dengan dua system prompt yang berbeda. Ini mencegah mereka saling berbenturan.
• Berikan mata pada agent Perencana yang hanya menebak-nebak itu berbahaya. Versi pertama saya membuat rencana berdasarkan asumsi. Sekarang, perencana menggunakan alat read-only untuk meneliti data Anda terlebih dahulu. Ia melihat field Salesforce Anda yang sebenarnya sebelum menulis satu langkah pun.
• Isi jawaban sebelumnya Agent sering mengajukan pertanyaan yang buruk. Jika mereka bertanya terlalu banyak, Anda akhirnya malah mengerjakan tugas mereka. Saya mengubah ini. Perencana tetap mengajukan pertanyaan, tetapi ia memberikan jawaban yang direkomendasikan. Anda cukup mengonfirmasi atau menyesuaikannya sedikit. Ini menjaga rencana tetap akurat tanpa perlu input data manual.
• Berikan konteks, bukan sekadar daftar Jika Anda hanya memberikan daftar langkah kepada eksekutor, ia akan kehilangan penalaran. Saya membuat perencana meneruskan asumsi dan risiko bersama dengan langkah-langkahnya. Eksekutor kini mengetahui alasan ("why") di balik setiap tindakan.
• Tandai bahaya Sebuah rencana hanya aman jika Anda dapat melihat risikonya. Sistem saya menandai tindakan destruktif seperti menghapus atau mengubah nama. Saat agent mencapai langkah yang destruktif, ia akan berhenti dan bertanya kepada Anda.
• Gunakan data sebagai penentu Jika agent mengira sebuah langkah gagal dan Anda menyuruhnya mencoba lagi, ia tidak hanya patuh secara buta. Ia memeriksa data platform yang sebenarnya. Jika data menunjukkan tugas tersebut sudah selesai, agent akan lebih mempercayai data daripada pernyataan Anda.
Kebenaran tentang keamanan: Plan mode tidak menghentikan prompt injection atau pengguna yang mengklik "approve" tanpa melihatnya. Ini memindahkan tanggung jawab dari "memercayai model" menjadi "memercayai manusia untuk meninjau."
Struktur menyediakan pembatas, tetapi peninjauan Anda memberikan keamanan akhir.
Optional learning community: https://t.me/GyaanSetuAi