Alur kerja agen pertama Anda dimulai dengan satu prompt dan beberapa alat. Ia menjawab pertanyaan. Ia memeriksa status pesanan. Semuanya berjalan lancar, jadi Anda meluncurkannya.

Kemudian produk berkembang. Tim Sales meminta pembaru CRM yang menyinkronkan catatan rapat. Tim Support membutuhkan alur kerja pengembalian dana (refund) yang menyentuh tiga sistem internal. Tim Engineering menambahkan aksi browser untuk mengisi formulir vendor. Setiap permintaan tampak kecil. Masing-masing mendapatkan file prompt sendiri, thread Slack sendiri, dan "perbaikan cepat" sendiri. Enam bulan kemudian, agen Anda bukan lagi

  • Instruksi adalah panduan bagi agen. Instruksi menjelaskan nada, format, dan pendekatan umum.
  • Aturan Tool memberi tahu agen alat mana yang tersedia dan apa fungsinya. Ini adalah tahap penemuan, bukan pemberian izin.
  • Kebijakan ditegakkan melalui kode, bukan sekadar harapan. Jika pengembalian dana di atas $500 memerlukan verifikasi tambahan, pemeriksaan tersebut berada dalam fungsi validasi yang dijalankan sebelum alat tersebut dipanggil.
  • Evaluasi adalah pengujian yang membuktikan bahwa keahlian tersebut masih berfungsi setelah adanya perubahan apa pun.

Sebagai contoh, jangan menulis, "Mohon jangan pernah memperlihatkan nomor kartu kredit lengkap pelanggan." Sebaliknya, buatlah pemformat data yang menyamarkan PAN sebelum agen melihatnya. Kebijakan harus berada di dalam kode karena kode tidak bisa dipengaruhi untuk mengabaikan tugasnya oleh input pengguna yang cerdik.

Berhenti Mengarahkan Produksi ke Versi "Latest"

Tidak ada yang lebih merusak Jumat malam selain pembaruan prompt yang terjadi secara diam-diam. Jika agen produksi Anda selalu mengambil versi "latest" dari sebuah skill, maka setiap penggabungan (merge) ke main adalah potensi insiden langsung. Anda memerlukan alias seperti dev, staging, dan prod. Promosikan versi yang sudah diketahui dan teruji melalui tahapan-tahapan ini. Saat prod mengarah ke v2.1.4, Anda dapat memantau jalannya, mengukur perilakunya, dan tidur dengan nyenyak. Jika terjadi kesalahan, Anda cukup mengembalikan alias tersebut. Anda tidak perlu melakukan debugging bahasa alami pada tengah malam di bawah tekanan.

Disiplin ini juga memaksa tim Anda untuk memikirkan kompatibilitas ke belakang (backwards compatibility). Bisakah v2.2 menangani bentuk input yang sama dengan v2.1? Jika tidak, promosi akan gagal di staging, dan Anda dapat menemukannya sebelum pelanggan menyadarinya.

Keamanan Dimulai dari Dalam Paket

Sebuah registry yang penuh dengan prompt yang tidak diaudit adalah kerentanan yang menunggu untuk terjadi. Anda perlu memindai skill Anda untuk risiko yang sama seperti yang Anda pindai pada kode.

Cari rahasia (secrets) yang tertanam (hardcoded) atau kunci API yang tersembunyi di dalam templat prompt. Periksa webhook eksternal atau perintah shell yang mengeksfiltrasi data. Waspadai upaya untuk mengabaikan kebijakan sistem, seperti prompt yang berisi "ignore previous instructions" atau meminta agen untuk mengungkapkan konfigurasinya sendiri. Ini bukan sekadar teori. Ini adalah pola umum dalam serangan prompt-injection, dan ini berbahaya karena sering kali menyertai teks yang disalin tanpa ditinjau oleh siapa pun.

Jalankan paket skill Anda melalui analisis statis. Jika file skill berisi URL yang tidak ada dalam daftar izin (allowlist), batalkan proses build. Jika ia merujuk pada alat yang tidak ada dalam manifes yang disetujui, tolaklah.

Jika Anda Tidak Bisa Mengujinya, Anda Tidak Bisa Mempercayainya

Sebuah registry tanpa evaluasi hanyalah sebuah folder berisi prompt. Setiap skill membutuhkan set pengujian yang menjalankan happy path, edge cases, dan mode kegagalan. Untuk skill berisiko tinggi, Anda memerlukan lebih dari sekadar pengujian fungsional. Anda perlu menguji batasan izin untuk memastikan agen tidak dapat melihat data pengguna lain. Anda memerlukan pemeriksaan perilaku penolakan untuk memastikan agen berkata "tidak" saat kebijakan memblokir suatu tindakan. Anda memerlukan pengujian ketahanan terhadap prompt-injection untuk memverifikasi bahwa input adversarial tidak melewati perlindungan tingkat kode Anda.

Beri nama pengujian Anda secara eksplisit. Pengujian bernama "refund_skill_rejects_negative_amount" memberi tahu insinyur berikutnya dengan tepat perilaku apa yang dilindungi. Saat pengujian gagal selama promosi versi, Anda memiliki bukti kuat bahwa build kandidat tersebut tidak aman.

Tujuan Utamanya Adalah Kontrol

Penggunaan kembali (reuse) itu bagus, tetapi kontrollah yang membuat Anda tetap bekerja. Sebuah skill registry memungkinkan tim Anda menyatakan dengan pasti: inilah alur kerja yang disetujui. Inilah versi yang berjalan di produksi. Inilah alat-alat yang dapat digunakan. Inilah cara tepat untuk melakukan rollback.

Kejelasan tersebut mengubah Anda dari sekadar merilis demo yang cerdas menjadi mengoperasikan perangkat lunak yang andal. Demo mengesankan pemangku kepentingan selama sepuluh menit. Perangkat lunak yang andal tetap berjalan pada jam tiga pagi, menangani pengecualian (exceptions) dengan baik, dan tidak mengubah perilaku hanya karena seseorang menggabungkan pull request pada Selasa sore.

Bangun registry Anda. Berikan versi pada skill Anda. Tegakkan kebijakan Anda di dalam kode. Mengujilah seolah-olah jadwal tidur Anda bergantung padanya. Diri Anda di masa depan akan berterima kasih.