𝗪𝗵𝘆 𝗬𝗼𝘂𝗿 𝗔𝗜 𝗔𝗴𝗲𝗻𝘁 𝗔𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗜𝘀 𝗔 𝗦𝗲𝗰𝘂𝗿𝗶𝘁𝘆 𝗟𝗶𝗮𝗯𝗶𝗹𝗶𝘁𝘆
Pada tahun 2027, 40% penerapan AI perusahaan akan menghadapi insiden prompt injection atau pembajakan agen (agent hijack). Ini adalah lonjakan besar dari kurang dari 5% pada awal 2025.
Lapisan orkestrasi membuat agen menjadi berguna. Namun, lapisan ini juga menjadikannya target.
Sebuah perusahaan logistik di Singapura baru-baru ini kehilangan $2,3 juta. Sebuah undangan kalender yang telah dikompromikan menipu agen penjadwalan. Agen tersebut mengirimkan catatan CRM ke penyerang. Model tersebut tidak memiliki kode berbahaya. Ia mengikuti instruksi dengan sempurna. Masalahnya terletak pada arsitekturnya.
Agen bukan sekadar chatbot. Mereka adalah sistem yang menggunakan alat (tools), membaca file, dan mengeksekusi transaksi. Keamanan tradisional berasumsi bahwa sebuah permintaan masuk dan sebuah respons keluar. Agen merusak model ini.
Seorang agen yang menyusun draf email dan mengajukan pengembalian dana (refund) bertindak seperti tiga aplikasi dalam satu runtime. Setiap pemanggilan alat (tool call) adalah risiko. Setiap penulisan memori adalah risiko. Setiap email atau dokumen adalah kode yang dapat dieksekusi.
Tim yang aman menggunakan pola tiga lapis:
- Identity: Setiap pemanggilan alat memerlukan identitas yang terpisah dari pengguna.
- Provenance: Setiap penulisan memori memerlukan metadata untuk menunjukkan asalnya.
- Verification: Setiap langkah rencana memerlukan objek bertanda tangan (signed object) untuk eksekusi downstream.
Agen tidak boleh memanggil API produksi secara langsung. Gunakan lapisan alat terperantara (mediated tool layer) sebagai gantinya. Lapisan ini memvalidasi argumen, membatasi cakupan izin (scopes permissions), dan membuat log audit. Anggaplah lapisan ini sebagai firewall baru Anda.
Memori adalah risiko besar lainnya. Penyerang menggunakan dokumen atau email yang telah diracuni (poisoned) untuk mengubah memori agen. Hal ini mengubah cara agen berperilaku seiring berjalannya waktu. Serangan peracunan memori (memory poisoning) tumbuh 300% setiap tahun.
Sebagian besar tim menambahkan pemodelan ancaman AI ke dalam alur kerja (pipeline) yang sudah ada. Mereka tidak menambahkan keamanan ke dalam runtime agen itu sendiri. Hanya 19% organisasi yang memiliki pemantauan untuk anomali pemanggilan alat (tool-call anomalies).
Berhentilah memperlakukan agen seperti perangkat lunak. Perlakukan mereka seperti karyawan junior dengan akses sistem. Anda tidak akan memberikan akses root kepada karyawan baru pada hari pertama. Jangan lakukan ini pada agen Anda.
Pemenangnya bukanlah mereka yang memiliki demo paling memukau. Mereka adalah mereka yang memiliki agen yang lulus tinjauan keamanan di sektor perbankan atau layanan kesehatan. Bangun ketiga lapisan ini sekarang. Jangan melakukan retrofit setelah terjadi pelanggaran (breach).
Apa satu keputusan arsitektural yang Anda buat baru-baru ini yang akan Anda ubah jika Anda berfokus pada keamanan agen sejak hari pertama?
Optional learning community: https://t.me/GyaanSetuAi