Agen AI Anda Hanya Seaman Alat yang Digunakannya
Anda menghabiskan banyak waktu untuk memperkuat agen AI Anda. Anda membatasi cakupan izin. Anda melakukan sandboxing pada kode. Anda mengawasi output.
Kemudian, agen tersebut memuat alat pihak ketiga. Tiba-tiba, upaya keamanan Anda gagal.
Agen Anda hanya seaman agen dan alat yang dipanggilnya. Ia berbagi registry, identity plane, dan gateway dengan setiap agen lainnya. Satu kegagalan pada satu alat dapat menyebar ke seluruh sistem Anda.
Sebagian besar tim mengamankan agen tetapi melupakan ekosistemnya. Gunakan enam strategi ini untuk melindungi infrastruktur Anda:
Gunakan sidik jari digital. Sebuah alat mungkin terlihat aman pada hari Senin tetapi berubah menjadi berbahaya pada hari Kamis. Kunci versi (pin versions) dan gunakan hash dari deskripsi serta skema alat tersebut. Periksa kembali sidik jari ini setiap kali alat dimuat. Jika sidik jari berubah, hentikan alat tersebut.
Cegah peracunan alat (tool poisoning). Deskripsi sebuah alat adalah saluran instruksi bagi model. Alat berbahaya menggunakan deskripsi untuk memicu prompt injection. Perlakukan metadata alat seperti input yang berbahaya. Pindai karakter tersembunyi, komentar HTML, atau instruksi seperti "abaikan perintah sebelumnya."
Hentikan kebingungan nama. Server berbahaya menggunakan nama yang mirip dengan yang terpercaya, seperti send_emai1 alih-alih send_email. Tandai nama yang hampir duplikat. Gunakan namespace untuk setiap alat berdasarkan identitas server yang terverifikasi guna menghindari kebingungan.
Bangun satu gateway tunggal. Alirkan semua lalu lintas melalui satu titik kendali (choke point) yang dapat diaudit. Gateway ini harus mengautentikasi pemanggil, memindai respons, dan melakukan pembatasan laju (rate-limit). Jika gateway menemukan kesalahan, ia harus menolak permintaan tersebut. Jangan hanya mencatatnya (log) lalu lanjut.
Buat tombol pemutus (kill switch) yang nyata. Sebagian besar kill switch hanya menghentikan agen utama. Hal ini membiarkan sub-agen dan sesi alat tetap berjalan. Sinyal penghentian yang nyata harus mencapai setiap sub-agen dan meninggalkan setiap sesi dalam keadaan aman.
Uji sistem keamanan Anda. Kill switch tidak berguna jika Anda tidak pernah mengujinya. Lakukan simulasi untuk memastikan sub-agen benar-benar berhenti saat Anda menekan tombol pemutus.
Perlakukan alat AI seperti dependensi perangkat lunak. Terapkan standar kebersihan yang sama: pin, sign, fingerprint, dan verifikasi.
Bagaimana cara Anda menyeleksi alat yang dimuat oleh agen Anda saat ini? Apakah Anda akan mendeteksi sebuah alat jika ia berubah setelah Anda menyetujuinya?
Sumber: https://dev.to/brennhill/your-ai-agent-is-only-as-secure-as-the-tools-and-agents-it-calls-53p7
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi