Ejen AI Anda Hanya Seaman Alatan yang Digunakannya
Anda meluangkan banyak masa untuk memperkukuh ejen AI anda. Anda menetapkan skop kebenaran. Anda mengasingkan kod dalam sandbox. Anda memantau output.
Kemudian, ejen tersebut memuatkan alatan pihak ketiga. Tiba-tiba, usaha keselamatan anda gagal.
Ejen anda hanya seaman ejen dan alatan yang dipanggilnya. Ia berkongsi registry, lapisan identiti, dan gateway dengan setiap ejen yang lain. Satu kegagalan pada satu alatan akan merebak ke seluruh sistem anda.
Kebanyakan pasukan mengamankan ejen tetapi melupakan ekosistemnya. Gunakan enam strategi ini untuk melindungi infrastruktur anda:
Gunakan cap jari digital. Sesuatu alatan mungkin kelihatan selamat pada hari Isnin tetapi menjadi berbahaya pada hari Khamis. Tetapkan versi (pin versions) dan gunakan hash bagi deskripsi serta skema alatan tersebut. Semak semula cap jari ini setiap kali alatan dimuatkan. Jika cap jari berubah, hentikan alatan tersebut.
Cegah pencemaran alatan (tool poisoning). Deskripsi sesuatu alatan adalah saluran arahan untuk model. Alatan berniat jahat menggunakan deskripsi untuk mencetuskan suntikan prompt (prompt injections). Layani metadata alatan seperti input yang berbahaya. Imbas untuk watak tersembunyi, komen HTML, atau arahan seperti "abaikan arahan sebelumnya."
Hentikan kekeliruan nama. Pelayan berniat jahat menggunakan nama yang serupa dengan pelayan yang dipercayai, seperti send_emai1 berbanding send_email. Tandakan nama yang hampir serupa. Gunakan namespace bagi setiap alatan berdasarkan identiti pelayan yang telah disahkan untuk mengelakkan kekeliruan.
Bina satu gateway tunggal. Alirkan semua trafik melalui satu titik kawalan yang boleh diaudit (auditable choke point). Gateway ini mesti mengesahkan pemanggil, mengimbas respons, dan mengehadkan kadar (rate-limit). Jika gateway menemui ralat, ia mesti menolak permintaan tersebut. Jangan sekadar mencatat log dan meneruskannya.
Cipta suis pemati (kill switch) yang sebenar. Kebanyakan suis pemati hanya menghentikan ejen utama. Ini menyebabkan sub-ejen dan sesi alatan terus berjalan. Isyarat hentian yang sebenar mesti sampai ke setiap sub-ejen dan meninggalkan setiap sesi dalam keadaan selamat.
Uji sistem keselamatan anda. Suis pemati tidak berguna jika anda tidak pernah mengujinya. Lakukan latihan simulasi untuk memastikan sub-ejen benar-benar berhenti apabila anda menarik suis tersebut.
Layani alatan AI seperti kebergantungan perisian (software dependencies). Terapkan amalan kebersihan yang sama: tetapkan versi (pin), tandatangan (sign), cap jari (fingerprint), dan sahkan (verify).
Bagaimanakah anda menilai alatan yang dimuatkan oleh ejen anda hari ini? Adakah anda akan mengesan sesuatu alatan jika ia berubah selepas anda meluluskannya?
Sumber: https://dev.to/brennhill/your-ai-agent-is-only-as-secure-as-the-tools-and-agents-it-calls-53p7
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi