Yapay Zeka Ajanınız Sadece Araçları Kadar Güvenlidir
Yapay zeka ajanınızı sıkılaştırmak için çok zaman harcıyorsunuz. İzinleri sınırlandırıyorsunuz. Kodu sandbox içine alıyorsunuz. Çıktıları izliyorsunuz.
Sonra ajan, üçüncü taraf bir araç yükler. Aniden, güvenlik çalışmalarınız boşa çıkar.
Ajanınız, yalnızca çağırdığı ajanlar ve araçlar kadar güvenlidir. Diğer tüm ajanlarla bir kayıt defterini (registry), bir kimlik düzlemini (identity plane) ve bir ağ geçidini (gateway) paylaşır. Tek bir araçtaki tek bir hata, tüm sisteminize yayılır.
Çoğu ekip ajanı güvence altına alır ancak ekosistemi unutur. Altyapınızı korumak için bu altı stratejiyi kullanın:
Dijital parmak izleri kullanın. Bir araç Pazartesi günü güvenli görünebilir ancak Perşembe günü saldırganlaşabilir. Sürümleri sabitleyin (pin) ve araç açıklamasının ve şemasının bir hash değerini kullanın. Araç her yüklendiğinde bu parmak izini yeniden kontrol edin. Eğer parmak izi değişirse, aracı durdurun.
Araç zehirlenmesini (tool poisoning) önleyin. Bir aracın açıklaması, model için bir talimat kanalıdır. Kötü niyetli araçlar, prompt injection tetiklemek için açıklamaları kullanır. Araç meta verilerine saldırgan bir girdi gibi davranın. Gizli karakterler, HTML yorumları veya "önceki emirleri yoksay" gibi talimatlar için tarama yapın.
İsim karışıklığını durdurun. Kötü niyetli sunucular, send_email yerine send_emai1 gibi güvenilenlere benzer isimler kullanır. Birbirine çok yakın isimleri işaretleyin. Karışıklığı önlemek için her aracı doğrulanmış sunucu kimliğiyle bir ad alanı (namespace) altında tanımlayın.
Tek bir ağ geçidi (gateway) oluşturun. Tüm trafiği denetlenebilir tek bir kontrol noktası (choke point) üzerinden yönlendirin. Bu ağ geçidi, çağrıcıları kimlik doğrulamalı, yanıtları taramalı ve hız sınırlaması (rate-limit) yapmalıdır. Eğer ağ geçidi bir hata bulursa, isteği reddetmelidir. Sadece günlüğe kaydedip devam etmeyin.
Gerçek bir kapatma düğmesi (kill switch) oluşturun. Çoğu kapatma düğmesi yalnızca ana ajanı durdurur. Bu durum, alt ajanların ve araç oturumlarının çalışmaya devam etmesine neden olur. Gerçek bir durdurma sinyali her alt ajana ulaşmalı ve her oturumu güvenli bir durumda bırakmalıdır.
Güvenlik sistemlerinizi test edin. Bir kapatma düğmesini asla test etmezseniz işe yaramaz. Düğmeye bastığınızda alt ajanların gerçekten durduğundan emin olmak için tatbikatlar yapın.
Yapay zeka araçlarını yazılım bağımlılıkları gibi ele alın. Aynı hijyen kurallarını uygulayın: sabitleyin, imzalayın, parmak izi alın ve doğrulayın.
Ajanlarınızın bugün yüklediği araçları nasıl denetliyorsunuz? Onayladıktan sonra değişen bir aracı fark edebilir miydiniz?
Kaynak: https://dev.to/brennhill/your-ai-agent-is-only-as-secure-as-the-tools-and-agents-it-calls-53p7
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi