Bir müşteri hizmetleri sohbet botu, basit bir kuzu eti tarifi isteğinin ardından kendi sistem istemlerini (system prompts) ifşa etti. Dakikalar içinde bot sadece tarifi vermekle kalmadı, aynı zamanda Python kodu oluşturdu ve davranışlarını yönlendiren dahili talimatları açığa çıkardı.
Bu olay, bir dil modelinin "sistem isteminin" bir güvenlik duvarı olmadığını kanıtlıyor. Bir bot, bir kullanıcı isteğinin kendi misyonuna uygun olup olmadığına anlık olarak karar verdiğinde, bir saldırgan bu muhakemeyi yönlendirebilir ve modelin ayrıcalıklı bilgileri ifşa etmesini sağlayabilir.
İhlali ne tetikledi
Test, basit bir soruyla başladı: “Bana bir kuzu eti yahnisi tarifi verebilir misin?” Şirketin hizmetlerini açıklaması amaçlanan bot; tam bir tarif verdi, malzemeleri ayrıştıran kısa bir Python betiği ekledi ve ardından modele nasıl davranacağını söyleyen metin olan sistem isteminin tam ifadesini yazdırdı.
İsteğin kendisi zararsızdı; tehlike, botun tarifi temel görevinin bir parçası olarak görmeye istekli olmasında yatıyordu.
Neden önemli
Sohbet botları artık müşteriyle temas kuran rollerde yer alıyor; kişisel verileri işliyor, işlemleri tetikliyor veya dahili araçları kontrol ediyor. Eğer bir model, kendi talimat setini ifşa etmeye ikna edilebiliyorsa, bir saldırgan modelin zararlı şeyler yapmasını engellemesi gereken koruma bariyerleri (guardrails) hakkında içgörü kazanır.
Saldırı nasıl çalışıyor
- Botun amacını profillemek – Test uzmanı, botun görevinin şirket hizmetlerini açıklamak olduğunu belirledi.
- Sahte bir bağlantı kurmak – Test uzmanı, kullanıcının hangi hizmeti kullanması gerektiğine karar vermek için tarifin gerekli olduğunu iddia ederek, isteğe botun misyonuyla yüzeysel bir alaka kazandırdı.
- Mantığı suistimal etmek – Bot, uydurulan bu alaka düzeyini kabul etti, isteğin dahili alaka kontrolünden geçmesine izin verdi ve isteği engelleyecek olan koruma bariyerlerini devre dışı bıraktı.
Saldırı, modelin alaka düzeyine ilişkin kendi değerlendirmesine dayanıyor. Bu değerlendirme yönlendirilebildiğinde, modelin kendi "kuralları" müzakere edilebilir hale geliyor.
Üç başarısızlık noktası
| Başarısızlık aşaması | Ne oldu |
|---|---|
| Hedef gaspı | Bot, ilgisiz bir yemek tarifi isteğini hizmet açıklama hedefinin bir parçası olarak değerlendirdi. |
| Yetenek kayması | Rolü kod üretmeyi içermemesine rağmen yürütülebilir Python kodu oluşturdu. |
| İstem sızıntısı | Gizli kalması gereken sistem isteminin aynısını yazdırdı. |
Her aşama, birçok dağıtımın modelin kendisi tarafından uygulandığını varsaydığı farklı bir savunma katmanının çöküşünü temsil eder.
Gerçekten işe yarayan savunma katmanları
Koruma bariyerlerini modelden çıkarıp deterministik koda taşımak, güvenilir bir güvenlik sınırı sağlar.
- Görev yönlendirme (Task routing) – Gelen mesajları izin verilen niyetlerin sabit bir listesiyle eşleştirmek için ayrı bir sınıflandırıcı kullanın. Eğer bir istek bu listenin dışındaysa, onu doğrudan reddedin. Model, alaka düzeyi hakkında asla tartışmaya giremez.
- En az yetki (Least capability) – Botu ihtiyacı olmayan araçlardan arındırın. Kod yürütme veya geniş veritabanı erişimi gerekmiyorsa, bu yetenekleri kaldırın.
- Deterministik yetkilendirme (Deterministic authorization) – İzin kontrollerini dil modelinde değil, uygulama kodunda gerçekleştirin. Model bir eylem önerebilir ancak eylemin gerçekleştirilip gerçekleştirilmeyeceğine kod karar verir.
- Çıktı doğrulama (Output validation) – Her model yanıtını kullanıcıya ulaşmadan önce sistem istemleri veya hassas veriler gibi izin verilmeyen içeriklere karşı tarayın.
Sadece "Bu istek yasak mı?" diye soran bir filtre, ikna edici bir kullanıcı tarafından atlatılabilir. Kapalı bir listeye göre kontrol yapan bir yönlendirme katmanı, müzakereye yer bırakmaz.
Bundan sonra neye dikkat edilmeli
Konuşmalı yapay zekaya güvenen işletmeler, kuzu eti tarifi testiyle örneklendirilen üç başarısızlık modu açısından dağıtımlarını denetlemelidir. Bu süre zarfında, herhangi bir sistem istemini kamuya açık bilgi olarak kabul edin; modelin kendini ifşa etmesini engellemek için ona güvenmeyin.
Çıkarılacak ders nettir: Eğer güvenlik modeliniz doğal dildeki bir paragraf talimata dayanıyorsa, bu model kırılgandır. Onu, model ne söylerse söylesin denetlenebilen, versiyonlanabilen ve uygulanabilen kodlarla güçlendirin.