𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝗳𝗼𝗿 𝗘𝗻𝘁𝗲𝗿𝗽𝗿𝗶𝘀𝗲 𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀
Çoğu yapay zeka guardrail tavsiyesi bir satış konuşması gibi tınlıyor. Süslü diyagramlara ve kontrol listelerine odaklanıyor.
Gerçek üretim ortamı güvenliği o kadar göz alıcı değildir. LLM'lerden çok önce var olan unsurlara dayanır.
Bir Fortune 100 şirketi için yapay zeka ajanları geliştirerek iki yıl geçirdim. Bu ajanlar CI/CD hatalarını, Kubernetes olaylarını ve altyapı dokümanlarını yönetiyor.
Onları güvende tutmak için kullandığımız katmanlı yapı şöyledir:
Ajan sınırında kimlik doğrulama. Her ajan bir iş yükü kimliği (workload identity) kullanır. Asla paylaşılan kimlik bilgileri kullanmaz. IAM kapsamı, güvenlik tavanınızdır. Eğer ajanın veritabanı erişimine ihtiyacı yoksa, IAM rolü buna sahip olmamalıdır. Bu, en önemli kontrol mekanizmanızdır.
Araç izin listeleri (allow-lists). Hangi araçları bir ajanın görebileceğine platform karar verir. Kod arama ajanı bir e-posta aracına sahip olmamalıdır. Bunun için statik yapılandırmalar kullanıyoruz. Asla dinamik araç kaydı kullanmıyoruz.
Ağ çıkış (egress) kontrolleri. Ajanlar yalnızca izin verilen uç noktalara (endpoints) erişebilir. DNS filtreleme ve bir çıkış proxy'si kullanıyoruz. Bu, model halüsinasyonlarının yanlış URL'lere gitmesini engeller.
Sırların (secrets) izolasyonu. Ajanlar ham sırları asla görmez. Araç çağrıları sırasında enjekte edilen kısa ömürlü oturum jetonları (session tokens) kullanıyoruz. Sırları asla bir prompt'a koymayın. Bir prompt içindeki her şey günlüğe kaydedilebilir veya tekrar oynatılabilir.
Tam denetim izleri (audit trails). Her model çağrısını ve her araç çağrısını günlüğe kaydetmelisiniz. Bu; girdileri, çıktıları, araç argümanlarını ve kullanıcı kimliğini içerir. Bir olay sırasında neyin yanlış gittiğini anlamak için buna ihtiyacınız vardır.
İnsan onayı. Resmi bir kayıt sistemini (system of record) değiştiren herhangi bir işlem için platform duraklamalıdır. Bir insan işlemi onaylamalıdır. Bu, sizin güvenlik ağınızdır.
Bu yaygın hatalardan kaçının:
Prompt düzeyinde talimatlar. Bir modele "asla X yapma" demek güvenlik değildir. Bir kullanıcı modeli kandırabilir. Kontrolü IAM veya araç katmanına taşıyın.
Genel PII (Kişisel Veri) filtreleri. Bunların hata oranları yüksektir. Veri erişimini IAM aracılığıyla sınırlamak, ajanın hassas bilgileri asla görmemesini sağlamak açısından daha iyidir.
Guardrail modelleri. Birinciyi puanlamak için ikinci bir LLM kullanmak gecikmeye (latency) neden olur. Bu gerçek bir güvenlik kontrolü değildir; sadece bir model topluluğudur (ensemble).
Zor yoldan öğrendiğim dersler:
Promptlardan önce IAM'i düzeltin. IAM rollerini sıkılaştırmam gerekirken promptları optimize etmekle vakit kaybettim. Kontrolleri yığının (stack) mümkün olduğunca alt katmanlarına taşıyın.
Denetim izlerinizi (audit trail) kapsamlı tutun. Sadece istemi (prompt) ve cevabı kaydetmek yeterli değildir. Ara araç çağrılarına ve argümanlara ihtiyacınız vardır. Erken aşamada loglamak ucuzdur ancak sonradan düzeltmek pahalıya mal olur.
Ajan iletişimini sınırlayın. Çoklu ajan sistemlerinde, ajandan ajana yapılan çağrılar için kesin bir sınır belirleyin. Bu, zincirleme hataları önler.
Ölçeklenebilir yapay zeka güvenliği bir model problemi değildir. Bu bir platform problemidir. Ajanlarınıza, diğer tüm üretim sistemlerinde olduğu gibi aynı operasyonel disiplinle yaklaşın.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi