AWS Bedrock ve Kong ile AI Gateway Guardrail'ları
Bir AI Gateway dağıttınız. Trafik akıyor. LLM yanıt veriyor. Her şey yolunda görünüyor.
Ardından bir kullanıcı, önceki tüm talimatları görmezden gelmesi için bir prompt gönderir. Ya da bir kullanıcı sohbet botunuza bir kredi kartı numarası yapıştırır. Veya bir kullanıcı, düzenlemeye tabi bir sektörde botunuzdan finansal tavsiye ister.
Bir LLM'e trafik göndermek kolaydır. Ancak bu trafiği kontrol etmek zordur. Güvenlik politikalarına ihtiyacınız vardır.
Kubernetes üzerinde bir Kong AI Gateway ile AWS Bedrock Guardrails kullanabilirsiniz. Bu kurulum ai-aws-guardrails eklentisini kullanır. Her istek ve yanıt bir politika katmanından geçer. Gateway, ihlalleri uygulama kodunuza ulaşmadan engeller.
Dört guardrail türünü yapılandırabilirsiniz:
- İçerik Filtreleri (Content Filters): Nefret söylemi, şiddet veya hakareti engelleyin.
- Prompt Saldırı Koruması (Prompt Attack Protection): Jailbreak ve enjeksiyon girişimlerini engelleyin.
- PII Koruması (PII Protection): E-postaları, kredi kartlarını ve şifreleri engelleyin.
- Yasaklı Konular (Denied Topics): Yatırım tavsiyesi gibi belirli konuları engelleyin.
PII için iki seçeneğiniz vardır. İsteği durdurmak için BLOCK kullanın. Hassas verileri yer tutucularla değiştirmek için ANONYMIZE kullanın. Bu, ham veri olmadan bağlama ihtiyaç duyduğunuz sağlık sektöründe yardımcı olur.
Kong yapılandırmanızda guarding_mode değerini BOTH olarak ayarlayın. Varsayılan ayar yalnızca girdileri kontrol eder. BOTH olarak ayarlamak, hem kullanıcı istemini hem de model yanıtını kontrol eder. Bu, ele geçirilmiş bir modelin kullanıcınıza zararlı veri göndermesini engeller.
Güvenlik, iyi bir gateway'in sadece bir parçasıdır. Ayrıca şunları da kullanmalısınız:
- Maliyetleri kontrol etmek için hız sınırlama (rate limiting).
- Tekrarlanan sorguları azaltmak için anlamsal önbelleğe alma (semantic caching).
- Rotalarınızı güvence altına almak için JWT kimlik doğrulaması (JWT auth).
Tam JSON tanımları ve kurulum adımları için Hashnode üzerindeki kılavuzun tamamını okuyun.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi