AWS Bedrock और Kong के साथ AI Gateway Guardrails
आपने एक AI Gateway तैनात किया। ट्रैफिक प्रवाहित हो रहा है। LLM जवाब दे रहा है। सब कुछ ठीक लग रहा है।
फिर एक यूजर सभी पिछले निर्देशों को अनदेखा करने के लिए एक प्रॉम्प्ट भेजता है। या कोई यूजर आपके चैटबॉट में क्रेडिट कार्ड नंबर पेस्ट कर देता है। या कोई यूजर किसी विनियमित (regulated) उद्योग में आपके बॉट से वित्तीय सलाह मांगता है।
LLM को ट्रैफिक भेजना आसान है। उस ट्रैफिक को नियंत्रित करना कठिन है। आपको सुरक्षा नीतियों (safety policies) की आवश्यकता है।
आप Kubernetes पर Kong AI Gateway के साथ AWS Bedrock Guardrails का उपयोग कर सकते हैं। यह सेटअप ai-aws-guardrails प्लगइन का उपयोग करता है। प्रत्येक अनुरोध (request) और प्रतिक्रिया (response) एक पॉलिसी लेयर से होकर गुजरती है। गेटवे उल्लंघनों को आपके एप्लिकेशन कोड तक पहुँचने से पहले ही ब्लॉक कर देता है।
आप चार प्रकार के गार्डरेल कॉन्फ़िगर कर सकते हैं:
- Content Filters: नफरत, हिंसा या अपमान को ब्लॉक करें।
- Prompt Attack Protection: जेलब्रेक और इंजेक्शन के प्रयासों को ब्लॉक करें।
- PII Protection: ईमेल, क्रेडिट कार्ड और पासवर्ड को ब्लॉक करें।
- Denied Topics: निवेश सलाह जैसे विशिष्ट विषयों को ब्लॉक करें।
PII के लिए, आपके पास दो विकल्प हैं। अनुरोध को रोकने के लिए BLOCK का उपयोग करें। संवेदनशील डेटा को प्लेसहोल्डर्स (placeholders) से बदलने के लिए ANONYMIZE का उपयोग करें। यह स्वास्थ्य सेवा (healthcare) में तब मदद करता है जब आपको कच्चे डेटा (raw data) के बिना संदर्भ (context) की आवश्यकता होती है।
अपने Kong कॉन्फ़िगरेशन में, guarding_mode को BOTH पर सेट करें। डिफॉल्ट सेटिंग केवल इनपुट की जांच करती है। इसे BOTH पर सेट करने से यूजर प्रॉम्प्ट और मॉडल रिस्पॉन्स दोनों की जांच होती है। यह किसी हैक किए गए मॉडल को आपके यूजर को हानिकारक डेटा वापस भेजने से रोकता है।
सुरक्षा एक अच्छे गेटवे का केवल एक हिस्सा है। आपको इनका भी उपयोग करना चाहिए:
- लागत को नियंत्रित करने के लिए Rate limiting।
- बार-बार होने वाले प्रश्नों को कम करने के लिए Semantic caching।
- अपने रूट्स को सुरक्षित करने के लिए JWT auth।
पूर्ण JSON परिभाषाओं और सेटअप चरणों के लिए Hashnode पर पूरा गाइड पढ़ें।
Optional learning community: https://t.me/GyaanSetuAi