𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝘄𝗶𝘁𝗵 𝗔𝗪𝗦 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗮𝗻𝗱 𝗞𝗼𝗻𝗴

तुम्ही एक AI Gateway तैनात (deploy) केले आहे. ट्रॅफिक प्रवाह सुरू आहे. LLM प्रतिसाद देत आहे. सर्व काही व्यवस्थित दिसत आहे.

मग एखादा वापरकर्ता सर्व मागील सूचनांकडे दुर्लक्ष करण्यासाठी प्रॉम्प्ट पाठवतो. किंवा एखादा वापरकर्ता तुमच्या चॅटबॉटमध्ये क्रेडिट कार्ड नंबर पेस्ट करतो. किंवा एखादा वापरकर्ता विनियमित (regulated) उद्योगात तुमच्या बॉटला आर्थिक सल्ल्यासाठी विचारतो.

LLM कडे ट्रॅफिक पाठवणे सोपे आहे. परंतु त्या ट्रॅफिकवर नियंत्रण ठेवणे कठीण आहे. तुम्हाला सुरक्षा धोरणांची (safety policies) आवश्यकता आहे.

तुम्ही Kubernetes वरील Kong AI Gateway सोबत AWS Bedrock Guardrails वापरू शकता. ही सेटअप ai-aws-guardrails प्लगइन वापरते. प्रत्येक विनंती (request) आणि प्रतिसाद (response) पॉलिसी लेयरमधून जातो. गेटवे नियमांचे उल्लंघन होण्यापूर्वीच ते तुमच्या ॲप्लिकेशन कोडपर्यंत पोहोचण्यापासून रोखतो.

तुम्ही चार प्रकारचे गार्डरेल (guardrail) कॉन्फिगर करू शकता:

PII साठी तुमच्याकडे दोन पर्याय आहेत. विनंती थांबवण्यासाठी BLOCK वापरा. संवेदनशील डेटाच्या जागी प्लेसहोल्डर्स (placeholders) वापरण्यासाठी ANONYMIZE वापरा. जेव्हा तुम्हाला कच्च्या डेटाशिवाय (raw data) संदर्भाची (context) गरज असते, तेव्हा हे आरोग्यसेवा (healthcare) क्षेत्रात उपयुक्त ठरते.

तुमच्या Kong कॉन्फिगरेशनमध्ये, guarding_mode ला BOTH वर सेट करा. डीफॉल्ट सेटिंग फक्त इनपुट तपासते. BOTH वर सेट केल्यामुळे वापरकर्त्याचा प्रॉम्प्ट आणि मॉडेलचा प्रतिसाद या दोन्ही गोष्टी तपासल्या जातात. यामुळे हायजॅक केलेले मॉडेल तुमच्या वापरकर्त्याला हानिकारक डेटा पाठवण्यापासून रोखले जाते.

सुरक्षा हा चांगल्या गेटवेचा केवळ एक भाग आहे. तुम्ही खालील गोष्टींचा देखील वापर केला पाहिजे:

संपूर्ण JSON व्याख्या आणि सेटअप स्टेप्ससाठी Hashnode वरील संपूर्ण मार्गदर्शक वाचा.

Source: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

Optional learning community: https://t.me/GyaanSetuAi