AI Gateway Guardrails עם AWS Bedrock ו-Kong
פרסתם AI Gateway. התעבורה זורמת. ה-LLM מגיב. הכל נראה טוב.
ואז משתמש שולח prompt להתעלם מכל ההוראות הקודמות. או שמשתמש מדביק מספר כרטיס אשראי בצ'אטבוט שלכם. או שמשתמש מבקש מהבוט שלכם ייעוץ פיננסי בתחום מוסדר.
שליחת תעבורה ל-LLM היא קלה. השליטה בתעבורה הזו היא קשה. אתם זקוקים למדיניות בטיחות.
אתם יכולים להשתמש ב-AWS Bedrock Guardrails עם Kong AI Gateway על Kubernetes. הגדרה זו משתמשת ב-ai-aws-guardrails plugin. כל בקשה ותגובה עוברות דרך שכבת מדיניות. ה-gateway חוסם הפרות לפני שהן מגיעות לקוד האפליקציה שלכם.
ניתן להגדיר ארבעה סוגי guardrails:
- Content Filters: חסימת שנאה, אלימות או עלבונות.
- Prompt Attack Protection: חסימת jailbreaks וניסיונות הזרקה (injection).
- PII Protection: חסימת אימיילים, כרטיסי אשראי וסיסמאות.
- Denied Topics: חסימת נושאים ספציפיים כמו ייעוץ השקעות.
עבור PII, יש לכם שתי אפשרויות. השתמשו ב-BLOCK כדי לעצור את הבקשה. השתמשו ב-ANONYMIZE כדי להחליף נתונים רגישים ב-placeholders. זה עוזר בתחום הבריאות כשצריך הקשר (context) ללא הנתונים הגולמיים.
בהגדרות ה-Kong שלכם, הגדירו את guarding_mode ל-BOTH. הגדרת ברירת המחדל בודקת רק קלטים (inputs). הגדרה ל-BOTH בודקת גם את ה-prompt של המשתמש וגם את תגובת המודל. זה מונע ממודל שנפרץ (hijacked) לשלוח נתונים מזיקים בחזרה למשתמש שלכם.
בטיחות היא רק חלק אחד מ-gateway טוב. כדאי להשתמש גם ב:
- Rate limiting לשליטה בעלויות.
- Semantic caching לצמצום שאילתות חוזרות.
- JWT auth לאבטחת הנתיבים (routes) שלכם.
קראו את המדריך המלא ב-Hashnode לקבלת הגדרות ה-JSON המלאות ושלבי ההגדרה.
Optional learning community: https://t.me/GyaanSetuAi