AWS Bedrock اور Kong کے ساتھ AI Gateway Guardrails

آپ نے ایک AI Gateway تعینات کر دیا ہے۔ ٹریفک بہہ رہی ہے۔ LLM جواب دے رہا ہے۔ سب کچھ ٹھیک لگ رہا ہے۔

پھر ایک صارف تمام سابقہ ہدایات کو نظر انداز کرنے کے لیے ایک پرامپٹ بھیجتا ہے۔ یا کوئی صارف آپ کے چیٹ بوٹ میں کریڈٹ کارڈ نمبر پیسٹ کر دیتا ہے۔ یا کوئی صارف کسی ریگولیٹڈ انڈسٹری میں آپ کے بوٹ سے مالی مشورے مانگتا ہے۔

LLM کو ٹریفک بھیجنا آسان ہے۔ اس ٹریفک کو کنٹرول کرنا مشکل ہے۔ آپ کو حفاظتی پالیسیوں (safety policies) کی ضرورت ہے۔

آپ Kubernetes پر Kong AI Gateway کے ساتھ AWS Bedrock Guardrails استعمال کر سکتے ہیں۔ یہ سیٹ اپ ai-aws-guardrails پلگ ان کا استعمال کرتا ہے۔ ہر درخواست (request) اور جواب (response) ایک پالیسی لیئر سے گزرتا ہے۔ گیٹ وے خلاف ورزیوں کو آپ کے ایپلی کیشن کوڈ تک پہنچنے سے پہلے ہی روک دیتا ہے۔

آپ چار قسم کے guardrails کنفیگر کر سکتے ہیں:

PII کے لیے، آپ کے پاس دو انتخاب ہیں۔ درخواست کو روکنے کے لیے BLOCK کا استعمال کریں۔ حساس ڈیٹا کو placeholders سے بدلنے کے لیے ANONYMIZE کا استعمال کریں۔ یہ ہیلتھ کیئر میں اس وقت مدد کرتا ہے جب آپ کو خام ڈیٹا (raw data) کے بغیر سیاق و سباق (context) کی ضرورت ہو۔

اپنی Kong کنفیگریشن میں، guarding_mode کو BOTH پر سیٹ کریں۔ ڈیفالٹ سیٹنگ صرف ان پٹس کو چیک کرتی ہے۔ اسے BOTH پر سیٹ کرنے سے صارف کا پرامپٹ اور ماڈل کا جواب دونوں چیک ہوتے ہیں۔ یہ ہائی جیک شدہ ماڈل کو آپ کے صارف کو نقصان دہ ڈیٹا واپس بھیجنے سے روکتا ہے۔

حفاظت ایک اچھے گیٹ وے کا صرف ایک حصہ ہے۔ آپ کو یہ بھی استعمال کرنا چاہیے:

مکمل JSON تعریفوں اور سیٹ اپ کے مراحل کے لیے Hashnode پر مکمل گائیڈ پڑھیں۔

Source: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

Optional learning community: https://t.me/GyaanSetuAi