AWS Bedrock এবং Kong-এর মাধ্যমে AI Gateway Guardrails
আপনি একটি AI Gateway স্থাপন করেছেন। ট্রাফিক প্রবাহিত হচ্ছে। LLM রেসপন্স করছে। সবকিছু ঠিকঠাক মনে হচ্ছে।
তারপর একজন ব্যবহারকারী পূর্ববর্তী সমস্ত নির্দেশাবলী উপেক্ষা করার জন্য একটি প্রম্পট পাঠায়। অথবা একজন ব্যবহারকারী আপনার চ্যাটবটে একটি ক্রেডিট কার্ড নম্বর পেস্ট করে। অথবা একজন ব্যবহারকারী কোনো নিয়ন্ত্রিত শিল্পে (regulated industry) আপনার বটকে আর্থিক পরামর্শ চায়।
একটি LLM-এ ট্রাফিক পাঠানো সহজ। কিন্তু সেই ট্রাফিক নিয়ন্ত্রণ করা কঠিন। আপনার নিরাপত্তা নীতিমালা (safety policies) প্রয়োজন।
আপনি Kubernetes-এ Kong AI Gateway-এর সাথে AWS Bedrock Guardrails ব্যবহার করতে পারেন। এই সেটআপটি ai-aws-guardrails প্লাগইন ব্যবহার করে। প্রতিটি রিকোয়েস্ট এবং রেসপন্স একটি পলিসি লেয়ারের মধ্য দিয়ে যায়। গেটওয়ে আপনার অ্যাপ্লিকেশন কোডে পৌঁছানোর আগেই লঙ্ঘনগুলো (violations) ব্লক করে দেয়।
আপনি চার ধরনের গার্ডরেইল কনফিগার করতে পারেন:
- Content Filters: ঘৃণা, সহিংসতা বা অপমানমূলক বিষয় ব্লক করুন।
- Prompt Attack Protection: জেলব্রেক (jailbreaks) এবং ইনজেকশন প্রচেষ্টা ব্লক করুন।
- PII Protection: ইমেল, ক্রেডিট কার্ড এবং পাসওয়ার্ড ব্লক করুন।
- Denied Topics: বিনিয়োগের পরামর্শের মতো নির্দিষ্ট বিষয়গুলো ব্লক করুন।
PII-এর জন্য আপনার কাছে দুটি বিকল্প রয়েছে। রিকোয়েস্টটি বন্ধ করতে BLOCK ব্যবহার করুন। সংবেদনশীল ডেটাকে প্লেসহোল্ডার (placeholders) দিয়ে প্রতিস্থাপন করতে ANONYMIZE ব্যবহার করুন। এটি স্বাস্থ্যসেবা ক্ষেত্রে সাহায্য করে যখন আপনার র (raw) ডেটা ছাড়াই প্রেক্ষাপট (context) প্রয়োজন হয়।
আপনার Kong কনফিগারেশনে, guarding_mode কে BOTH হিসেবে সেট করুন। ডিফল্ট সেটিং শুধুমাত্র ইনপুট চেক করে। এটিকে BOTH হিসেবে সেট করলে ব্যবহারকারীর প্রম্পট এবং মডেল রেসপন্স উভয়ই চেক করা হয়। এটি একটি হাইজ্যাক করা মডেলকে আপনার ব্যবহারকারীর কাছে ক্ষতিকারক ডেটা পাঠানো থেকে বিরত রাখে।
একটি ভালো গেটওয়ের জন্য নিরাপত্তা কেবল একটি অংশ। আপনার আরও ব্যবহার করা উচিত:
- খরচ নিয়ন্ত্রণের জন্য Rate limiting।
- বারবার আসা কুয়েরি কমাতে Semantic caching।
- আপনার রুটগুলো সুরক্ষিত করতে JWT auth।
সম্পূর্ণ JSON ডেফিনিশন এবং সেটআপ ধাপের জন্য Hashnode-এ সম্পূর্ণ গাইডটি পড়ুন।
Optional learning community: https://t.me/GyaanSetuAi