𝗔𝗪𝗦 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 અને 𝗞𝗼𝗻𝗴 સાથે 𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀
તમે એક AI Gateway તૈનાત કર્યું છે. ટ્રાફિક વહે છે. LLM પ્રતિસાદ આપે છે. બધું બરાબર લાગે છે.
પછી એક વપરાશકર્તા બધી અગાઉની સૂચનાઓને અવગણવા માટે પ્રોમ્પ્ટ મોકલે છે. અથવા કોઈ વપરાશકર્તા તમારા ચેટબોટમાં ક્રેડિટ કાર્ડ નંબર પેસ્ટ કરે છે. અથવા કોઈ વપરાશકર્તા નિયંત્રિત ઉદ્યોગમાં તમારા બોટ પાસે નાણાકીય સલાહ માંગે છે.
LLM ને ટ્રાફિક મોકલવો સરળ છે. તે ટ્રાફિકને નિયંત્રિત કરવો મુશ્કેલ છે. તમારે સુરક્ષા નીતિઓની (safety policies) જરૂર છે.
તમે Kubernetes પર Kong AI Gateway સાથે AWS Bedrock Guardrails નો ઉપયોગ કરી શકો છો. આ સેટઅપ ai-aws-guardrails પ્લગઇનનો ઉપયોગ કરે છે. દરેક રિક્વેસ્ટ અને રિસ્પોન્સ પોલિસી લેયરમાંથી પસાર થાય છે. ગેટવે ઉલ્લંઘનો તમારા એપ્લિકેશન કોડ સુધી પહોંચે તે પહેલાં જ તેને બ્લોક કરે છે.
તમે ચાર પ્રકારના guardrail કોન્ફિગર કરી શકો છો:
- Content Filters: નફરત, હિંસા અથવા અપમાનજનક સામગ્રીને બ્લોક કરો.
- Prompt Attack Protection: jailbreaks અને injection પ્રયાસોને બ્લોક કરો.
- PII Protection: ઈમેલ, ક્રેડિટ કાર્ડ અને પાસવર્ડને બ્લોક કરો.
- Denied Topics: રોકાણની સલાહ જેવા ચોક્કસ વિષયોને બ્લોક કરો.
PII માટે, તમારી પાસે બે વિકલ્પો છે. રિક્વેસ્ટ રોકવા માટે BLOCK નો ઉપયોગ કરો. સંવેદનશીલ ડેટાને placeholders થી બદલવા માટે ANONYMIZE નો ઉપયોગ કરો. આ હેલ્થકેરમાં મદદરૂપ થાય છે જ્યારે તમારે કાચા ડેટા (raw data) વગર સંદર્ભની જરૂર હોય.
તમારા Kong કોન્ફિગરેશનમાં, guarding_mode ને BOTH પર સેટ કરો. ડિફોલ્ટ સેટિંગ ફક્ત ઇનપુટ્સ તપાસે છે. તેને BOTH પર સેટ કરવાથી યુઝર પ્રોમ્પ્ટ અને મોડેલ રિસ્પોન્સ બંને તપાસાય છે. આ હાઇજેક કરેલા મોડેલને તમારા યુઝરને નુકસાનકારક ડેટા પાછો મોકલતા અટકાવે છે.
સુરક્ષા એ સારા ગેટવેનો માત્ર એક ભાગ છે. તમારે આનો પણ ઉપયોગ કરવો જોઈએ:
- ખર્ચ નિયંત્રિત કરવા માટે Rate limiting.
- વારંવાર આવતી ક્વેરીઝ ઘટાડવા માટે Semantic caching.
- તમારા રૂટ્સને સુરક્ષિત કરવા માટે JWT auth.
સંપૂર્ણ JSON વ્યાખ્યાઓ અને સેટઅપ સ્ટેપ્સ માટે Hashnode પર સંપૂર્ણ માર્ગદર્શિકા વાંચો.
Optional learning community: https://t.me/GyaanSetuAi