AWS Bedrock மற்றும் Kong மூலம் AI Gateway Guardrails

நீங்கள் ஒரு AI Gateway-ஐ deploy செய்துள்ளீர்கள். Traffic சீராகப் பாய்கிறது. LLM பதிலளிக்கிறது. அனைத்தும் சரியாகத் தோன்றுகிறது.

பிறகு ஒரு பயனர் முந்தைய அனைத்து அறிவுறுத்தல்களையும் புறக்கணிக்குமாறு ஒரு prompt அனுப்புகிறார். அல்லது ஒரு பயனர் உங்கள் chatbot-இல் கிரெடிட் கார்டு எண்ணைப் பகிர்கிறார். அல்லது ஒரு பயனர் ஒழுங்குமுறைப்படுத்தப்பட்ட துறையில் (regulated industry) உங்கள் bot-இடம் நிதி ஆலோசனையைக் கேட்கிறார்.

ஒரு LLM-க்கு traffic அனுப்புவது எளிது. ஆனால் அந்த traffic-ஐக் கட்டுப்படுத்துவது கடினம். உங்களுக்கு பாதுகாப்பு கொள்கைகள் (safety policies) தேவை.

Kubernetes-இல் உள்ள Kong AI Gateway உடன் AWS Bedrock Guardrails-ஐ நீங்கள் பயன்படுத்தலாம். இந்த அமைப்பு ai-aws-guardrails plugin-ஐப் பயன்படுத்துகிறது. ஒவ்வொரு request மற்றும் response-ம் ஒரு policy layer வழியாகச் செல்கிறது. விதிமீறல்கள் உங்கள் application code-ஐ சென்றடைவதற்கு முன்பே gateway அவற்றைத் தடுக்கிறது.

நீங்கள் நான்கு வகையான guardrail வகைகளை configure செய்யலாம்:

PII-க்காக, உங்களிடம் இரண்டு விருப்பங்கள் உள்ளன. கோரிக்கையை நிறுத்த BLOCK என்பதைப் பயன்படுத்தவும். முக்கியமான தரவை (sensitive data) placeholders மூலம் மாற்ற ANONYMIZE என்பதைப் பயன்படுத்தவும். இது மூலத் தரவு (raw data) இல்லாமல் சூழல் (context) தேவைப்படும் மருத்துவத் துறையில் (healthcare) உதவுகிறது.

உங்கள் Kong configuration-இல், guarding_mode-ஐ BOTH என அமைக்கவும். இயல்புநிலை அமைப்பு (default setting) உள்ளீடுகளை (inputs) மட்டுமே சரிபார்க்கும். அதை BOTH என அமைப்பதன் மூலம் பயனர் prompt மற்றும் மாடல் பதில் (model response) ஆகிய இரண்டையும் சரிபார்க்க முடியும். இது ஒரு hijacked model உங்கள் பயனருக்குத் தீங்கு விளைவிக்கும் தரவை அனுப்புவதைத் தடுக்கிறது.

ஒரு சிறந்த gateway-இன் ஒரு பகுதி மட்டுமே பாதுகாப்பு. நீங்கள் இதையும் பயன்படுத்த வேண்டும்:

முழுமையான JSON வரையறைகள் மற்றும் setup படிகளுக்கு Hashnode-இல் உள்ள முழு வழிகாட்டியைப் படிக்கவும்.

Source: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

Optional learning community: https://t.me/GyaanSetuAi