AI Gateway Guardrails kwa kutumia AWS Bedrock na Kong
Umetekeleza AI Gateway. Trafiki inatiririka. LLM inajibu. Kila kitu kinaonekana kuwa sawa.
Kisha mtumiaji anatuma prompt ya kupuuza maelekezo yote ya awali. Au mtumiaji anabandika namba ya kadi ya mkopo kwenye chatbot yako. Au mtumiaji anauomba bot yako ushauri wa kifedha katika sekta inayodhibitiwa.
Kutuma trafiki kwa LLM ni rahisi. Kudhibiti trafiki hiyo ni vigumu. Unahitaji sera za usalama.
Unaweza kutumia AWS Bedrock Guardrails pamoja na Kong AI Gateway kwenye Kubernetes. Mpangilio huu unatumia plugin ya ai-aws-guardrails. Kila ombi na jibu hupitia tabaka la sera. Gateway hukataza ukiukaji kabla hayajafikia kodi ya programu yako.
Unaweza kusanidi aina nne za guardrails:
- Vichujio vya Maudhui: Zuia chuki, vurugu, au matusi.
- Ulinzi dhidi ya Mashambulizi ya Prompt: Zuia jailbreaks na majaribio ya injection.
- Ulinzi wa PII: Zuia barua pepe, kadi za mkopo, na nywila.
- Mada Zilizokatazwa: Zuia mada maalum kama usha