AI Gateway Guardrails met AWS Bedrock en Kong
Je hebt een AI Gateway geïmplementeerd. Het verkeer stroomt. De LLM reageert. Alles ziet er goed uit.
Dan stuurt een gebruiker een prompt om alle eerdere instructies te negeren. Of een gebruiker plakt een creditcardnummer in je chatbot. Of een gebruiker vraagt je bot om financieel advies in een gereguleerde sector.
Verkeer naar een LLM sturen is eenvoudig. Dat verkeer controleren is moeilijk. Je hebt veiligheidsbeleid nodig.
Je kunt AWS Bedrock Guardrails gebruiken met een Kong AI Gateway op Kubernetes. Deze opstelling maakt gebruik van de ai-aws-guardrails plugin. Elke aanvraag en reactie gaat door een beleidslaag. De gateway blokkeert overtredingen voordat ze je applicatiecode bereiken.
Je kunt vier soorten guardrails configureren:
- Contentfilters: Blokkeer haat, geweld of beledigingen.
- Bescherming tegen prompt-aanvallen: Blokkeer jailbreaks en injectiepogingen.
- PII-bescherming: Blokkeer e-mailadressen, creditcards en wachtwoorden.
- Verboden onderwerpen: Blokkeer specifieke onderwerpen zoals beleggingsadvies.
Voor PII heb je twee keuzes. Gebruik BLOCK om de aanvraag te stoppen. Gebruik ANONYMIZE om gevoelige gegevens te vervangen door placeholders. Dit is nuttig in de gezondheidszorg wanneer je context nodig hebt zonder de ruwe gegevens.
Stel in je Kong-configuratie guarding_mode in op BOTH. De standaardinstelling controleert alleen de input. Door het op BOTH te zetten, worden zowel de prompt van de gebruiker als de reactie van het model gecontroleerd. Dit voorkomt dat een gehackt model schadelijke gegevens terugstuurt naar je gebruiker.
Veiligheid is slechts één onderdeel van een goede gateway. Je zou ook het volgende moeten gebruiken:
- Rate limiting om kosten te beheersen.
- Semantische caching om herhaalde queries te verminderen.
- JWT-authenticatie om je routes te beveiligen.
Lees de volledige handleiding op Hashnode voor de volledige JSON-definities en installatiestappen.
Optionele leercommunity: https://t.me/GyaanSetuAi