AI-Gateway-Guardrails mit AWS Bedrock und Kong

Sie haben ein AI-Gateway bereitgestellt. Der Datenverkehr fließt. Das LLM antwortet. Alles sieht gut aus.

Dann sendet ein Benutzer einen Prompt, um alle vorherigen Anweisungen zu ignorieren. Oder ein Benutzer fügt eine Kreditkartennummer in Ihren Chatbot ein. Oder ein Benutzer bittet Ihren Bot in einer regulierten Branche um Finanzberatung.

Den Datenverkehr an ein LLM zu senden, ist einfach. Diesen Datenverkehr zu kontrollieren, ist schwer. Sie benötigen Sicherheitsrichtlinien.

Sie können AWS Bedrock Guardrails mit einem Kong AI Gateway auf Kubernetes verwenden. Dieses Setup nutzt das ai-aws-guardrails-Plugin. Jede Anfrage und jede Antwort durchläuft eine Policy-Ebene. Das Gateway blockiert Verstöße, bevor sie Ihren Anwendungscode erreichen.

Sie können vier Arten von Guardrails konfigurieren:

Für PII haben Sie zwei Möglichkeiten. Nutzen Sie BLOCK, um die Anfrage zu stoppen. Nutzen Sie ANONYMIZE, um sensible Daten durch Platzhalter zu ersetzen. Dies ist im Gesundheitswesen hilfreich, wenn Sie Kontext benötigen, aber keine Rohdaten.

Setzen Sie in Ihrer Kong-Konfiguration guarding_mode auf BOTH. Die Standardeinstellung prüft nur die Eingaben. Die Einstellung auf BOTH prüft sowohl den Benutzer-Prompt als auch die Modellantwort. Dies verhindert, dass ein kompromittiertes Modell schädliche Daten an Ihren Benutzer zurücksendet.

Sicherheit ist nur ein Teil eines guten Gateways. Sie sollten auch Folgendes verwenden:

Lesen Sie die vollständige Anleitung auf Hashnode für die kompletten JSON-Definitionen und Einrichtungsschritte.

Quelle: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

Optionale Lern-Community: https://t.me/GyaanSetuAi