𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝘄𝗶𝘁𝗵 𝗔𝗪𝗦 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗮𝗻𝗱 𝗞𝗼𝗻𝗴
Has desplegado un AI Gateway. El tráfico fluye. El LLM responde. Todo parece ir bien.
Entonces, un usuario envía un prompt para ignorar todas las instrucciones anteriores. O un usuario pega un número de tarjeta de crédito en tu chatbot. O un usuario le pide consejo financiero a tu bot en una industria regulada.
Enviar tráfico a un LLM es fácil. Controlar ese tráfico es difícil. Necesitas políticas de seguridad.
Puedes usar AWS Bedrock Guardrails con un Kong AI Gateway en Kubernetes. Esta configuración utiliza el plugin ai-aws-guardrails. Cada solicitud y respuesta pasa a través de una capa de políticas. El gateway bloquea las infracciones antes de que lleguen al código de tu aplicación.
Puedes configurar cuatro tipos de guardrails:
- Filtros de contenido: Bloquean el odio, la violencia o los insultos.
- Protección contra ataques de prompt: Bloquea jailbreaks e intentos de inyección.
- Protección de PII: Bloquea correos electrónicos, tarjetas de crédito y contraseñas.
- Temas denegados: Bloquea temas específicos como consejos de inversión.
Para PII, tienes dos opciones. Usa BLOCK para detener la solicitud. Usa ANONYMIZE para reemplazar los datos sensibles con marcadores de posición. Esto ayuda en el sector salud cuando necesitas contexto sin los datos brutos.
En tu configuración de Kong, establece guarding_mode en BOTH. La configuración predeterminada solo comprueba las entradas. Establecerlo en BOTH comprueba tanto el prompt del usuario como la respuesta del modelo. Esto evita que un modelo secuestrado envíe datos dañinos de vuelta a tu usuario.
La seguridad es solo una parte de un buen gateway. También deberías usar:
- Rate limiting para controlar los costos.
- Caching semántico para reducir las consultas repetidas.
- Autenticación JWT para asegurar tus rutas.
Lee la guía completa en Hashnode para obtener las definiciones JSON completas y los pasos de configuración.
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi