Guardrails для AI Gateway с использованием AWS Bedrock и Kong
Вы развернули AI Gateway. Трафик идет. LLM отвечает. Все выглядит отлично.
Затем пользователь отправляет промпт с требованием игнорировать все предыдущие инструкции. Или пользователь вставляет номер кредитной карты в ваш чат-бот. Или пользователь просит вашего бота дать финансовый совет в регулируемой отрасли.
Направлять трафик к LLM — легко. Контролировать этот трафик — сложно. Вам нужны политики безопасности.
Вы можете использовать AWS Bedrock Guardrails вместе с Kong AI Gateway на Kubernetes. Эта конфигурация использует плагин ai-aws-guardrails. Каждый запрос и ответ проходит через уровень политик. Шлюз блокирует нарушения до того, как они достигнут кода вашего приложения.
Вы можете настроить четыре типа guardrails:
- Content Filters: блокировка ненависти, насилия или оскорблений.
- Prompt Attack Protection: защита от атак на промпты, блокирующая джейлбрейки и попытки инъекций.
- PII Protection: защита персональных данных (PII), блокирующая email-адреса, номера кредитных карт и пароли.
- Denied Topics: блокировка определенных тем, таких как инвестиционные советы.
Для PII у вас есть два варианта. Используйте BLOCK, чтобы остановить запрос. Используйте ANONYMIZE, чтобы заменить конфиденциальные данные плейсхолдерами. Это полезно в здравоохранении, когда вам нужен контекст без передачи исходных данных.
В конфигурации Kong установите guarding_mode в значение BOTH. По умолчанию проверяются только входные данные. Установка значения BOTH позволяет проверять как промпт пользователя, так и ответ модели. Это предотвращает отправку вредных данных пользователю в случае компрометации модели.
Безопасность — это лишь одна из составляющих хорошего шлюза. Вам также следует использовать:
- Rate limiting для контроля затрат.
- Semantic caching для уменьшения количества повторяющихся запросов.
- JWT auth для защиты ваших маршрутов.
Прочитайте полное руководство на Hashnode, чтобы ознакомиться с полными JSON-определениями и шагами по настройке.
Дополнительное сообщество для обучения: https://t.me/GyaanSetuAi