Как скрывать конфиденциальные данные до того, как они попадут в LLM

Передача конфиденциальных данных сторонним моделям ИИ создает риски безопасности. Когда сотрудники вставляют информацию о клиентах или данные внутренних проектов в промпт, эта информация выходит из-под вашего контроля. Это приводит к нарушениям нормативных требований, таких как GDPR или HIPAA.

LLM не отличают имя от случайного слова. Вы должны блокировать конфиденциальные данные до того, как они достигнут модели. Это называется оперативным скрытием данных в промпте (inline prompt redaction).

Этот процесс состоит из четырех этапов:

• Обнаружение (Detect): Система сканирует промпт на наличие паттернов конфиденциальных данных.
• Замена (Replace): Система заменяет данные плейсхолдером, например [EMAIL_1].
• Пересылка (Forward): Безопасный промпт отправляется в LLM.
• Аудит (Audit): Система регистрирует событие для мониторинга безопасности.

Для поиска таких данных можно использовать различные методы:

• Регулярные выражения (Regex): Подходят для структурированных данных, таких как номера кредитных карт, номера социального страхования и номера телефонов. Это быстро, но метод не справляется с именами или неструктурированным текстом.
• Распознавание именованных сущностей (NER): Использует машинное обучение для поиска имен, локаций и организаций. Этот метод понимает контекст лучше, чем regex.

Распространенная проблема — потеря контекста. Если удалить все имена, ответ ИИ может стать бесполезным. Чтобы решить эту проблему, используйте обратимое скрытие данных (reversible redaction). Вы заменяете «Jane Doe» на «[PERSON_1]» и сохраняете приватную карту соответствий. Когда ИИ дает ответ, ваша система возвращает реальное имя для пользователя.

Не стоит внедрять эту логику в каждое отдельное приложение — это сложно поддерживать. Вместо этого используйте AI Gateway.

AI Gateway выступает в роли прокси-сервера между вашими приложениями и сервисом ИИ. Это дает вам:

• Централизованный контроль над всеми политиками безопасности.
• Отсутствие необходимости менять код в каждом приложении.
• Единое место для аудита всех запросов.
• Единый стандарт безопасности во всей компании.

Вы можете использовать инструменты ИИ, не рискуя конфиденциальными данными. Автоматическое скрытие данных позволяет удерживать информацию внутри вашей сети.

Source: https://dev.to/marco_rinaldi_179438a5611/how-to-redact-sensitive-data-before-it-reaches-an-llm-3mhp

Optional learning community: https://t.me/GyaanSetuAi