Баг с утечкой промптов в Anthropic раскрыл данные пользователей за целую неделю.
Почему эта утечка важна
Интерфейс модели Anthropic позволяет разработчикам отправлять «промпты» — текст, который направляет ответ языковой модели. В ходе инцидента ошибка в системе хранения позволила посторонним лицам считывать эти промпты в течение семи дней. Утечка не была результатом масштабного взлома; к ней привела крошечная оплошность в том, как промпты сохранялись и извлекались.
Что пошло не так
Разделение пользовательских данных и весов модели ограничивает зону риска. Создание журналов аудита позволяет на ранних этапах выявлять необычную активность.
Первоочередные действия для ИИ-стартапов
- Усильте обработку промптов — относитесь к каждому входящему промпту как к конфиденциальным данным. Шифруйте их при хранении, ограничьте права на чтение/запись минимально необходимым набором сервисов и убедитесь, что извлекать их может только движок выполнения модели.
- Отделяйте пользовательские данные от весов модели — храните промпты в выделенном репозитории, который физически и логически отделен от файлов модели. Такое разделение ограничивает «радиус поражения» при любой единичной утечке.
- Создавайте журналы аудита — фиксируйте каждый случай доступа к хранилищу промптов, указывая временные метки, ID пользователей и IP-адреса источников. Настройте аналитику в реальном времени, которая будет отправлять оповещения при аномальных объемах чтения или доступе со стороны неожиданных сервисов.
На что обратить внимание в дальнейшем
Итог: Одна единственная ошибка в обработке промптов может привести к утечке данных в течение целой недели. Основатели ИИ-проектов должны применять к хранению промптов такой же строгий подход, как и к любой другой системе пользовательских данных, иначе они повторят дорогостоящую ошибку Anthropic.