Баг із витоком промптів у Anthropic призвів до витоку даних користувачів за цілий тиждень.
Чому цей витік є важливим
Інтерфейс моделі Anthropic дозволяє розробникам надсилати «промпти» — текст, який спрямовує відповідь мовної моделі. Під час інциденту помилка у системі зберігання дозволила стороннім особам читати ці промпти протягом семи днів. Витік не був результатом масштабного хакерського нападу; двері відкрила незначна помилка в тому, як промпти зберігалися та отримувалися.
Що пішло не так
Розділення даних користувачів і ваг моделі обмежує ризики витоку. Створення журналів аудиту дозволяє на ранніх етапах виявляти підозрілу активність.
Негайні дії для AI-стартапів
- Посильте захист обробки промптів – Ставтеся до кожного вхідного промпту як до конфіденційних даних. Шифруйте їх під час зберігання, обмежуйте права на читання/запис мінімально необхідним набором сервісів і переконайтеся, що отримувати їх може лише механізм виконання моделі.
- Відокремте дані користувачів від ваг моделі – Зберігайте промпти в окремому сховищі, яке фізично та логічно відрізняється від файлів моделі. Таке розділення обмежує масштаб наслідків будь-якого окремого витоку.
- Створіть журнали аудиту – Фіксуйте кожен доступ до сховища промптів із часовими мітками, ID користувачів та IP-адресами джерел. Налаштуйте аналітику в реальному часі, яка надсилатиме сповіщення про аномальні обсяги читання або доступ із неочікуваних сервісів.
На що звернути увагу далі
Підсумок: Одна лише помилка в обробці промптів може призвести до каскадного витоку даних протягом тижня. Засновники AI-проєктів мають застосовувати таку ж суворість до зберігання промптів, як і до будь-якої іншої системи даних користувачів, інакше вони повторять дорогу помилку Anthropic.