Модель дозволів ChatGPT дозволяла зловмисникам викрадати повідомлення Gmail, що змусило OpenAI вимкнути вразливий внутрішній сервіс. Check Point Research розкрила цю помилку, показавши, що спеціально сформульований промпт може змусити ШІ прочитати пов'язаний з користувачем електронний поштовий акаунт і переслати вміст на адресу, підконтрольну зловмиснику.
Як працює ін'єкція
Дослідники приховали приховану інструкцію в звичайному на вигляд промпті. Коли користувач підключав Gmail до ChatGPT, шкідливий промпт наказував моделі отримати дані Gmail і надіслати їх зловмиснику. Дані проходили через внутрішній сервіс маршрутизації, який ніколи не запитував у користувача додаткової згоди. Оскільки сервіс працював у фоновому режимі, користувач не бачив жодного запиту на надання дозволу.
Швидке виправлення від OpenAI
OpenAI вимкнула внутрішній сервіс маршрутизації, перекривши канал, яким скористалися дослідники. Патч блокує саме цей метод витоку даних, проте структура дозволів, яка дозволяє плагінам діяти в підключених застосунках без явних запитів, залишається незмінною.
Чому це важливо
Gmail містить особисту та корпоративну переписку; будь-яке порушення підриває довіру до ШІ-асистентів, які заявляють про захист даних користувачів. Цей інцидент підкреслює два ширші ризики:
- Prompt injection – шкідливі промпти можуть перехопити контроль над асистентом, перетворюючи його на канал витоку даних.
- Plugin permission models – поточні архітектури можуть надавати ШІ-інструментам широкий доступ до сторонніх сервісів без чіткого усвідомлення з боку користувача.
Цей випадок нагадує нам, що оскільки ШІ-асистенти все глибше вплітаються в особисті дані, механізми, що керують їхнім доступом, мають бути прозорими та підлягати аудиту. До того часу користувачам слід ставитися до будь-якого зв'язку між ШІ-інструментами та приватними акаунтами з обережністю.