Безопасность ИИ-кодинга: Промпт-инъекции прячутся в ваших файлах проекта

Ваш ИИ-ассистент для написания кода читает каждый файл в вашем репозитории. Он читает ваш README, ваши конфигурационные файлы и ваши правила. Он использует эти файлы, чтобы решить, как писать код.

Новая угроза безопасности эксплуатирует именно это поведение. Исследователи обнаружили уязвимость в 28 различных инструментах для ИИ-кодинга. Эта атака — не сложный взлом. Это всего лишь обычный текстовый файл в вашем репозитории.

Как работает атака:

Вы клонируете open-source проект. Он выглядит нормально. Вы открываете его в своем ИИ-редакторе и просите добавить новую функцию. Вы не видите скрытых Unicode-символов в конфигурационных файлах. Эти символы скрыты от вас, но дают ИИ другие инструкции.

Скрытая инструкция велит ИИ отправить ваши учетные данные AWS на внешний сервер. ИИ считает это легитимной инструкцией проекта. Он выполняет команду. Ваши секреты украдены.

Почему это трудно остановить:

  • Скрытые символы: вы видите обычный текст, но ИИ видит вредоносные команды через невидимые Unicode-символы.
  • Каждый файл является точкой входа: README или комментарий в библиотеке могут содержать полезную нагрузку.
  • Высокие привилегии: ИИ-агенты часто работают с вашими пользовательскими правами. Они могут читать ваши SSH-ключи и API-токены.
  • Вызовы инструментов: ИИ использует вызовы инструментов для выполнения команд. Атака нацелена на эти вызовы, чтобы обойти механизмы безопасности.

Как защитить свой рабочий процесс:

  • Очищайте содержимое файлов: удаляйте скрытые символы и распространенные паттерны инъекций перед тем, как ИИ их прочитает.
  • Используйте песочницы: запускайте ИИ-агентов в контейнерах без доступа к сети и с файловыми системами только для чтения.
  • Устанавливайте строгие политики: создайте белый список разрешенных команд. Требуйте подтверждения человеком для любой команды, которая перемещает данные или удаляет файлы.

Вы можете провести быструю проверку перед началом сессии кодинга. Ищите в файлах подозрительные термины, такие как «ignore all previous» или «curl» и «exfil».

Инструменты ИИ-кодинга продуктивны, но они исходят из предположения, что файлы на вашем диске безопасны. Это не так. Относитесь к каждому файлу как к недоверенному вводу.

Как вы справляетесь с рисками промпт-инъекций в своем рабочем процессе с ИИ?

Источник: https://dev.to/tyson_cung/ai-coding-security-prompt-injection-is-hiding-in-your-project-files-4be9