Последние несколько лет в индустрии безопасности искусственный интеллект обсуждали как инструмент, многократно усиливающий возможности защитников. Сценарий был таким: модели машинного обучения будут анализировать логи, выявлять аномалии, которые упустили аналитики-люди, и брать на себя рутинную работу по обнаружению угроз. Эта история верна лишь наполовину. Другая половина, согласно последним данным Check Point Research, заключается в том, что злоумышленники уже давно перешли от экспериментов к делу. Они используют ИИ для проведения реальных атак прямо сейчас. Технология перестала быть просто инструментом для разработчиков, создающих следующий стек приложений. Она превратилась в активное оружие в руках преступников, которые автоматизируют обман в масштабах, которых мы еще не видели.
Когда злоумышленники используют ИИ для проведения реальных атак
В отчете подчеркивается решающий сдвиг в том, как субъекты угроз организуют свои кампании. Вместо того чтобы полагаться на статический код и ручное управление (command-and-control), атакующие создают сложные фреймворки вредоносного ПО, такие как VoidLink. Подобные фреймворки указывают на модульный подход, при котором компоненты могут адаптироваться, обновляться и динамично взаимодействовать друг с другом. Когда эти системы управляются ИИ, кампании с использованием вредоносного ПО становятся гораздо менее предсказуемыми. Полезная нагрузка может менять свое поведение в зависимости от среды заражения, что значительно усложняет сигнатурное обнаружение и требует поведенческого мониторинга, который развернут далеко не во всех организациях.
Еще большую тревогу вызывает прямое использование коммерческих моделей ИИ. Злоумышленники не ограничиваются инструментами из даркнета, созданными на скрытых форумах. Они злоупотребляют теми же большими языковыми моделями и сервисами ИИ, которые легальный бизнес использует ежедневно. Путем обхода ограничений систем (jailbreaking), совершенствования промпт-инжиниринга или просто автоматизации огромного количества вызовов API, преступники обходят настройки безопасности и генерируют фишинговые письма, вредоносные скрипты и приманки для социальной инженерии со скоростью машины. Ирония заключается в том, что инфраструктура, созданная для помощи людям в написании кода или обобщении документов, теперь используется для взлома тех самых организаций, которые за нее заплатили.
Четыре угрозы на базе ИИ, которые необходимо понимать
Анализ Check Point указывает на четыре конкретных случая злоупотребления, которые команды безопасности должны детально распознавать. Каждый из них меняет математику того, чего может достичь атакующий без ограничений, связанных с человеческим фактором.
Автоматизированные фишинговые атаки существовали в примитивных формах десятилетиями, но ИИ устраняет оставшиеся препятствия. Злоумышленники могут собирать данные из социальных сетей и корпоративных сайтов, чтобы за считанные секунды создавать высокоперсонализированные письма, адаптируя тон, язык и контекст так, чтобы массовые рассылки казались сообщениями, написанными лично для каждого получателя. Когда каждое письмо для целевого фишинга (spear-phishing) выглядит так, будто оно составлено вручную, традиционные методы обнаружения, основанные на ошибках в грамматике или заголовках массовых рассылок, просто не срабатывают.
Наборы инструментов для голосового вишинга (vishing) с использованием ИИ-агентов представляют собой эскалацию, которая выходит за рамки записанных дипфейков. Эти наборы развертывают интерактивных голосовых агентов, способных вести диалог с жертвами в режиме реального времени. Представьте звонок, который звучит в точности как ваш отдел ИТ-поддержки, естественно отвечает на ваши вопросы и настойчиво запрашивает код многофакторной аутентификации. Голос синтетический, сценарий генерируется на лету, а жертва разговаривает с программным обеспечением, которое никогда не нервничает, не запинается и не отклоняется от своей цели.
Поддельные виртуальные личности расширяют этот обман от одиночных звонков до целых персонажей. Злоумышленники могут создавать синтетические профили с генерируемыми фотографиями, вымышленной историей работы и искусственными сетевыми связями. Эти личности не просто отправляют одно сообщение; они могут вступать в профессиональные сообщества, участвовать в отраслевых дискуссиях и выстраивать доверие в течение недель или месяцев, прежде чем доставить вредоносную нагрузку или запросить конфиденциальные учетные данные. Долгие махинации стали промышленными.
Атаки типа «непрямая инъекция промпта» (indirect prompt injection) нацелены на архитектуру самих ИИ-приложений, а не напрямую на конечного пользователя. Злоумышленник скрывает вредоносные инструкции внутри веб-страницы, документа или электронного письма, которые ИИ-агент обрабатывает позже. Когда корпоративный ассистент считывает эти «отравленные» данные, он выполняет инструкции, заложенные атакующим, что потенциально может привести к утечке конфиденциальной информации или совершению несанкционированных действий от имени пользователя. Приложение кажется неисправным, но на самом деле оно просто выполняет приказы, которые оно никогда не должно было видеть.
Внутренний фронт: несанкционированное использование ИИ и утечки данных
Эти внешние угрозы усугубляются скрытым кризисом, происходящим внутри офисов. Сегодня организации сталкиваются с серьезным риском из-за несанкционированного использования ИИ, часто называемого «теневым ИИ» (shadow AI), когда сотрудники вставляют проприетарный код, данные клиентов или стратегические планы в публичные чат-боты, чтобы ускорить выполнение повседневных задач. В результате...