Протягом останніх кількох років індустрія безпеки говорила про штучний інтелект як про засіб посилення можливостей захисників. Історія виглядала так: моделі машинного навчання аналізуватимуть логи, виявлятимуть аномалії, які пропустили люди-аналітики, і виконуватимуть нудну роботу з виявлення загроз. Ця історія правдива лише наполовину. Інша половина, згідно з останніми висновками Check Point Research, полягає в тому, що зловмисники вже давно вийшли за межі експериментів. Вони використовують ШІ для проведення реальних атак прямо зараз. Технологія більше не є просто інструментом для розробників, які створюють наступний технологічний стек додатків. Вона перетворилася на активну зброю в руках злочинців, які автоматизують обман у масштабах, яких ми раніше не бачили.
Коли зловмисники використовують ШІ для проведення реальних операцій
Звіт підкреслює вирішальний зсув у тому, як суб'єкти загроз організовують свої кампанії. Замість того, щоб покладатися на статичний код і ручне управління командно-контрольними структурами, зловмисники створюють складні фреймворки шкідливого програмного забезпечення, такі як VoidLink. Фреймворки такого типу вказують на модульний підхід, де компоненти можуть адаптуватися, оновлюватися та динамічно взаємодіяти між собою. Коли ці системи керуються ШІ, кампанії з використанням шкідливого ПЗ стають набагато менш передбачуваними. Корисне навантаження може змінювати свою поведінку залежно від середовища, в яке воно інфікує, що значно ускладнює сигнатурне виявлення та вимагає поведінкового моніторингу, який лише небагато організацій впровадили повноцінно.
Ще більше тривожить пряма експлуатація комерційних моделей ШІ. Зловмисники не обмежуються підпільними інструментами, створеними на прихованих форумах. Вони зловживають тими самими великими мовними моделями та сервісами ШІ, які легітимний бізнес використовує щодня. Шляхом джейлбрейку систем, вдосконалення промпт-інжинірингу або просто автоматизації великої кількості API-викликів, злочинці обходять налаштування безпеки та генерують фішингові електронні листи, шкідливі скрипти та приманки для соціальної інженерії зі швидкістю машини. Іронія дуже гостра: інфраструктура, створена для допомоги людям у написанні коду або узагальненні документів, тепер використовується для зламу саме тих організацій, які за неї заплатили.
Чотири загрози на основі ШІ, які варто розуміти
Аналіз Check Point вказує на чотири конкретні випадки зловживань, які команди безпеки мають детально розпізнавати. Кожен із них змінює математику того, чого може досягти зловмисник без обмежень, пов'язаних із людськими ресурсами.
Автоматизовані фішингові атаки існували у примітивних формах десятиліттями, але ШІ усуває залишки перешкод. Зловмисники можуть збирати дані із соціальних мереж та корпоративних вебсайтів, щоб за лічені секунди створювати високоперсоналізовані електронні листи, коригуючи тон, мову та контекст так, щоб масові кампанії сприймалися як повідомлення «один на один». Коли кожен лист цілеспрямованого фішингу виглядає так, ніби він написаний вручну, традиційне виявлення, засноване на помилках у граматиці або заголовках масових розсилок, просто не працює.
Комплекти голосових агентів для вішингу представляють ескалацію, яка виходить за межі записаних діпфейків. Ці комплекти розгортають інтерактивних голосових агентів, здатних вести розмови з жертвами в режимі реального часу. Уявіть дзвінок, який звучить точно так само, як ваша служба ІТ-підтримки, природно відповідає на ваші запитання та терміново просить код багатофакторної автентифікації. Голос є синтетичним, сценарій генерується на льоту, а жертва розмовляє з програмним забезпеченням, яке ніколи не нервує, не затинається і ніколи не відхиляється від своєї мети.
Підроблені віртуальні особистості поширюють цей обман від поодиноких дзвінків до цілих персон. Суб'єкти загроз можуть створювати синтетичні профілі з генерованими фотографіями, сфабрикованим досвідом роботи та штучними мережевими зв'язками. Ці особистості не просто надсилають одне повідомлення; вони можуть приєднуватися до професійних мереж, брати участь у галузевих дискусіях і будувати довіру протягом тижнів або місяців, перш ніж доставити шкідливе навантаження або запросити конфіденційні облікові дані. Тривалі шахрайські схеми стали промисловими.
Атаки шляхом непрямої ін'єкції промптів націлені на архітектуру самих ШІ-додатків, а не безпосередньо на кінцевого користувача. Зловмисник ховає шкідливі інструкції всередині вебсторінки, документа або електронного листа, які згодом обробляє ШІ-агент. Коли корпоративний інструмент-помічник зчитує ці отруєні дані, він виконує інструкції, які встановив зловмисник, що потенційно призводить до витоку конфіденційної інформації або виконання несанкціонованих дій від імені користувача. Додаток здається несправним, але він просто виконує накази, яких ніколи не мав бачити.
Внутрішній фронт: несанкціонований ШІ та витоки даних
Ці зовнішні загрози посилюються тихішою кризою, що розгортається всередині офісних стін. Зараз організації стикаються з серйозним ризиком через несанкціоноване використання ШІ, яке часто називають «тіньовим ШІ» (shadow AI), коли співробітники вставляють пропрієтарний код, дані клієнтів або стратегічні плани у публічні чат-боти, щоб прискорити виконання щоденних завдань. Результатом є