Anthropic та OpenAI відкрили нові напрями досліджень, які дозволяють перевіреним командам з безпеки працювати з моделями ШІ, позбавленими більшості фільтрів безпеки. «Cyber Verification Program» від Anthropic та «Trusted Access for Cyber» від OpenAI надають схваленим дослідникам прямий доступ до потужних мовних моделей, здатних генерувати необмежений код, промпти та інструкції. Цей крок є важливим, оскільки він створює чіткий розкол у ланцюжку постачання ШІ: невелика група інсайдерів може досліджувати найслабші версії, тоді як решта світу залишається під захистом суворіших обмежень.

Чому з'явилися ці програми

Обидві компанії заявляють, що ці ініціативи мають на меті прискорити виявлення вразливостей, які можуть бути використані проти їхніх сервісів. Надаючи контрольованій групі експертів «пісочницю» з меншою кількістю обмежень, вони сподіваються виявити вектори атак до того, як їх знайдуть зловмисники. Такий підхід відображає традиційну безпеку програмного забезпечення, де розробники випускають збірки для «bug-bounty» для обмеженого кола аудиторії.

Новий розрахунок ризиків для захисників

З іншого боку, модель двоуровневого доступу змушує кожну організацію проводити межу між «дослідником» та «хакером». Ця межа тепер стає потенційною поверхнею атаки. Якщо зловмисник викраде облікові дані, скористається доступом інсайдера або обмане процес перевірки, він зможе обійти обмеження, що захищають більшість користувачів. Опинившись усередині, необмежену модель можна змусити:

  • Генерувати фішингові скрипти, що уникають виявлення
  • Створювати експлойти нульового дня з детальними фрагментами коду
  • Створювати переконливі промпти для соціальної інженерії, адаптовані під конкретні цілі

Команди з безпеки, які будували захист на припущенні, що результати роботи ШІ завжди фільтруються, мають переглянути цю передумову.

Як захисники можуть реагувати

  • Розглядайте ці програми як вектор загрози. Припускайте, що зловмисники намагатимуться проникнути в процес перевірки, і відстежуйте аномальні патерни входу в системи ШІ.
  • Розширюйте виявлення за межі хмари. Шукайте згенерований ШІ код або текст у вихідному трафіку, особливо з привілейованих облікових записів.
  • Впроваджуйте жорсткі політики контролю. Застосовуйте суворі правила «мінімальних привілеїв» для будь-якого внутрішнього використання зовнішніх сервісів ШІ та сегментуйте середовища, до яких може отримати доступ зловмисник із скомпрометованими обліковими даними.
  • Співпрацюйте з постачальниками. Підтримуйте зв'язок із каналами зв'язку з фахівцями з безпеки Anthropic та OpenAI, щоб отримувати сповіщення про зміни в критеріях доступу або виявлені зловмисні дії.

Контраргумент

Прихильники стверджують, що без безпечного каналу для глибокого аналізу вразливості залишатимуться прихованими, доки їх не використають у реальних умовах. Таким чином, програми можуть зменшити загальну поверхню атаки, виявляючи недоліки на ранніх етапах. Компромісом є те, що «менш захищений» рівень створює можливості для випадкового зловживання.

На що звернути увагу

  • Оновлення процесу перевірки від будь-якої з компаній
  • Звіти про зловживання, спричинені цими програмами
  • Зміни в галузі щодо того, як каталогізуються поверхні атак, пов'язані з ШІ

Підсумок: нові напрями досліджень надають дослідникам безпеки потужні інструменти, але вони також передають ці ж інструменти будь-кому, хто зможе обійти систему захисту. Команди захисників повинні ставитися до цих програм і як до джерела інформації, і як до нового шляху для атак.