Три слова
Дослідник ввів три слова в найпотужнішу модель ШІ від Anthropic: «виправ цей код».
Протягом дев'яноста хвилин уряд Сполучених Штатів вимкнув модель.
Вразливість полягала у простому промпті. Це не була складна атака. Модель надала дані з кібербезпеки, які її системи безпеки мали б заблокувати.
Міністерство торгівлі використало повноваження з експортного контролю, щоб зупинити модель. Вони наказали Anthropic заборонити доступ до неї всім іноземним громадянам. Це стосувалося і деяких власних інженерів Anthropic. Anthropic відключила моделі від мережі, щоб не обмежувати доступ власному персоналу.
Офіційною причиною була національна безпека. Але ця історія має глибший підтекст.
Amazon виявила цей обхід захисту. Генеральний директор Amazon Енді Джассі повідомив про це урядовців.
Amazon є величезним інвестором Anthropic. Amazon також надає хмарну інфраструктуру, яку використовує Anthropic. Що найважливіше, власні продукти Amazon у сфері ШІ конкурують з Anthropic.
Інформація про знахідку потрапила від конкурента до уряду, оминувши компанію, яка створила модель.
Ця подія демонструє три критичні речі:
Репутаційний ризик: Anthropic побудувала свою репутацію на безпеці. Коли «безпечна» модель дає збій, політична ціна стає вищою. Бренд стає тягарем.
Нові структури влади: Amazon виступає одночасно інвестором, постачальником і конкурентом. Жодна інша галузь не має такої структури. Один телефонний дзвінок від конкурента може запустити юридичний механізм для закриття компанії.
Швидке втручання: Уряд довів, що може змусити ШІ-компанію вимкнути свій основний продукт менш ніж за дві години. Не було ні попередження, ні процесу апеляції.
Компанії, що займаються ШІ, вважали, що вони або регулюватимуть себе самі, або зіткнуться з державною політикою. Вони не готувалися до третього варіанту.
Вони не готувалися до регулювання шляхом раптового втручання, спровокованого корпоративною розвідкою.
Дослідники безпеки хотіли встановити запобіжні механізми для ШІ. Вони не усвідомлювали, хто насправді їх створюватиме.
Джерело: https://dev.to/thesythesis/the-three-words-3ijl
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi