Як було виявлено зловживання
Внутрішній моніторинг Anthropic зафіксував серію запитів «подвійного призначення» — запитів, які могли б підтримувати легітимні дослідження, але також давати змогу для шкідливого застосування. Один дослідник попросив Claude розробити мутації, які зробили б вірус Чикунгунья більш заразним. Форлювання запиту та повторне тестування на живих тваринах вказували на контекст військових досліджень, а не на зусилля у сфері охорони здоров'я. Щоб приховати справжній намір, користувач використовував оманливі фрази, що спонукало Anthropic посилити біологічні заходи захисту у своїх новіших, більш потужних моделях.
Паралельні розслідування виявили спроби створення схем і вихідного коду для вогнепальної зброї, систем наведення ракет, озброєних дронів та компонентів бомб. Шість запитів були відстежені до IP-адрес у Китаї, Росії та Ємені; діяльність у Ємені, ймовірно, пов'язана з рухом хуситів, що підтримується Іраном. В окремій гілці Anthropic ідентифікувала дезінформаційні кампанії на основі ШІ: державні суб'єкти Китаю та Ірану використовували Claude для моніторингу діаспоральних спільнот, тоді як російські державні ЗМІ використовували модель для створення «незалежних» статей, що поширювали неправдиві твердження про вибори в Молдові.
Чому цей звіт є важливим
Ці викриття з'являються в той час, коли моделі ШІ еволюціонують із чат-ботів у інструменти, здатні до наукового мислення. Для урядів ставки є подвійними. По-перше, легкий доступ до передового ШІ знижує поріг для державних або негосударственних суб'єктів для запуску незаконних програм розробки зброї. По-друге, ті самі моделі стають векторами інформаційної війни, дозволяючи створювати складну пропаганду, яку важко відстежити. Звіт посилює тиск на політиків, вимагаючи розглядати ШІ як технологію подвійного призначення, що підлягає експортному контролю, правилам біобезпеки та стратегіям кіберзахисту.
Реакція Anthropic та внутрішня напруженість
У відповідь на це Anthropic впровадила суворіші заходи захисту у своїх останніх сімействах моделей, прямо блокуючи запити, що стосуються маніпуляцій з патогенами або проєктування зброї.
Звіт з'явився на тлі внутрішніх тертя. Дослідник Джейкоб Коксон пішов у відставку на початку цього року, попередивши, що стрімке просування галузі до потужніших систем випереджає розробку систем безпеки. Його відхід підкреслює ширшу дискусію: приватні ШІ-компанії діють як фактична «цифрова поліція», вирішуючи, що вважати загрозою безпеці, без чіткої державної структури. Критики стверджують, що саморегулювання не може встигати за винахідливістю противників, тоді як прихильники вказують на швидкі зміни в політиці Anthropic як на доказ того, що галузь може швидко адаптуватися.
Що ці висновки означають для Індії
- Пильність у сфері біобезпеки – зростаючий біотехнологічний сектор Індії дедалі більше покладатиметься на ШІ для розробки ліків та аналізу патогенів. Впровадження моніторингу на основі ШІ в існуючі протоколи біобезпеки допоможе виявляти спроби зловживання внутрішніми інструментами для досліджень подвійного призначення.
- Захист демократичного дискурсу – використання Claude для моніторингу діаспоральних груп та поширення неправдивої інформації щодо виборів свідчить про необхідність посилення заходів кіберзахисту та кампаній з підвищення обізнаності громадськості, які зможуть виявляти згенеровану ШІ дезінформацію.
- Розбудова суверенного ШІ-потенціалу – залежність від моделей, що базуються в США, для критично важливих наукових робіт підкреслює стратегічний розрив. Розробка власних моделей, які впроваджують індійські стандарти безпеки та етичні норми, могла б зменшити вплив іноземного контролю та дозволити керувати потоком чутливих можливостей ШІ.
Контраргумент: на користь саморегулювання
Швидке впровадження нових фільтрів Anthropic показує, що приватні фірми можуть діяти швидше, ніж багато законодавчих органів. Компанія стверджує, що її політика «відповідального використання» у поєднанні з постійним тестуванням методом «червоних команд» (red-teaming) забезпечує прагматичну тимчасову міру, поки уряди обговорюють офіційне регулювання. Прихильники зазначають, що занадто жорсткі закони можуть пригнічувати інновації, особливо в галузях, де ШІ прискорює медичні прориви. Виклик полягає в тому, щоб знайти баланс, при якому галузеві заходи захисту будуть прозорими та піддаватимуться аудиту, не перешкоджаючи корисним сферам застосування, які обіцяє ШІ.
За чим стежити далі
- Регуляторні кроки – очікується посилення контролю з боку органів експортного контролю та регуляторів біобезпеки, що потенційно призведе до нових директив, які розглядатимуть передові генеративні моделі як технології, що підлягають контролю.
- Галузева співпраця – Anthropic може приєднатися до існуючих коаліцій з безпеки ШІ або розширити їх для обміну розвідкою загроз; цей крок може стандартизувати звітування про спроби використання технологій подвійного призначення в усьому секторі.
- Реакція держав – країни, згадані у звіті, ймовірно, заперечуватимуть свою причетність і можуть прискорити власні програми розробки ШІ, створюючи петлю зворотного зв'язку, яка може ще більше розмити межу між оборонним та наступальним використанням ШІ.
Звіт Anthropic показує, що та сама генеративна потужність, яка допомагає вченим моделювати білки, може також бути перетворена на зброю, і що безпека ШІ тепер безпосередньо належить до сфери геополітики. Найближчі місяці стануть перевіркою того, чи зможуть саморегулювання, державна політика або гібридний підхід запобігти перетворенню технології на інструмент конфлікту.