272 експерти назвали ризики. Ніхто не назвав механізми.

Дослідження MIT опитало 272 світових експертів. Вони вивчали ризики ШІ. Результати очевидні.

18 із 24 сфер ризиків ШІ мають щонайменше 10% ймовірність катастрофічних наслідків протягом п'яти років.

У цьому контексті під катастрофою розуміється:

  • Понад один мільйон смертей.
  • Збитки понад 100 мільярдів доларів.
  • Крах демократичних норм.

Найбільшими ризиками є небезпечні можливості, конкурентна динаміка, зброя, централізація влади та дезінформація.

Дослідження виявляє розрив у відповідальності. Люди, які страждають від ризиків ШІ, — це громадськість. Люди, які можуть усунути ці ризики, — це розробники та регулятори. В інших галузях, таких як авіація чи атомна енергетика, ми використовуємо обов'язкові стандарти та юридичну відповідальність, щоб подолати цей розрив. В ШІ таких механізмів поки що не існує.

Існує ще глибший розрив. Він лежить між дослідниками, які передбачають збої, та інженерами, які будують системи.

Дослідники пишуть наукові праці. Інженери читають дописи в блогах та бенчмарки. Вони розмовляють різними мовами. Інженер бачить підвищення продуктивності. Дослідник бачить катастрофічний ризик. Між ними немає сполучної ланки.

Дослідження називає ризики, але не називає інженерні помилки, які їх спричиняють.

Наприклад:

  • Мультиагентні ризики: відсутність спільних протоколів призводить до конфліктів у системі.
  • Конкурентна динаміка: поспіх із випуском продукту змушує команди пропускати незалежну перевірку. Замість цього вони використовують самоперевірку, яка є швидшою, але небезпечною.
  • Уразливості безпеки: команди використовують LLM для сканування коду, але пропускають ризики конфігурації та інфраструктури.

Стабільній системі потрібні п'ять складових:

  • Інструмент (модель).
  • Двигун (оголошений намір).
  • Трансмісія (контракти та CI/CD).
  • Блок керування (незалежний оракул).
  • Корпус (суворі межі).

У більшості систем ШІ відсутні Блок керування та Корпус. Вони покладаються на добровільні запобіжні механізми. Ці механізми часто зникають у міру вдосконалення моделей.

Індустрія сприймає 10% ймовірність катастрофи як прийнятний ризик. Це не так. Добровільних дій розробників недостатньо. Конкуренція створює стимул пропускати етапи безпеки.

Нам потрібне механічне забезпечення, а не просто поради. Нам потрібно подолати розрив між дослідженням ризиків та інженерною практикою до того, як стаються передбачені збої.

Source: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb

Optional learning community: https://t.me/GyaanSetuAi