272人の専門家がリスクを指摘した。しかし、そのメカニズムを指摘した者は誰もいなかった。
MITの研究が、世界中の272人の専門家を対象に調査を行った。彼らはAIのリスクについて検討した。その結果は明白である。
24あるAIリスク領域のうち18において、5年以内に壊滅的な結果を招く可能性が少なくとも10%ある。
ここで言う「壊滅的」とは、以下を意味する：
- 100万人以上の死者。
- 1,000億ドルを超える損害。
- 民主主義的な規範の崩壊。
最大のリスクは、危険な能力、競争のダイナミクス、兵器、権力の集中、そして誤情報である。
この研究は「責任のギャップ」を明らかにしている。AIのリスクによって苦しむのは一般市民である。一方で、そのリスクを修正できるのは開発者や統治者である。航空や原子力といった他の産業では、強制的な標準規格や法的責任を用いることで、このギャップを埋めている。しかし、AIにおいては、こうしたメカニズムはまだ存在していない。
さらに深いギャップが存在する。それは、失敗を予測する研究者と、システムを構築するエンジニアの間に横たわっている。
研究者は論文を書く。エンジニアはブログ記事やベンチマークを読む。彼らは同じ言語を話していない。エンジニアはパフォーマンスの向上を見るが、研究者は壊滅的なリスクを見る。両者の間には架け橋がない。
この研究はリスクを特定しているが、その原因となるエンジニアリング上の失敗については特定していない。
例えば：
- マルチエージェントのリスク：共通プロトコルの欠如がシステムの衝突を招く。
- 競争のダイナミクス：製品を急いでリリースしようとするあまり、チームが独立した検証をスキップしてしまう。その代わりに、より高速だが安全ではない自己検証（self-verification）を用いてしまう。
- セキュリティの脆弱性：チームはコードのスキャンにLLMを使用しているが、設定やインフラのリスクを見逃している。
安定したシステムには5つの要素が必要である：
- ツール（モデル）
- エンジン（宣言された意図）
- トランスミッション（コントラクトとCI/CD）
- コントロールユニット（独立したオラクル）
- ケイシング（強制された境界）
ほとんどのAIシステムには、コントロールユニットとケイシングが欠けている。それらは自発的なガードレールに依存しているが、モデルが進化するにつれて、これらのガードレールはしばしば機能しなくなる。
業界は、10%の壊滅的リスクを「許容可能なリスク」として扱っている。しかし、そうではない。開発者による自発的な行動だけでは不十分だ。競争が、安全ステップをスキップするインセンティブを生み出してしまうからだ。
我々に必要なのは、単なる助言ではなく、機械的な強制力である。予測された失敗が起こる前に、リスク研究とエンジニアリングの実践との間のギャップを埋める必要がある。
Source: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb
Optional learning community: https://t.me/GyaanSetuAi