3つの言葉
ある研究者が、Anthropicの最も強力なAIモデルに3つの言葉を入力した。「このコードを修正して（fix this code）」。
90分もしないうちに、アメリカ政府はそのモデルを停止させた。
その脆弱性は単純なプロンプトだった。複雑な攻撃ではない。モデルは、本来セーフティシステムによってブロックされるべきサイバーセキュリティのデータを提供してしまったのだ。
商務省は輸出管理権限を行使して、モデルの稼働を停止させた。彼らはAnthropicに対し、すべての外国籍の人間によるアクセスを禁止するよう命じた。これにはAnthropic自身のエンジニアの一部も含まれていた。Anthropicは自社のスタッフを排除することを避けるため、モデルをオフラインにした。
公式な理由は国家安全保障だった。しかし、この物語にはより深い側面がある。
Amazonがそのバイパス（回避策）を発見した。AmazonのCEOであるAndy Jassyが政府当局者にそのことを伝えたのだ。
AmazonはAnthropicの巨大な投資家である。また、AmazonはAnthropicが使用するクラウド・インフラストラクチャも提供している。そして最も重要なことに、Amazon自身のAI製品はAnthropicの競合である。
発見された情報は、競合他社から政府へと渡った。モデルを構築した企業を飛び越えて伝わったのである。
この出来事は、3つの極めて重要なことを示している：
ブランドリスク：Anthropicは安全性に基づいて評判を築いてきた。「安全な」モデルが失敗したとき、その政治的コストはより高くなる。ブランドが負債（リスク）となるのだ。
新たな権力構造：Amazonは投資家、プロバイダー、そして競合他社の役割を同時に果たしている。このような体制を持つ業界は他にない。競合他社からのたった一本の電話が、企業を閉鎖させるための法的メカニズムを始動させることがあるのだ。
急速な介入：政府は、AI企業に対して2時間足らずで主力製品を停止させる強制力があることを証明した。事前の通知も、不服申し立てのプロセスも存在しなかった。
AI企業は、自らを規制するか、あるいは政府の政策に直面するかのどちらかになると考えていた。彼らは「第3の選択肢」を想定していなかった。
企業のインテリジェンスによって引き起こされる、突然の介入を通じた規制など、想定すらしていなかったのだ。
安全性研究者たちはAIのガードレールを求めていた。しかし、実際にそれを構築するのが誰であるかという点を見落としていた。
Source: https://dev.to/thesythesis/the-three-words-3ijl
Optional learning community: https://t.me/GyaanSetuAi