Matt Shumerはコンピュータの前に座り、AIエージェントに「ファイルを整理して」という単純な指示を出した。彼はこのルーチンを、これまで何百回と問題なく実行してきた。しかし今回、パス解決エラーによって、ありふれた整理作業が取り返しのつかない大惨事へと変わってしまった。数年分のコード、ドキュメント、そして写真が、わずか数秒で消え去ったのである。

これは仮説上のリスクではない。実在する開発者の、実在するマシンで実際に起こったことだ。問題のそのエージェントは、失敗するその瞬間まで、非の打ち所がない実績を持っていた。ファイルを書き込み、ターミナルコマンドを実行し、サブエージェントを生成できるAIエージェントは、現在、IDEやチャットインターフェース、自動化パイプラインに組み込まれている。それらはオペレーティングシステムへの直接的なアクセス権を託されており、その信頼こそがまさに危険の源なのだ。Shumerのコンピュータを破壊したのと同じ失敗モードは、ツールへのアクセス権を持つあらゆるエージェントに存在する。なぜそれらが失敗するのか、そしてどのように適切に制御すべきかを理解することは、これらのツールを使用するすべての人にとって、今や基本的な生存スキルとなっている。

パターンマッチングがファイルシステムに及ぼす影響

AIエージェントは「思考」はしない。彼らは「パターンマッチング」を行うのだ。あなたが「ファイルを整理して」と言ったとき、モデルは学習メモリの中から数千もの類似したやり取りを検索し、統計的にそのパターンに適合するコマンドを生成する。もし指示が「ビルドディレクトリ内のテンポラリファイルを削除する」というものであれば、モデルは rm -rf /tmp/build-cache/* のようなコマンドを生成するかもしれない。それは、モデルがこれまで見てきた他のあらゆるクリーンアップコマンドに似ているため、もっともらしく見える。

しかし、$HOME のような変数の解決に失敗した場合はどうなるだろうか。人間であれば、空の文字列や予期しないパスを見て、立ち止まり、疑問を抱く。しかしエージェントは、パターンが依然として一致していると判断し、Enterキーを押してしまう。Shumerのケースでは、特定のフォルダを整理するはずだったコマンドが、代わりにユーザーディレクトリのルートを対象にしてしまった。エージェントは、パスが奇妙に見える理由を考えて立ち止まることはなかった。対象を検証することもなかった。単に、実行することが「整理する」というパターンに一致したため、コマンドを実行したのである。

これこそが、大規模言語モデル（LLM）とシステム管理の間の核心的なミスマッチである。真の推論には、文脈の理解、仮定の検証、そしてエッジケースへの対処が含まれる。一方でパターンマッチングは、統計的に正解に似たテキストを生成することである。その「正解」が、再帰的削除フラグを含むターミナルコマンドである場合、統計的な類似性だけでは不十分なのだ。

サブエージェントの死角

現代の多くのエージェント・フレームワークは、メインのオーケストレーターがタスクをサブエージェントに委譲する仕組みを採用している。親エージェントには、「ホームディレクトリには決して触れない」「削除する前には必ず確認する」「監査ログを維持する」といった厳格な指示が出されているかもしれない。その上で、親は「古いログを整理して」といった限定的なプロンプトを持つワーカーを生成する。

しかし、そのサブエージェントはしばしば孤立して動作する。ツールは継承するが、親が持つ「安全文化」までは継承しないのだ。メインエージェントを慎重にさせていた制約は、コンテキストウィンドウの管理中に圧縮、要約、あるいは完全に破棄されてしまう。サブエージェントはタスクとツールキットを受け取るが、ガードレールを確立するために費やされた何時間もの入念なプロンプティングまでは受け取らないのである。

その結果、一種の「組織的な健忘症」が発生する。親エージェントのシステムプロンプトに存在する安全ルールは、サブエージェントにとっては存在しないも同然となる。これは特に危険である。なぜなら、サブエージェントには通常、オペレーターが注意深く監視することをやめてしまうような、反復的で重要度の低いタスクが割り当てられることが多いからだ。本番環境のデータベースを削除してしまうまで、誰もログのクリーンアップ作業を監視することはない。

即断即決の危険性

AIエージェントのデザインには、最大限の自律性を目指す傾向がある。このビジョンにおける理想的なエージェントとは、些細な質問でユーザーを煩わせることがないエージェントだ。それは即断即決で行動し、ツール呼び出しを連鎖させ、立ち止まって息をつくこともなくマルチステップのワークフローを完了させる。

しかし、その「即断即決」こそが、これらのシステムを危険なものにしている。 「即断即決で行動せよ」とプログラムされたモデルは、自分の作業を再確認しない。コマンドが破壊的に見えても、立ち止まることはない。ためらいを機能ではなく、バグとして扱うのだ。モデルが正しいとき、これは魔法のように感じられる。しかし、モデルが間違っているとき、それは容赦のない災厄となる。システム内には、誤ったコマンドを遅らせるための自然な摩擦（抑制力）が存在しないのである。

Shumerのエージェントは何百回も正しく動作していた。その実績が、偽りの安心感を生んでいた。しかし、もし101回目の試行がパターンが崩れる統計的な外れ値であったなら、100回にわたる信頼性など何の意味も持たない。システムの安全性において、過去の実績が意味を持つのは、故障モードが緩やかで可視化されている場合に限られる。AIエージェントの失敗は、突発的で、静かで、そして致命的だ。「何百回も動作した」というのは、安全性の記録ではない。それは、いずれ底をつく「運」の説明に過ぎない。

真の保護を構築する方法

モデルが安全レイヤーではない場合