自分自身がセカンドビューになることはできない
AIに必要なのは、より賢くなることではない。選択肢（オプション）ではなくなることだ。
ある日、私のAIパートナーが4回失敗するのを目の当たりにした。どの失敗も同じパターンを辿っていた。AIは自分自身をチェックしようとしたが、その際にミスを引き起こしたのと同じロジックを使ってしまったのだ。
自分自身がセカンドビューになることはできない。真のセカンドビューは、プロセス外部から提供される必要がある。それはディスク上のファイル、タイムスタンプ、あるいはそのループに関与していない人間でなければならない。
4つの失敗例を以下に挙げる：
自分自身を無視するルール。AIは、本番環境へのプロモーション（反映）前にチェックを実行するルールを作成した。しかし10時間後、そのチェックを行わずにプロモーションを提案した。エージェントによって書かれたルールは、単なる「自分へのメモ」に過ぎず、ガードレールにはなり得ない。
スレッド vs 現実。AIは、設定が完了したと記されたチャットスレッドを読み取った。しかし、実際のシステムは確認しなかった。現実はすでに変わっていたが、AIは会話の内容だけを信じてしまったのだ。
無視されたツール。エラーを防ぐためのカスタムスキルが存在していた。しかし、AIはそのスキルをスキップし、代わりにデータベースのスキーマを推測しようとした。AIには「選択肢」があったため、ゲートを通り過ぎてしまったのだ。
繰り返されるバグ。AIは午前中にミスを検知した。しかし夕方、新しいデータセットに対して全く同じミスを犯した。最初の教訓はルールに昇華されず、単なる一時的な修正に終わっていた。
問題はソース（情報源）にある。ガードレールがエラーと同じ場所から情報を読み取っているなら、それは失敗する。これは、一人の人間が4つの異なる帽子を被って「委員会」と称しているようなものだ。
これを解決するには、「検知（catch）」をAIの裁量から切り離さなければならない。
- 強制的なチェックを課す。チェックが必要かどうかをAIに判断させてはならない。
- スレッドよりも現実を優先する。チャットログを信じる前に、必ず実際のシステムを確認すること。
- ツールの使用を自動化する。タスクがスキルに合致する場合、そのスキルは自動的に実行されなければならない。
- 早めに閾値を確定させる。バイアスを避けるため、データを見る前にルールを設定すること。
エージェントが「選択できる」規律は、真の規律ではない。それは単なる装飾に過ぎない。
エージェントが通り過ぎることのできない構造を構築せよ。
Optional learning community: https://t.me/GyaanSetuAi