エージェンティックAIのROIを蝕む静かなる殺し屋
Kubernetesポッドは正常（グリーン）です。APIレイテンシは低く、LLMプロバイダーのアップタイムは99.9%を示しています。
しかし、あなたの自動融資システムは、わずか3時間で1ヶ月分のAPI予算をすべて使い果たしてしまいました。2つのエージェントがループに陥ったのです。
これこそが「健全だがハルシネーションを起こしている」というパラドックスです。
従来のソフトウェアでは、システムは稼働しているか、停止しているかのどちらかです。しかし、エージェンティック・メッシュにおいては、システムは健全に見えても、完全に機能不全に陥っている可能性があります。エージェントに対して標準的なサイト信頼性エンジニアリング（SRE）を適用しているなら、あなたは間違ったシグナルを監視しています。それは、機能的には脳死状態にある患者の心拍数を測っているようなものです。
なぜ標準的なインフラストラクチャでは、エージェントの崩壊を防げないのでしょうか？
従来のSREは決定論的なシステム向けに構築されています。サービスが失敗すれば、エラーを返します。それはバイナリ（二値的）です。エージェントの失敗は異なります。エージェントはクラッシュしません。「ドリフト（逸脱）」するのです。タイムアウトもしません。後続のステップでサイレントな失敗を引き起こすようなパラメータを、ハルシネーションによって捏造するのです。
単一のボットからエンタープライズ・エージェント・ファブリックへと移行する際に、このギャップが顕著になります。あるチームがベンチマークで95%の精度を報告しても、本番環境ではシステムが失敗することがあります。ベンチマークは「モデルが質問に答えられるか」を測定しますが、「4つのエージェントが関与する12ステップのワークフローにおいて、システムが状態（ステート）を維持できるか」は測定しません。
あなたに必要なのは、エージェント信頼性エンジニアリング（ARE）です。
従来のSREはバイナリな状態を管理しますが、AREは確率分布を管理します。CPUやメモリだけを追跡していても、エージェントの失敗には気づけません。
マルチエージェントシステムにおけるエラーは、単に積み重なるのではなく、乗算されます。エージェントは他のエージェントの出力を「真実」として使用するため、ステップ1での小さなエラーが、ステップ5では致命的な災厄へと変わるのです。
一般的な失敗モードには以下が含まれます：
- エージェンティックな無限ループ
- ステート・ドリフト（状態の逸脱）
- プロンプト・インジェクションの連鎖
- ツール呼び出しのハルシネーション
危険な例：エージェントが更新ツールを呼び出します。存在しないパラメータを捏造します。APIはその余分なパラメータを無視して「200 OK」を返します。エージェントは成功したと思い込みますが、ビジネスロジックはサイレントに失敗しています。
AREは「意図・行動・結果（intent-action-outcome）」のループに焦点を当てます。単にエージェントがツールを呼び出したかどうかを監視するのではなく、その呼び出しが元の意図と一致しているか、そして結果が目標に到達したかを監視するのです。
エージェント信頼性エンジニア（ARE）の役割は以下の通りです：
- 意図分析（Intent Analysis）: エージェントが目標から逸脱したことを検知する。
- ガードレール調整（Guardrail Tuning）: ループを止めるために制約を調整する。
- 信頼性マッピング（Dependability Mapping）: エージェントがいつ人間に引き継ぐべきかを判断する。
- 監査アーキテクチャ（Audit Architecture）: 内部の推論プロセスと状態の変化を記録する。
「精度」の話はやめましょう。「システムの信頼性（System Dependability）」について話し始めるのです。
人間の介入コストを数値化することで、これをCFOに納得させることができます。人間がエージェントのミスを修正するたびに、それは信頼性の失敗です。その時間を専門家の給与で掛け合わせてください。信頼性の欠如によるコストが明確になります。
「エージェンティック・エラー予算（Agentic Error Budgets）」を活用しましょう。単純なメール要約機能であれば、エラー予算は高く設定できます。しかし、1,000万ドルを転送するシステムであれば、エラー予算はゼロです。
AIを単なるソフトウェアの機能として扱わないでください。システム的なリスクとして扱ってください。この時代に勝者となるのは、最もスマートなモデルを持つ者ではありません。最も信頼できるシステムを持つ者なのです。
Optional learning community: https://t.me/GyaanSetuAi