𝗦𝘁𝗼𝗽 𝗧𝗲𝗹𝗹𝗶𝗻𝗴 𝗬𝗼𝘂𝗿 𝗔𝗜 𝘁𝗼 𝗯𝗲 𝗰𝗮𝗿𝗲𝗳𝘂𝗹
AIに「注意して」と言うのはやめましょう。AIには昨日の記憶はありません。
かつて私は、AIエージェントのミスを防ぐために、膨大なルールファイルを構築したことがありました。失敗するたびに指示を追加し続け、ファイルは56,000文字にまで膨れ上がりました。すると、そのエージェントは機能しなくなってしまったのです。
注意力が分散しすぎていたのです。ルールを1,200文字まで削ぎ落としたところ、ルールが少ない方がエージェントはうまく機能しました。
私は手痛い教訓を得ました。ルールを追加することは、信頼できるAIを構築する方法ではないということです。
多くの人は、AIを人間の同僚のように扱います。今日修正すれば、明日にはAIがそれを活かしてくれると考えてしまうのです。しかし、AIはステートレス（状態を持たない）です。すべてのセッションはゼロから始まります。以前の説教を覚えていることはありません。
ルールを知っていることと、ルールに従うことの間には、大きな違いがあります。
プロンプトにルールを書き込むのは、あくまで「提案」に過ぎません。モデルはそれを見てはいますが、タスクを完了させるために無視してしまう可能性があります。もしエージェントを停止させる必要があるなら、より良い文章を書こうとするのではなく、コードの中に物理的なゲート（門）を構築してください。チェックを通過しない限り、先に進むことを拒否するスクリプトを使用するのです。
AIをいかに正確にするか、と問うのはやめましょう。ミスをいかに低コストにするか、と問い始めるのです。
データは、正確さだけでは不十分であることを示しています： • 生成AIが期待を上回ると回答した企業はわずか4%（JUAS）。 • エンタープライズAIのパイロット運用が本番環境に到達するのはわずか5%（MIT）。 • ほとんどのAIユーザーは、実際には残業が減るどころか増えている（Persol）。
勝者は、より正確なモデルを持っているわけではありません。より優れた構造を持っているのです。
ルールを増やす代わりに、次の3つのパターンを活用してください：
- 「不一致」をシグナルとして利用する。同じタスクを3つの異なるモデルで実行します。結果が食い違った場合は人間に送り、一致した場合はそのままリリースします。
- 「エスカレーション基準」を記述する。エージェントに明確な離脱ポイントを与えます。2分以内に問題を解決できない場合は、停止して人間に尋ねるように指示します。
- エージェントに「固定の席」を与える。助けてほしいといった曖昧な任務を与えてはいけません。議事録の作成のように、一つの具体的な仕事を与えてください。業務範囲を狭めることで、ミスが及ぼす影響を最小限に抑えられます。
真のガードレールは、スピードを落とすためのものではありません。エージェントがどこで止まるべきかを正確に把握することで、より速く進むためのものなのです。
AIに説教するのはやめましょう。AIが間違っていたとしても機能する構造を構築するのです。
Optional learning community: https://t.me/GyaanSetuAi