AIエージェントにおいて最も困難な部分は、アンハッピーパス（例外的な経路）である
ほとんどのAIエージェントのデモは、完璧なシナリオを示します。明快な質問に対して、整った回答が返ってくる。誰もが拍手を送ります。
真のエンジニアリングは、物事が壊れたときにこそ求められます。
APIがダウンしたらどうなるでしょうか？エージェントが無限ループに陥り、クレジットカードの残高を使い果たしてしまったら？エージェントにデータがないにもかかわらず、いかにも本物らしく見えるレポートを書いてしまったらどうなるでしょうか？
私はゲノミクスにおけるこれらの問題を解決するためにBioAgentを構築しました。これは、データを取得し、PubMedを検索し、臨床レポートを作成する自律型アナリストです。
構築にはLangGraphとClaudeを使用しました。失敗に備えた構築について、私が学んだことを以下に記します。
すべてのループに制限を設ける エージェントには厳格なリトライ制限が必要です。有料APIを呼び出すエージェントにとって、ループは財務的なリスクとなります。制限が機能するのは、各ステップでカウンターをインクリメント（加算）している場合のみです。その一行のコードを忘れるだけで、エージェントはシステムがクラッシュするまでループし続けます。
成功ではなく、失敗をテストする 開発中、「ハッピーパス（正常系）」は常に動作します。テスト中には、依存関係を意図的に失敗させる必要があります。APIがオフラインのときに、エージェントがループに陥るのではなく、適切に機能を縮小させる（graceful degradation）ことを検証するテストを書いてください。
自信満々なデタラメを防ぐ 最大の危険はクラッシュではありません。危険なのは、プロフェッショナルに見えるが偽のデータが含まれているレポートです。ハルシネーション（幻覚）を止めるためにプロンプトの指示だけに頼ってはいけません。エージェントが数値を捏造しないことを保証するために、テストを活用してください。
結果に根拠を持たせる 検索（Retrieval）は、テキストが書き手に届いて初めて意味を成します。抄録（abstract）の全文ではなくIDのみを渡すと、モデルが勝手に関連性を作り出してしまうことが分かりました。レポートが事実に即していることを確実にするために、実際のテキストをモデルに渡す必要があります。
プロンプトにおけるルールは「願い」に過ぎません。テストにおけるルールこそが「保証」なのです。
アンハッピーパスに備えて構築してください。それこそが、本当に重要な部分なのです。
Source: https://dev.to/gbadedata/the-hardest-part-of-an-autonomous-ai-agent-is-the-unhappy-path-3p2c
Optional learning community: https://t.me/GyaanSetuAi