𝗛𝘂𝗺𝗮𝗻-𝗶𝗻-𝘁𝗵𝗲-𝗟𝗼𝗼𝗽 𝗗𝗲𝘀𝗶𝗴𝗻 𝗳𝗼𝗿 𝗘𝗺𝗮𝗶𝗹 𝗔𝗴𝗲𝗻𝘁𝘀
返金リクエストがサポートキューに入ってきました。あなたのAIエージェントは、91%の確信度でナレッジベースとの一致を見つけました。それでも、エージェントはその返信を送信すべきではありません。
ほとんどのチームは、人間の監視を単純な選択肢として捉えています。AIが単独でメールを送信するか、人間がすべてを確認するか、のどちらかです。しかし、どちらの方法も失敗に終わります。
完全な自動化は、ブランドを傷つける不適切な返信を招きます。一方で、人間による完全なレビューは、AIを「時間を節約できない高価な下書き生成器」に変えてしまいます。
スイッチではなく、ダイヤルを使用してください。メッセージの種類に基づいて自動化のレベルを設定するのです。
ゲート1：ナレッジの一致 このゲートでは、AIが回答に対してどの程度確信を持っているかを確認します。
• 確信度85%以上：記事から直接返信の下書きを作成する。 • 確信度60%〜85%：返信の下書きを作成するが、人間が素早く確認できるようにソースへのリンクを含める。 • 確信度60%未満：下書きを作成しない。手動レビュー用にフラグを立てる。
ゲート2：リスクレベル このゲートでは、ミスがもたらす結果を考慮します。確信度スコアは無視します。
• 低リスク（パスワードのリセット、FAQ）：人間の承認を得るための返信下書きを作成する。 • 中リスク（返金、請求内容の変更）：返信の下書きを作成するが、人間によるさらなる精査を必要とする。 • 高リスク（法的脅迫、詐欺）：下書きを作成しない。直ちに担当者にエスカレーションする。
これが、確信度91%の返金リクエストの返信が送信されない理由です。確信度は「AIが答えを知っているか」を教えてくれます。リスクは「AIが間違っていた場合に何が起こるか」を教えてくれます。これら2つの概念は切り離して考える必要があります。
ルールは単純です。送信前に必ず下書きを表示すること。自動送信は決して行わないこと。
人間の監視は、単なるコスト（税金）ではありません。それは、将来的にさらなる自動化を行うために必要なデータを収集する方法なのです。「下書き作成と承認」から「完全自動化」へと移行するには、ログを使用して精度を証明してください。感覚に頼ってはいけません。
今週中に、メッセージの種類をこれら3つのリスク層に分類してください。どこで過剰なレビューを行っているか、どこでリスクを取りすぎているかを判断しましょう。
Source: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc
Optional learning community: https://t.me/GyaanSetuAi