Дизайн системы «человек в контуре» (Human-in-the-loop) для email-агентов

В вашу очередь поддержки поступает запрос на возврат средств. Ваш ИИ-агент находит совпадение в базе знаний с уверенностью 91%. Агенту всё равно не следует отправлять этот ответ.

Большинство команд рассматривают контроль со стороны человека как простой выбор: либо ИИ отправляет письма самостоятельно, либо человек проверяет всё. Оба подхода ошибочны.

Полная автоматизация приводит к некорректным ответам, которые вредят вашему бренду. Полная проверка человеком превращает ИИ в дорогой генератор черновиков, который не экономит время.

Используйте «регулятор» вместо «переключателя». Устанавливайте уровень автоматизации в зависимости от типа сообщения.

Шлюз 1: Соответствие знаниям

Этот шлюз оценивает, насколько ИИ уверен в ответе.

• Уверенность 85% или выше: создайте черновик ответа напрямую на основе статьи. • Уверенность от 60% до 85%: создайте черновик ответа, но добавьте ссылку на источник, чтобы человек мог быстро его проверить. • Уверенность ниже 60%: не создавайте черновик. Пометьте запрос для ручной проверки.

Шлюз 2: Уровень риска

Этот шлюз оценивает последствия ошибки. Он игнорирует показатели уверенности.

• Низкий риск (сброс пароля, FAQ): создайте черновик для утверждения человеком. • Средний риск (возвраты, изменения в биллинге): создайте черновик, но требуйте более тщательной проверки человеком. • Высокий риск (юридические угрозы, мошенничество): не создавайте черновик. Немедленно передайте запрос человеку.

Вот почему ответ на запрос о возврате с уверенностью 91% не отправляется автоматически. Уверенность говорит о том, знает ли ИИ ответ. Риск говорит о том, что произойдет, если ИИ ошибется. Эти две концепции необходимо разделять.

Правило простое: всегда показывайте черновик перед отправкой. Никогда не используйте автоотправку.

Контроль со стороны человека — это не налог. Это способ сбора данных, необходимых для более глубокой автоматизации в будущем. Чтобы перейти от модели «черновик и утверждение» к полной автоматизации, используйте логи для подтверждения точности. Не полагайтесь на интуицию.

Распределите типы ваших сообщений по этим трем уровням риска на этой неделе. Определите, где вы тратите слишком много времени на проверку, а где допускаете излишний риск.

Source: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc

Optional learning community: https://t.me/GyaanSetuAi