Создание цикла продакшн-агента
Демо-агента создать легко. Продакшн-агента — сложно.
В демо-версии цикл прост: наблюдение, решение, действие, проверка, повторение. Модель видит результат и переходит к следующему шагу.
В продакшене тот же самый цикл требует строгих правил. Продакшн-агент — это не просто модель и набор инструментов. Это цикл, обернутый в структуру, которая удерживает его в рамках правил.
Самая большая ловушка — это доверие к ответам инструментов.
Представьте, что агенту нужно отменить заказ и оформить возврат средств.
- Агент вызывает
cancel_order. - Инструмент возвращает
200 OK. - Агент немедленно вызывает
issue_refund.
В демо это работает. В продакшене это катастрофа.
200 OK часто означает, что запрос принят, а не то, что задача выполнена. Отмена может все еще находиться в очереди на обработку. Если агент оформит возврат до подтверждения отмены, вы переведете деньги, основываясь на предположении.
Вы должны следовать одному правилу: ответ инструмента описывает запрос, а не обязательно состояние мира.
Чтобы построить безопасный продакшн-цикл, вам понадобятся следующие компоненты:
• Контракты инструментов: каждый инструмент должен определять свои входные и выходные данные, режимы сбоя и ключ идемпотентности. • Шлюзы верификации: не ограничивайтесь проверкой кода успеха. Перепроверьте фактическое состояние мира, чтобы подтвердить, что изменения действительно произошли. • Рабочее состояние: храните факты отдельно от истории чата. Это предотвращает галлюцинации агента на основе текста диалога. • Шлюзы одобрения: привлекайте людей для подтверждения намерений при выполнении критически важных действий. • Правила остановки: установите лимиты на количество шагов, стоимость, время и периоды молчания, чтобы предотвратить бесконтрольные циклы.
Структура цикла не меняется. Становится строже реализация.
Для действий с серьезными последствиями ваш шаг «проверки» должен состоять из двух частей:
- Верификация: действительно ли мир изменился так, как ожидалось?
- Фиксация: теперь, когда это подтверждено, безопасно ли переходить к следующему шагу?
Самый безопасный агент — это агент с самыми четкими границами. Надежность достигается за счет установления четких границ вокруг модели, а не за счет предоставления ей большей свободы.
Источник: https://dev.to/gursharansingh/ai-agents-in-practice-part-6-building-the-production-agent-loop-2lfi
Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi