Ваше демо агента работает. Ваш агент — нет.

Большинство архитектур агентов пасуют перед реальными задачами.

Демонстрация выглядит убедительно при выполнении одной задачи и быстром ответе. Реальная работа включает страховые выплаты, цепочки продаж или сверку данных. Эти задачи требуют времени и множества шагов.

Проблема заключается в отсутствии состояния (statelessness). Большинство агентов каждый раз заново выстраивают контекст с нуля при взаимодействии. Они теряют цепочку рассуждений и достигнутый прогресс. В итоге вы получаете вежливый ИИ, который лишь делает вид, что понимает ситуацию.

Эксперты Google Cloud Адди Османи (Addy Osmani) и Шубхам Сабу (Shubham Saboo) поделились пятью паттернами для решения этой проблемы. Вот подробный разбор:

  • Checkpoint-and-Resume (Контрольная точка и возобновление) Относитесь к своему агенту как к серверу. Сохраняйте прогресс через каждые несколько единиц работы. Если агент споткнулся на 201-й задаче из 1000, он должен возобновить работу с 201-й. Не начинайте с нуля.

  • Delegated Approval (Делегированное одобрение) Перестаньте использовать Slack или электронную почту для подтверждения действий человеком. Эти инструменты разрывают контекст. Ставьте агента на паузу на месте. Сохраняйте состояние полностью, чтобы он мог мгновенно возобновить работу после ответа человека. Используйте структурированный входящий ящик для запросов и ошибок.

  • Memory-Layered Context (Контекст с многослойной памятью) Разделите долговременную память и рабочую память. Долговременная память хранит знания между сессиями. Рабочая память отвечает за текущую задачу. Вы должны предотвратить дрейф памяти (memory drift), когда агенты перенимают вредные привычки из пограничных случаев. Используйте управление идентификацией и уровень управления (governance layer), чтобы блокировать некорректные данные.

  • Ambient Processing (Фоновая обработка) Создавайте агентов, которые отслеживают потоки данных, такие как тикеты службы поддержки или изменения в базе данных. Не зашивайте правила в код агента. Выносите правила во внешний уровень управления. Таким образом, вы сможете обновлять правила в одном месте, и вся группа агентов будет им следовать.

  • Fleet Orchestration (Оркестрация флота) Используйте агента-координатора для управления специализированными агентами. У каждого специалиста есть свои инструменты и идентификатор. Это соответствует паттерну worker, используемому в распределенных системах. Вы можете обновить одного специалиста, не нарушая работу всей системы.

Самый большой риск — это дрейф памяти (memory drift).

Люди сосредотачиваются на промптах, но игнорируют то, как поведение агента меняется со временем. Если агент учится на плохих или странных взаимодействиях, он перестает действовать так, как заложено в вашем коде.

Вы должны относиться к агентам как к микросервисам. Им нужны идентификация, реестр и строгое соблюдение политик.

Спросите себя: «Какую самую длинную задачу должен выполнять мой агент без остановки?» Если ответ — часы или дни, вам необходимы эти паттерны.

Source: https://dev.to/archit_aggarwal_5310522d5/your-agent-demo-works-your-agent-doesnt-88l

Optional learning community: https://t.me/GyaanSetuAi