你的智能体 Demo 表现出色,但你的智能体却不行。

大多数智能体架构在实际工作中都会失败。

Demo 在处理单一任务且响应迅速时看起来很完美。但实际工作涉及保险理赔、销售序列或数据对账。这些任务需要耗费大量时间并包含许多步骤。

问题在于“无状态性”(statelessness)。大多数智能体在每次交互时都会从零开始重建上下文。它们会丢失推理链和已取得的进展。最终你得到的是一个表现得很有礼貌、却在假装了解情况的 AI。

Google Cloud 专家 Addy Osmani 和 Shubham Saboo 分享了解决这一问题的五种模式。以下是详细说明:

  • 检查点与恢复 (Checkpoint-and-Resume) 像对待服务器一样对待你的智能体。每完成几个工作单元就保存一次进度。如果智能体在 1,000 个任务中的第 201 个任务失败了,它应该从第 201 个任务恢复,而不是从零开始。

  • 委托审批 (Delegated Approval) 停止使用 Slack 或电子邮件来进行人工审批。这些工具会破坏上下文。让智能体在原地暂停,保持完整的状态完好无损,以便在人工响应时能够立即恢复。使用结构化的收件箱来处理请求和错误。

  • 分层记忆上下文 (Memory-Layered Context) 将长期记忆与工作记忆分离。长期记忆存储跨会话的知识,而工作记忆处理当前任务。你必须防止“记忆漂移”(memory drift),即智能体从边缘案例中习得不良习惯。使用身份管理和治理层来拦截错误数据。

  • 环境感知处理 (Ambient Processing) 构建能够监控数据流(如支持工单或数据库变更)的智能体。不要将规则硬编码到智能体中,而是将规则放在外部治理层。这样,你只需在一个地方更新规则,整个智能体集群都会遵循这些规则。

  • 集群编排 (Fleet Orchestration) 使用协调智能体(coordinator agent)来管理专家智能体(specialist agents)。每个专家智能体都有自己的工具和身份。这遵循了分布式系统中的工作者模式(worker pattern)。你可以更新某个专家智能体,而不会破坏整个系统。

最大的风险是记忆漂移。

人们往往关注提示词(prompts),却忽略了智能体的行为会随时间发生变化。如果智能体从错误或奇怪的交互中学习,它就不再表现得像你编写的代码那样。

你必须像对待微服务一样对待智能体。它们需要身份、注册表和严格的策略执行。

问问你自己:我的智能体必须连续执行的最长任务是什么?如果答案是数小时或数天,那么你就需要这些模式。

来源: https://dev.to/archit_aggarwal_5310522d5/your-agent-demo-works-your-agent-doesnt-88l 可选学习社区: https://t.me/GyaanSetuAi