你的 AI Agent 应该拥有多少自主权？
人们往往专注于让 AI Agent 变得更加自主。他们想要更强的推理能力和更完善的规划能力。他们想要更多的独立性。
这听起来像是进步。但更多的自主权并不总是答案。
软件工程师并不总是追求“更多”。你不会仅仅因为微服务很流行就使用它。你会选择一种在能力和复杂度之间取得平衡的架构。
同样的规则也适用于 AI。不要问一个 Agent 可以有多大的自主权，而要问它应该拥有多少自主权。
自主权是一个设计决策。每当你让 Agent 做出决策时，你就在增加它的责任。这带来了好处，但也带来了工程挑战。
高度的自主权有助于 Agent 适应新情况。它可以在没有持续指导的情况下朝着目标努力。然而，这也使得 Agent 更难预测、调试和信任。
自主权并非没有代价。
将自主权视为一个光谱。 • 在一端，系统仅生成响应。 • 在另一端，Agent 在极少人工帮助的情况下规划步骤并采取行动。
在这个光谱上每上升一步，能力和复杂度都会随之增加。你的目标不是达到顶端。你的目标是停在问题所需的水平上。
以 HR 助手为例。它回答有关政策的问题。赋予它修改员工记录的权力会增加风险，却不会增加价值。
现在考虑一个运维 Agent。它负责调查生产错误。它需要检查日志并查询系统。僵化的工作流会限制这个 Agent。在这种情况下，自主权提升了解决方案的质量。
区别在于问题本身，而非技术。
许多成功的系统都使用受限自主权 (bounded autonomy)。这意味着 Agent 在严格的限制内运行。
- 限制工具访问权限。
- 限制任务范围。
- 对高影响操作要求审批。
- 设置支出限制。
- 定义何时停止并询问人类。
约束使 Agent 变得可预测且可靠。
在增加自主权之前，请问自己这些问题：
- 工作流能否解决这个问题？
- 下一步是否依赖于未知信息？
- 如果 Agent 失败了会发生什么？
- 你能否将高风险操作与低风险推理分开？
- 受限自主权是否可行？
最优秀的工程师不会追求自主权的最大化。他们会精确地决定自主权从哪里开始，到哪里结束。优秀的架构在于恰好做到所必需的一切。
Source: https://dev.to/rohith_kn/how-much-autonomy-should-your-ai-agent-have-4h4n
Optional learning community: https://t.me/GyaanSetuAi