How Much Autonomy Should Your AI Agent Have?

人们谈论 Agentic AI 时，将其视为一场追求更高自主权的竞赛。

他们想要更多的工具、更强的推理能力、更高的独立性。

软件工程师的工作方式并非如此。我们不会仅仅因为微服务很流行就去构建它。我们构建的是在能力与复杂度之间取得平衡的系统。

AI agent 也需要同样的方法。

问题不在于一个 agent 可以有多大的自主权，而在于一个 agent 应该 拥有多少自主权。

自主权是一个设计决策。每当 agent 做出一次决策，你就在增加它的责任。

高自主权有助于 agent 适应新情况。它能帮助 agent 在无需持续指导的情况下达成目标。

但高自主权也会让 agent 更难预测和调试，也更难建立信任。

自主权是一个光谱。

  • 低自主权：仅生成文本的系统。
  • 中等自主权：建议行动并使用工具的系统。
  • 高自主权：在极少人工干预的情况下，自主决定如何达成目标的系统。

每一步都在增加能力和复杂度。你应该在问题所需的水平上适可而止。

以 HR 助手为例。它负责回答政策问题。如果赋予它修改员工记录的权限，只会增加风险，而不会带来太多价值。

现在考虑一个运维 agent。它负责调查生产事故。它必须检查日志并搜索文档。它需要根据发现的内容调整搜索策略。在这种情况下，固定的工作流会失效。更高的自主权能优化这一方案。

问题决定了自主权的水平。

成功的生产系统通常会有意地进行约束。这被称为“有界自主权”（bounded autonomy）。你通过设置限制来保持系统的可靠性。

限制示例：

  • 限制工具访问权限
  • 限制任务范围
  • 对重大操作要求人工审批
  • 设置支出限制
  • 定义何时需要升级给人工处理

这些约束使你的 agent 更具可预测性。

在授予更多自主权之前，请思考以下问题：

  • 固定工作流能否解决这个问题？
  • 下一步是否取决于未知信息？
  • 如果 agent 失败了会发生什么？
  • 你能否将高风险操作与低风险推理分开？

最优秀的工程师不会追求自主权的最大化。他们会精确地决定自主权从哪里开始，到哪里结束。

优秀的架构在于只做必要的事，不多做。

Source: https://dev.to/rohith_kn/how-much-autonomy-should-your-ai-agent-have-4h4n