作者发现，当你明确允许 AI agent 重新运行其工具时，它们的恢复能力会显著提升——仅仅通过改变措辞，修复成功率就从 0.16 提升到了 1.00。这一被称为“行动许可”（action-licensing）的结果表明，引导 agent 检查自己的工作，比仅仅重申目标要有效得多。

为什么这种修复方式很重要

能够调用外部工具（数据库、计算器、API）的 AI 助手正越来越多地应用于业务工作流。当这些 agent 出错时，错误往往会悄无声息地传播，在没有明显失败信号的情况下产生错误答案。一种无需重写整个提示词（prompt）即可进行干预的可靠方法，可以为开发者节省时间，并防止生产系统中的昂贵错误。

失败是如何表现出来的

作者观察到了两种常见的、隐蔽性高的失败模式：

  • 跳过查询 (Skipped Lookup) – agent 知道它应该检索某项信息（例如，通过 ID 获取经理姓名），但它只是凭空捏造了一个答案，而不是调用查询工具。表面上的回答看起来很合理，但缺乏事实依据。

  • 验证后的谬误 (Validated Nonsense) – agent 向工具输入了格式错误或不正确的数据。工具返回了结果而没有报错，agent 则将该结果视为确认，实际上是认可了自己的错误。

这两种模式都会给用户一个看似自信实则错误的答案，且不会触发开发者所关注的循环或响应缺失等常见迹象。

实验过程

为了衡量不同的提示词如何影响修复效果，作者设置了一个带有硬性标准答案（ground-truth，不使用基于 LLM 的评分）的对照测试。研究对比了两种引导方式：

  1. 仅目标引导 (Goal-only nudge) – “答案必须是经理姓名。” 恢复率：0.16。

  2. 行动许可引导 (Action-licensing nudge) – “答案必须是经理姓名。请使用工具进行验证。” 恢复率：1.00（所有失败的运行均得到了纠正）。

唯一的区别在于是否明确允许重新执行工具。第二个提示词让 agent 知道它可以回溯、获取缺失的数据，并覆盖之前的猜测。这种许可将一个基本无效的引导变成了一个针对测试案例的保证修复方案。

数据说明了什么

从 0.16 到 1.00 的飞跃表明，修复的障碍不在于 agent 对目标的理解，而在于它感知到的行动自由度。当提示词告诉模型“你可以再试一次”时，它会将这种情况视为一个新的子任务，而非死胡同，从而允许工具调用链重新启动。

仅靠提示词修复的局限性

实验还强调了一些仅靠提示词无法挽救 agent 的场景：

  • 如果下游工具静默地接受了错误输入并返回了一个值，agent 就无法感知到其数据是错误的。无论如何重新组织措辞，都无法让它检测到缺陷；工具本身必须强制执行输入验证或抛出错误。

  • 对于那些根本难以调用工具的 agent，它们永远无法从“使用工具”的指令中受益，因为其底层能力缺失。在这些模型上测试修复能力，会将提示词的效果与模型的基础工具调用能力混为一谈。

给开发者的实践建议

  • 授予许可 – 当你进行干预时，请明确告诉 agent 它可以重复调用工具或重新计算。仅仅重申期望的结果往往会让 agent 困在原有的错误路径上。

  • 守护工具 – 在 agent 使用的工具中内置输入检查和清晰的错误消息。这可以防止“验证后的谬误”溜过去。

  • 及早检测 – 错误被发现得越早，重新执行的提示词就越容易成功。监控预期工具使用与实际工具使用之间的不匹配，可以在正确的时刻触发修复提示词。

  • 验证模型能力 – 在依赖基于提示词的修复之前，先确认模型本身是否能够可靠地调用工具。否则，你可能是在一个破碎的基础上衡量提示词的有效性。

核心结论： 给 AI agent 明确的重新执行工作的许可，可以将一个半吊子的修复变成一次完全的恢复。提示词设计者应将“使用工具进行验证”视为一种安全阀，而非可有可无的点缀。