红线原则
本周发布的一项实验表明，在任何可验证的任务中，客观的“红线”停止信号在终止自主智能体（autonomous agent）循环方面，表现优于 LLM 自身的判断。在一个中等难度的编程基准测试中，使用红线策略的智能体平均在 3.3 次迭代后收敛；而依赖自我判断的智能体在未完成任务的情况下，就达到了八步的硬性限制。
为什么这种对比至关重要
自主 AI 智能体现在可以在无需人工干预的情况下生成代码、编写报告并产生结构化数据。每一次迭代都会消耗计算资源和存储空间，而且当循环发生错误时，可能会损坏之前的计算结果。决定智能体何时停止是一个核心的可靠性问题。新数据表明，一种简单的客观测试——即检查输出是否符合预定义条件——其效果优于要求模型声明“我完成了”。
从随机停止到客观红线
该研究对比了两种策略：
- 条件 A – 客观红线：一旦通过具体的测试（例如：代码编译成功、JSON 符合 schema、文件已生成），循环立即停止。
- 条件 B – LLM 自我判断：当模型认为任务已完成时，回答“是”或“否”。
两种策略都在编写功能性代码等可验证任务上进行了测试。红线方法每次都能成功；而自我判断方法则持续失败，要么耗尽了预设的迭代预算，要么在追求“更好答案”的过程中覆盖了正确的输出。其失败模式是统一的：模型生成了正确的代码，但其置信度从未达到自我判断的阈值，因此它会不断循环，直到系统强制停止。结果是：浪费了计算周期，并且在某些运行中导致了文件损坏。
红线信号的三个层级
作者为停止信号提出了一种分类法：
- 格式红线 (Format Red Line) – 检查语法属性（正确的 JSON、有效的文件、规范的标记）。这能保证输出格式正确，但无法确认功能上的正确性。
- 需求红线 (Demand Red Line) – 检查业务逻辑或测试结果（例如：单元测试通过）。这是生产级代码的可靠信号。
- 语义红线 (Semantic Red Line) – 试图评估逻辑连贯性或质量（例如：一份具有说服力的报告）。目前尚不存在完全自动化且值得信赖的指标，因此这一层级仍属于研究前沿。
基于红线构建生产流水线
- 存在客观信号：将红线直接接入循环。当测试通过时，智能体会自动停止，从而无需人工审核。
- 存在部分信号：允许循环在触发红线时停止，但增加一个抽样步骤，由人工检查一部分输出。这在自动化与安全性之间取得了平衡。
- 无信号：强制执行硬性的迭代上限，将结果标记为“未经验证”，并将其转交给人工进行评估。
原则很明确：自主智能体的目标不是“做得更多”，而是精确地知道何时停止。
给开发者的启示
如果你能编写客观测试，就让该测试来决定循环何时结束。如果你不能，请将循环视为一个有界实验，并将结果交给人工。在生产环境中，依赖 LLM 自我声明任务完成仍然是一场冒险的赌博。