GPT-5.6-SOL 完成了三个多步骤的数学、物理和编程任务，而 Kimi K3 在相同的提示词下耗尽了 token 预算并超时，这暴露了对于需要可靠、端到端答案的开发者而言的一个实际限制。

为什么这项测试很重要

两个模型在相同的 token 上限下接收到了完全相同的提示词，且均未启用互联网搜索工具。该基准测试侧重于多步推理——这是科学计算和代码生成中的常见需求。在生产环境中，如果一个模型在交付最终结果之前就耗尽了其 token 配额，可能会导致流水线停滞并增加调试工作。

正面对决的结果

GPT-5.6-SOL

  • 为三个挑战中的每一个都提供了完整的答案。
  • 提供了正确的数学和物理推导。
  • 生成了可以在本地解释器上编译并运行的 Python 脚本。
  • 在示例输出中遗漏了一个测试用例，但核心逻辑保持正确。

Kimi K3

  • 未能为数学和物理问题返回可见的解决方案。
  • 反复触及 token 限制，在得出结论之前就截断了推理过程。
  • 在编程任务中运行 245 秒后停止，未交付任何可运行的代码。

实践者的核心启示

  • 推理 token 与最终输出 – Kimi K3 将大部分 token 预算消耗在了内部思维链上。当预算固定时，模型往往在输出答案之前就耗尽了空间，这使其不适用于需要即时结果的工作流。
  • 逻辑与测试 – 即便是推理正确的模型也可能在辅助细节上出错。GPT-5.6-SOL 错误的测试用例提醒我们，需要手动检查生成的验证代码。
  • 延迟与停止原因至关重要 – 生产流水线不仅应该记录最终答案，还应该记录模型停止的原因（token 限制、超时等）以及它在推理中消耗了多少 token。

后续关注点

在这些变化出现之前，需要可靠端到端结果的开发者在处理涉及链式计算或代码合成的任务时，可能会更倾向于选择像 GPT-5.6-SOL 这样的模型。

对于构建自动化系统的团队，该基准测试强调了一个简单的规则：既要测试答案的正确性，也要测试模型在您设定的运行约束下得出该答案的能力。一个只会“思考”却永远无法完成任务的模型，无异于一个死胡同。