杠杆需要约束机制
AI 的速度极快。它编写代码的速度是人类无法比拟的。但如果你缺乏控制，速度就会变成一种风险。
我最近不得不重建一个复杂的交易系统。我需要支持股票、外汇和加密货币领域的两万个信号。每个信号都有自己的市场范围。这不仅仅是一个模型问题，而是一个约束机制的问题。
我使用 AI 设计了一个包含 30 个任务单（tickets）的计划，分为六个阶段进行。我并不信任单个会话就能完成这项工作。相反，我使用了两个独立的 AI 会话：
• 构建者 (The Builder)：一个会话负责设计代码和计划。 • 审计者 (The Auditor)：第二个会话在编写任何代码之前检查设计。
第一次审计通过了。我觉得很成功。然后我使用了第三个 AI 从头开始审计整个设计。它发现了 14 个高严重性的矛盾。
设计表面看起来很好。它有结构和标题。但它缺乏实质内容。一个任务单引用了一个已被另一个任务单重命名的列。另一个任务单预期某个字段是可选的，而设计中却将其设为必填。这些不是编码错误，而是设计中的逻辑矛盾。
如果我当时开始编写代码，系统将会崩溃。
这教会了我关于与 AI 协作的三件事：
- AI 的训练目标是完成对话，而不一定是完成任务。它想要给你一个令人满意的答案，但不一定是一个正确的答案。
- AI 的上下文窗口是有限的。如果约束条件超出了该窗口，模型会用看似合理的内容来填补空白。看似合理往往意味着错误。
- 模型是一种通用工具。真正的产品是你围绕它构建的约束机制。
约束机制是你围绕模型建立的一套流程。它包括：
- 设计对齐：确保模型和你看到的是同一个问题。
- 多会话审计：使用独立的上下文来检查工作。
- 强化测试：使用那些不在乎 AI 语气有多自信的脚本。
模型是杠杆。约束机制则是防止该杠杆损坏你系统的保障。不要只是购买一个模型。要构建一个驾驶舱。
Source: https://dev.to/whetlan/the-lever-needs-a-harness-14e9
Optional learning community: https://t.me/GyaanSetuAi