我们如何在不造假的情况下使用 AI
AI 可能会告诉你某个工具提供免费层级，但实际上并没有。它可能会给你一个旧的价格，或者一个并不存在的功能。这并非笔误，模型只是在用看起来合理的词汇来填补空白。
如果你发布测评，这种错误是非常危险的。它会让你的读者订阅错误的方案。
我们使用 AI 来撰写文章。每当 AI 参与文章创作时，我们都会告知读者。我们的目标是防止 AI 编造事实。以下是我们的流程。
我们将两项工作分开。我们不会让 AI 同时完成这两项工作。
- 工作 1：撰写文本。
- 工作 2：寻找事实。
AI 可以完成第一项工作，但绝不允许完成第二项。
我们测评中的每一个事实都来自我们亲自核实过的来源。我们会检查价格页面、更新日志和文档。我们将这些事实连同 URL 和日期一起记录在笔记文档中。只有在那之后，AI 才会围绕这些事实来撰写文本。
我们的提示词（prompts）与众不同。大多数人会问：“告诉我这个工具的价格。” 而我们会说：“以下是今天核实的四个价格事实。仅使用这些事实写一段话。如果你想添加其他内容，请告诉我。”
这将 AI 的“造假冲动”转化为了供人工核对的清单。
我们遵循以下规则：
- 我们不信任没有来源的数据。任何价格、限制或日期，在通过一手来源证明其真实性之前，都被视为不可信。
- 我们不允许 AI 引用来源。如果 AI 说“根据一项研究”，除非我们有实际的链接，否则我们会将其删掉。
- 我们利用 AI 来构建结构。它能帮助我们整理笔记、修正语法或构建表格框架。这些任务不需要 AI 了解现实世界的知识。
- 我们进行两次独立的阅读。第一次阅读是为了质量。第二次阅读仅针对陈述内容。我们会问：“这句话具体是从哪里来的？”如果它不在我们的笔记中，我们就将其删除。
一篇测评今天可能是正确的，但三个月后可能就错了。工具会更改价格。我们保留带有日期的来源链接，以便我们可以定期重新核实事实。
系统很简单：
- AI 负责撰写。
- 人类负责事实。
- 每个陈述都有带日期的来源。
- 发布前进行两次检查。
不要要求 AI 去做它无法做到的事情。
来源：https://dev.to/pickuma/how-we-use-ai-without-letting-it-hallucinate-into-reviews-1of5