不要再问 LLM 它们的来源是否真实了

你向 AI 请求一份来源列表。它给了你标题、作者和 DOI。一切看起来都很完美。然后你发现其中一半并不存在。

DOI 指向空无一物。那篇论文根本从未写过。

你的直觉是问模型：“你确定这是真实的吗？” AI 会说“是的”。它总是说“是的”。你这就像是在问一个伪造者他的作品是否真实。

LLM 并不使用论文数据库。它只是在预测序列中的下一个词。对于 AI 来说，引用仅仅是一种模式。它知道一个引用需要姓名、年份和十位数字。它模仿了真实来源的形式，却并不包含事实真相。

不要再让模型去验证它自己的工作了。它做不到，原因有二：

  • 它无法访问实时注册表。它只能生成看似合理的文本。
  • 它存在一种倾向，即倾向于确认它已经说过的话。

你必须使用外部工具来验证信息。以下是针对技术写作的三步过滤法：

  1. 存在性。通过 Crossref 等 API 检查 DOI。如果 API 返回 404 错误，则该来源是伪造的。虚构的 DOI 永远无法解析。

  2. 可信度。一个来源可能确实存在，但仍然毫无价值。检查期刊或会议是否获得认可。有效的 DOI 并不能保证质量。

  3. 忠实度。论文是否真的支持你的论点？你必须阅读内容。不要假设摘要涵盖了所有细节。将真实的引用用于错误的论点，这仍然是在撒谎。

这不仅仅适用于学术论文。如果 AI 引用了 JIRA 工单、CVE 编号或代码提交（code commit），你必须对照实际系统进行验证。

AI 架构中最大的错误就是信任模型进行自我验证。验证必须是一个独立的步骤。在用户看到结果之前，它必须连接到外部的事实来源（source of truth）。

不要试图让模型变得更诚实。它们是文本生成器，并且总会产生幻觉（hallucinate）。相反，不要再轻信它们的话。

一个无法通过注册表验证的引用并不是引用。它只是一个穿着实验服的猜测。

Source: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa

Optional learning community: https://t.me/GyaanSetuAi