AI 检测器只是在瞎猜

AI 检测器经常将人类的写作标记为机器生成。许多公司在招聘或评分时使用这些工具。他们将得分视为事实，但事实并非如此。

这些工具并不理解文本的含义。它们利用数学模型来推测机器输出的可能性。

它们主要关注三个方面：

  • 困惑度 (Perplexity)：这衡量了你用词的可预测性。AI 会选择概率最高的下一个词。而人类的写作往往出人意料。低困惑度看起来就像是 AI 生成的。
  • 突发性 (Burstiness)：这衡量了句式的多样性。人类会交替使用长短句，而 AI 通常使用稳定的节奏。缺乏变化看起来就像是 AI 生成的。
  • 分类器 (Classifiers)：这些模型通过研究人类和机器的样本进行学习。它们根据模式进行推测。如果模型遇到了新的写作风格，它就会失效。

水印技术是另一种方法。它将模式隐藏在词汇选择中。如果有人对文本进行了编辑或改写，这种方法就会失效。

这些工具存在严重的缺陷：

  • 优秀的写作看起来像 AI。清晰、简洁且结构化的散文具有较低的困惑度。你的文笔越好，在工具看来就越像机器人。
  • 对非母语使用者的偏见。斯坦福大学的一项研究发现，检测器更容易将非英语母语者的作品标记出来。在这些工具看来，简单的措辞就像是机器输出。
  • 容易被欺骗。只需更换几个同义词或进行轻微编辑，就能让检测器失效。这惩罚了诚实的作者，却让那些敷衍了事的 AI 使用者蒙混过关。

甚至 OpenAI 都在 2023 年停止使用自家的检测器，因为它并不准确。如果开发者都无法检测出自己的 AI，那就不要相信那些声称高准确率的第三方工具。

如何安全地使用这些评分：

  • 不要仅凭单一评分就做出判断。错误的指控会对学生或求职者造成真实的伤害。
  • 检查创作过程。查看编辑历史和草稿，而不是仅仅看概率评分。
  • 表现出不确定性。如果你使用这些工具，请展示一个置信度范围，而不是简单地贴上“人类”或“AI”的二元标签。

AI 检测器本质上是模式匹配器。它们可以作为参考提示，但绝不能作为证据。

Source: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Optional learning community: https://t.me/GyaanSetuAi