为什么你的 AI 置信度分数在撒谎

你训练了模型。指标看起来很棒。你部署了它。

六个月后，出问题了。你的准确率仪表板看起来没问题，但模型正在失效。

这是由于分布偏移（distribution shift）造成的。生产环境中的数据与你的训练数据不同。这种偏移破坏了校准（calibration）。

如果你使用混合专家（Mixture-of-Experts, MoE）架构，你会面临一个特定的风险。

校准意味着如果模型说它有 80% 的置信度，那么它在 80% 的情况下是正确的。在采用软路由（soft routing）的 MoE 模型中，这种校准会悄无声息地失效。

软路由通过融合多个专家来获得结果。即使每个专家都是经过校准的，当输入数据发生变化时，组合后的分数也会变得不可靠。会出现模型在训练期间未见过的不同路由模式。

硬路由（Hard routing）更加稳健。它只将输入发送给一个专家。置信度与该特定专家保持绑定。

如何修复：

  • 使用对抗性重加权 (Adversarial Reweighting)：在困难样本上训练模型。在训练期间使用指数倾斜 (exponential tilt) 来强调高损失样本。
  • 使用稳健过滤损失 (Robust Filtered Loss)：将训练重点放在专家融合表现不如单个专家的案例上。

当前应对措施：

  • 监控期望校准误差 (ECE)：跟踪你的置信度分数是否与实际准确率相匹配。
  • 绘制可靠性图 (Reliability Diagrams)：观察偏离对角线的曲线。
  • 跟踪输入漂移 (Input Drift)：使用 Kolmogorov-Smirnov 等检验来查看生产数据是否发生了变化。
  • 使用温度缩放 (Temperature Scaling)：这是部署后修复置信度分数的一种快速补丁，尽管它不是永久性的解决方案。

校准是一种系统属性。经过校准的局部并不一定能构成一个经过校准的整体。

你在生产环境中遇到过校准漂移吗？在评论区分享你的监控方案。

Source: https://dev.to/saeebarve/why-your-ai-models-confidence-score-is-probably-lying-and-what-to-do-about-it-1p1a

Optional learning community: https://t.me/GyaanSetuAi