Чому ваші показники впевненості ШІ вам брешуть

Ви навчили свою модель. Метрики виглядали чудово. Ви її розгорнули.

Через шість місяців щось іде не так. Ваш дашборд точності виглядає нормально, але модель дає збої.

Це стається через зсув розподілу (distribution shift). Дані в продакшені відрізняються від ваших навчальних даних. Цей зсув порушує калібрування.

Якщо ви використовуєте архітектуру Mixture-of-Experts (MoE), ви стикаєтеся зі специфічним ризиком.

Калібрування означає, що якщо модель стверджує, що вона впевнена на 80%, вона має бути правою у 80% випадків. У моделях MoE із м'якою маршрутизацією (soft routing) це порушується непомітно.

М'яка маршрутизація змішує результати кількох експертів для отримання відповіді. Навіть якщо кожен експерт відкалібрований, комбінований показник стає ненадійним при зміні вхідних даних. З'являються інші патерни маршрутизації, яких модель не бачила під час навчання.

Жорстка маршрутизація (hard routing) є більш стійкою. Вона спрямовує вхідні дані лише до одного експерта. Впевненість залишається прив'язаною до цього конкретного експерта.

Як це виправити:

  • Використовуйте Adversarial Reweighting: навчайте модель на складних прикладах. Використовуйте експоненціальне нахилення (exponential tilt), щоб акцентувати увагу на прикладах із високими втратами під час навчання.
  • Використовуйте Robust Filtered Loss: зосередьте навчання на випадках, де змішаний результат експертів працює гірше, ніж результат одного експерта.

Що робити прямо зараз:

  • Моніторте Expected Calibration Error (ECE): відстежуйте, чи відповідають ваші показники впевненості реальній точності.
  • Будуйте діаграми надійності (Reliability Diagrams): стежте за кривими, що відхиляються від діагональної лінії.
  • Відстежуйте дрейф вхідних даних (Input Drift): використовуйте такі тести, як тест Колмогорова-Смирнова, щоб перевірити, чи змінилися ваші дані в продакшені.
  • Використовуйте Temperature Scaling: це швидке рішення для виправлення показників впевненості після розгортання, хоча воно і не є постійним виправленням.

Калібрування — це властивість системи. Відкалібровані частини не завжди утворюють відкаліброване ціле.

Ви стикалися з дрейфом калібрування в продакшені? Поділіться своїм налаштуванням моніторингу в коментарях.

Джерело: https://dev.to/saeebarve/why-your-ai-models-confidence-score-is-probably-lying-and-what-to-do-about-it-1p1a

Додаткова спільнота для навчання: https://t.me/GyaanSetuAi