Почему ваши показатели уверенности ИИ лгут

Вы обучили свою модель. Метрики выглядели отлично. Вы развернули её.

Спустя шесть месяцев что-то идет не так. Ваш дашборд точности показывает норму, но модель ошибается.

Это происходит из-за сдвига распределения (distribution shift). Данные в продакшене отличаются от ваших обучающих данных. Этот сдвиг нарушает калибровку.

Если вы используете архитектуру Mixture-of-Experts (MoE), вы сталкиваетесь со специфическим риском.

Калибровка означает, что если модель заявляет о 80% уверенности, она права в 80% случаев. В MoE-моделях с мягкой маршрутизацией (soft routing) это нарушается незаметно.

Мягкая маршрутизация смешивает результаты нескольких экспертов для получения ответа. Даже если каждый эксперт откалиброван, комбинированный показатель становится ненадежным при изменении входных данных. Появляются новые паттерны маршрутизации, которые модель не видела во время обучения.

Жесткая маршрутизация (hard routing) более устойчива. Она направляет входные данные только одному эксперту. Уверенность остается привязанной к этому конкретному эксперту.

Как это исправить:

  • Используйте состязательное перевзвешивание (Adversarial Reweighting): Обучайте модель на сложных примерах. Используйте экспоненциальное наклонение (exponential tilt), чтобы акцентировать внимание на примерах с высокими потерями во время обучения.
  • Используйте робастную фильтрованную функцию потерь (Robust Filtered Loss): Сосредоточьте обучение на случаях, когда смесь экспертов работает хуже, чем один отдельный эксперт.

Что делать прямо сейчас:

  • Мониторьте ожидаемую ошибку калибровки (Expected Calibration Error, ECE): Отслеживайте, соответствуют ли показатели уверенности вашей реальной точности.
  • Стройте диаграммы надежности (Reliability Diagrams): Следите за кривыми, которые отклоняются от диагональной линии.
  • Отслеживайте дрифт входных данных (Input Drift): Используйте такие тесты, как тест Колмогорова-Смирнова, чтобы понять, изменились ли ваши данные в продакшене.
  • Используйте масштабирование температуры (Temperature Scaling): Это быстрый способ исправить показатели уверенности после развертывания, хотя это и не является окончательным решением.

Калибровка — это системное свойство. Откалиброванные части не всегда образуют откалиброванное целое.

Сталкивались ли вы с дрифтом калибровки в продакшене? Расскажите о своей системе мониторинга в комментариях.

Source: https://dev.to/saeebarve/why-your-ai-models-confidence-score-is-probably-lying-and-what-to-do-about-it-1p1a

Optional learning community: https://t.me/GyaanSetuAi