Tại sao điểm tin cậy AI của bạn đang nói dối

Bạn đã huấn luyện mô hình của mình. Các chỉ số trông rất tuyệt vời. Bạn đã triển khai nó.

Sáu tháng sau, có gì đó không ổn. Bảng điều khiển độ chính xác của bạn trông vẫn ổn, nhưng mô hình đang thất bại.

Điều này xảy ra do sự dịch chuyển phân phối (distribution shift). Dữ liệu trong môi trường thực tế (production) khác với dữ liệu huấn luyện của bạn. Sự dịch chuyển này làm phá vỡ khả năng hiệu chuẩn (calibration).

Nếu bạn sử dụng kiến trúc Mixture-of-Experts (MoE), bạn sẽ đối mặt với một rủi ro cụ thể.

Hiệu chuẩn (Calibration) có nghĩa là nếu một mô hình nói rằng nó tự tin 80%, thì nó sẽ đúng trong 80% số lần. Trong các mô hình MoE với cơ chế soft routing, điều này sẽ bị phá vỡ một cách âm thầm.

Soft routing kết hợp nhiều chuyên gia (experts) để đưa ra kết quả. Ngay cả khi mọi chuyên gia đều đã được hiệu chuẩn, điểm số kết hợp vẫn trở nên không đáng tin cậy khi dữ liệu đầu vào thay đổi. Các mẫu điều hướng (routing patterns) khác nhau xuất hiện mà mô hình chưa từng thấy trong quá trình huấn luyện.

Hard routing mạnh mẽ hơn. Nó chỉ gửi đầu vào đến duy nhất một chuyên gia. Độ tin cậy sẽ gắn liền với chuyên gia cụ thể đó.

Cách khắc phục:

  • Sử dụng Adversarial Reweighting: Huấn luyện mô hình của bạn trên các ví dụ khó. Sử dụng độ nghiêng lũy thừa (exponential tilt) để nhấn mạnh các ví dụ có tổn thất (loss) cao trong quá trình huấn luyện.
  • Sử dụng Robust Filtered Loss: Tập trung huấn luyện vào các trường hợp mà sự kết hợp giữa các chuyên gia hoạt động kém hơn so với một chuyên gia đơn lẻ.

Việc cần làm ngay lúc này:

  • Theo dõi Expected Calibration Error (ECE): Kiểm tra xem điểm tin cậy của bạn có khớp với độ chính xác thực tế hay không.
  • Vẽ biểu đồ độ tin cậy (Reliability Diagrams): Quan sát các đường cong bị lệch khỏi đường chéo.
  • Theo dõi sự trôi dạt đầu vào (Input Drift): Sử dụng các kiểm định như Kolmogorov-Smirnov để xem liệu dữ liệu thực tế của bạn có thay đổi hay không.
  • Sử dụng Temperature Scaling: Đây là một giải pháp vá lỗi nhanh để điều chỉnh điểm tin cậy sau khi triển khai, mặc dù nó không phải là một giải pháp lâu dài.

Hiệu chuẩn là một đặc tính của hệ thống. Các thành phần được hiệu chuẩn không phải lúc nào cũng tạo nên một tổng thể được hiệu chuẩn.

Bạn đã bao giờ gặp phải sự trôi dạt hiệu chuẩn (calibration drift) trong môi trường thực tế chưa? Hãy chia sẻ thiết lập giám sát của bạn trong phần bình luận nhé.

Nguồn: https://dev.to/saeebarve/why-your-ai-models-confidence-score-is-probably-lying-and-what-to-do-about-it-1p1a

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi