Kwa nini Alama za Ujasiri za AI Yako Zinadanganya
Ulifundisha modeli yako. Vipimo vilionekana vizuri sana. Uliitumia.
Miezi sita baadaye, kuna kitu hakiko sawa. Dashibodi yako ya usahihi inaonekana sawa, lakini modeli inafeli.
Hii hutokea kwa sababu ya mabadiliko ya usambazaji (distribution shift). Data inayotumika kwenye uzalishaji (production) ni tofauti na data yako ya mafunzo. Mabadiliko haya yanaharibu calibration.
Ikiwa unatumia usanifu wa Mixture-of-Experts (MoE), unakabiliwa na hatari maalum.
Calibration inamaanisha ikiwa modeli inasema ina ujasiri wa 80%, inakuwa sahihi 80% ya muda wote. Katika modeli za MoE zenye soft routing, hali hii inaharibika bila kuonekana (silently).
Soft routing inachanganya wataalamu (experts) wengi ili kupata matokeo. Hata kama kila mtaalamu amelinganishwa (calibrated), alama iliyounganishwa inakuwa isiyoaminika wakati data ya kuingiza (input data) inapobadilika. Mitindo tofauti ya uelekezaji (routing patterns) hutokea ambayo modeli haikuiona wakati wa mafunzo.
Hard routing ni imara zaidi. Inatuma data ya kuingiza kwa mtaalamu mmoja tu. Ujasiri unabaki umeunganishwa na mtaalamu huyo mahususi.
Jinsi ya kurekebisha hili:
- Tumia Adversarial Reweighting: Fundisha modeli yako kwa mifano migumu. Tumia exponential tilt kusisitiza mifano yenye hasara kubwa (high-loss) wakati wa mafunzo.
- Tumia Robust Filtered Loss: Lenga mafunzo kwenye matukio ambapo mchanganyiko wa wataalamu unafanya kazi vibaya kuliko mtaalamu mmoja.
Nini cha kufanya sasa hivi:
- Fuatilia Expected Calibration Error (ECE): Angalia ikiwa alama zako za ujasiri zinaendana na usahihi wako halisi.
- Chora Reliability Diagrams: Angalia mizunguko (curves) inayopinda mbali na mstari wa ukitambuzi (diagonal line).
- Fuatilia Input Drift: Tumia majaribio kama Kolmogorov-Smirnov kuona ikiwa data yako ya uzalishaji (production data) imebadilika.
- Tumia Temperature Scaling: Hii ni njia ya haraka ya kurekebisha alama za ujasiri baada ya kuitumia