કોહેન્સ કાપા (Cohen's Kappa) શા માટે બદલાય છે
તમારો LLM-as-judge કાપા દર અઠવાડિયે બદલાય છે. તમે તમારા લેબલેર્સ (labellers) તપાસો છો. તેઓ બરાબર છે. સમસ્યા તમારા કેલિબ્રેશન સેટ (calibration set) માં છે.
કોહેન્સ કાપાનું સૂત્ર (formula) (Po - Pe) / (1 - Pe) છે. Po એટલે અવલોકિત સહમતિ (observed agreement). Pe એટલે સંજોગોવશાત અપેક્ષિત સહમતિ (expected agreement by chance). Pe તમારા સેટમાં લેબલના મિશ્રણ પર આધાર રાખે છે.
ગયા અઠવાડિયે, 70% ટ્રેસ (traces) સ્વીકાર્ય હતા. આ અઠવાડિયે, 50% સ્વીકાર્ય છે. Pe બદલાય છે. જો તમારા લેબલેર્સ સમાન કામ કરતા હોય તો પણ કાપા બદલાઈ જાય છે.
આ ત્રણ વસ્તુઓ અજમાવો:
- સમયના વિન્ડોઝ (time windows) દ્વારા સેમ્પલિંગ કરો. રોલિંગ 4-અઠવાડિયાની વિન્ડોનો ઉપયોગ કરો. આનાથી કોઈ એક અઠવાડિયું Pe પર પ્રભુત્વ જમાવતું અટકશે.
- પ્રતિ-વર્ગ (per-class) પ્રિસિઝન (precision) અને રિકોલ (recall) નો ઉપયોગ કરો. એક જ આંકડો સત્ય છુપાવે છે. પ્રતિ-વર્ગ મેટ્રિક્સ દર્શાવે છે કે વિસંગતતાઓ ક્યાં થાય છે.
- 100 થી ઓછા ટ્રેસ ધરાવતા સેટ માટે વિલ્સન કોન્ફિડન્સ ઇન્ટરવલ (Wilson confidence intervals) નો ઉપયોગ કરો. આ પોઈન્ટ એસ્ટીમેટ (point estimates) કરતા વધુ સ્થિર છે.
સ્ત્રોત: https://dev.to/maya_andersson_dev/why-cohens-kappa-drifts-week-to-week-and-what-to-do-about-it-2alh વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi