Cohen's Kappa ಯಾಕೆ ಬದಲಾಗುತ್ತಾ ಇರುತ್ತದೆ
ನಿಮ್ಮ LLM-as-judge ಕಪ್ಪಾ ಪ್ರತಿ ವಾರ ಬದಲಾಗುತ್ತದೆ. ನೀವು ನಿಮ್ಮ ಲೇಬೆಲರ್ಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತೀರಿ. ಅವರು ಸರಿಯಾಗಿದ್ದಾರೆ. ಸಮಸ್ಯೆ ನಿಮ್ಮ ಕ್ಯಾಲಿಬ್ರೇಶನ್ ಸೆಟ್ನಲ್ಲಿ (calibration set) ಇದೆ.
Cohen's kappa ಸೂತ್ರವು (Po - Pe) / (1 - Pe) ಆಗಿದೆ. Po ಎಂದರೆ ವೀಕ್ಷಿಸಿದ ಒಪ್ಪಿಗೆ (observed agreement). Pe ಎಂದರೆ ಆಕಸ್ಮಿಕವಾಗಿ ನಿರೀಕ್ಷಿತ ಒಪ್ಪಿಗೆ (expected agreement by chance). Pe ನಿಮ್ಮ ಸೆಟ್ನಲ್ಲಿರುವ ಲೇಬಲ್ ಮಿಶ್ರಣದ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ.
ಕಳೆದ ವಾರ, 70% ಟ್ರೇಸ್ಗಳು ಸ್ವೀಕಾರಾರ್ಹವಾಗಿದ್ದವು. ಈ ವಾರ, 50% ಸ್ವೀಕಾರಾರ್ಹವಾಗಿವೆ. Pe ಬದಲಾಗುತ್ತದೆ. ನಿಮ್ಮ ಲೇಬೆಲರ್ಗಳು ಒಂದೇ ರೀತಿಯ ಕೆಲಸ ಮಾಡಿದರೂ ಕಪ್ಪಾ ಬದಲಾಗುತ್ತದೆ.
ಈ ಮೂರು ವಿಷಯಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿ:
- ಸಮಯದ ವಿಂಡೋಗಳ ಮೂಲಕ ಸ್ಯಾಂಪಲ್ ಮಾಡಿ. ರೋಲಿಂಗ್ 4-ವಾರದ ವಿಂಡೋವನ್ನು ಬಳಸಿ. ಇದು ಒಂದು ವಾರವು Pe ಮೇಲೆ ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸದಂತೆ ತಡೆಯುತ್ತದೆ.
- ಪ್ರತಿ ವರ್ಗದ ಪ್ರಿಸಿಸನ್ ಮತ್ತು ರಿಕಾಲ್ ಅನ್ನು ಬಳಸಿ. ಒಂದು ಸಂಖ್ಯೆಯು ಸತ್ಯವನ್ನು ಮರೆಮಾಚುತ್ತದೆ. ಪ್ರತಿ ವರ್ಗದ ಮೆಟ್ರಿಕ್ಸ್ಗಳು ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳು ಎಲ್ಲಿ ಸಂಭವಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ.
- 100 ಕ್ಕಿಂತ ಕಡಿಮೆ ಟ್ರೇಸ್ಗಳಿರುವ ಸೆಟ್ಗಳಿಗಾಗಿ Wilson confidence intervals ಬಳಸಿ. ಇದು point estimates ಗಿಂತ ಹೆಚ್ಚು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ.
ಮೂಲ: https://dev.to/maya_andersson_dev/why-cohens-kappa-drifts-week-to-week-and-what-to-do-about-it-2alh ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi