கோஹென்ஸ் கப்பா ஏன் மாறுகிறது
உங்கள் LLM-as-judge கப்பா ஒவ்வொரு வாரமும் மாறுகிறது. உங்கள் லேபிளர்களை (labellers) நீங்கள் சரிபார்க்கிறீர்கள். அவர்கள் சரியாகவே செயல்படுகிறார்கள். பிரச்சனை உங்கள் காலிகிரேஷன் செட்டில் (calibration set) உள்ளது.
கோஹென்ஸ் கப்பா சூத்திரம் (formula) (Po - Pe) / (1 - Pe) ஆகும். Po என்பது கவனிக்கப்பட்ட உடன்பாடு (observed agreement). Pe என்பது தற்செயலாக எதிர்பார்க்கப்படும் உடன்பாடு (expected agreement by chance). Pe என்பது உங்கள் செட்டில் உள்ள லேபிள் கலவையைப் (label mix) பொறுத்தது.
கடந்த வாரம், 70% டிரேஸ்கள் (traces) ஏற்றுக்கொள்ளத்தக்கதாக இருந்தன. இந்த வாரம், 50% மட்டுமே ஏற்றுக்கொள்ளத்தக்கதாக உள்ளன. Pe மாறுகிறது. உங்கள் லேபிளர்கள் அதே வேலையைச் செய்தாலும் கப்பா மாறக்கூடும்.
இந்த மூன்று விஷயங்களை முயற்சிக்கவும்:
- கால இடைவெளிகளில் மாதிரிகளைச் சேகரிக்கவும் (Sample across time windows). ஒரு ரோலிங் 4-வார கால இடைவெளியைப் (rolling 4-week window) பயன்படுத்தவும். இது ஒரு குறிப்பிட்ட வாரம் மட்டும் Pe-ஐத் தீர்மானிப்பதைத் தடுக்கும்.
- ஒவ்வொரு வகுப்பிற்கும் தனித்தனியான precision மற்றும் recall அளவீடுகளைப் பயன்படுத்தவும். ஒரு ஒற்றை எண் உண்மையை மறைத்துவிடும். வகுப்பிற்கு இடையிலான அளவீடுகள் (Per-class metrics) கருத்து வேறுபாடுகள் எங்கு ஏற்படுகின்றன என்பதைக் காட்டும்.
- 100 டிரேஸ்களுக்குக் குறைவான செட்களுக்கு Wilson confidence intervals-ஐப் பயன்படுத்தவும். இது point estimates-ஐ விட அதிக நிலைத்தன்மை கொண்டது.
ஆதாரம்: https://dev.to/maya_andersson_dev/why-cohens-kappa-drifts-week-to-week-and-what-to-do-about-it-2alh விருப்பத்தேர்வு கற்றல் சமூகம்: https://t.me/GyaanSetuAi