Cohen's Kappa میں اتار چڑھاؤ کی وجہ
آپ کا LLM-as-judge kappa ہر ہفتے تبدیل ہو جاتا ہے۔ آپ اپنے لیبلرز (labellers) کو چیک کرتے ہیں۔ وہ ٹھیک ہیں۔ مسئلہ آپ کے calibration set میں ہے۔
Cohen's kappa کا فارمولا (Po - Pe) / (1 - Pe) ہے۔ Po مشاہدہ شدہ اتفاق (observed agreement) ہے۔ Pe اتفاق کا امکان (expected agreement by chance) ہے۔ Pe آپ کے سیٹ میں لیبلز کے ملاپ (label mix) پر منحصر ہے۔
پچھلے ہفتے، 70% traces قابلِ قبول تھے۔ اس ہفتے، 50% قابلِ قبول ہیں۔ Pe تبدیل ہو جاتا ہے۔ Kappa اس وقت بھی بدل جاتا ہے اگر آپ کے لیبلرز وہی کام کر رہے ہوں۔
ان تین چیزوں کو آزمائیں:
- وقت کے مختلف وقفوں (time windows) میں سیمپلنگ کریں۔ 4 ہفتوں کے rolling window کا استعمال کریں۔ یہ ایک ہی ہفتے کو Pe پر حاوی ہونے سے روکتا ہے۔
- Per-class precision اور recall کا استعمال کریں۔ ایک عدد حقیقت کو چھپا دیتا ہے۔ Per-class metrics دکھاتے ہیں کہ اختلاف کہاں ہو رہا ہے۔
- 100 سے کم traces والے سیٹس کے لیے Wilson confidence intervals کا استعمال کریں۔ یہ point estimates کے مقابلے میں زیادہ مستحکم ہے۔
ماخذ: https://dev.to/maya_andersson_dev/why-cohens-kappa-drifts-week-to-week-and-what-to-do-about-it-2alh اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi