لوحات صدارة الوكلاء تضلل عند حدوث انزياح التوزيع

لوحات صدارة وكلاء الذكاء الاصطناعي الحالية معطلة.

تقوم معظم لوحات الصدارة بتحويل أداء الوكيل إلى درجة واحدة فقط، ثم تقوم بترتيب الوكلاء من الأعلى إلى الأقل. يبدو هذا جيداً في التقارير، لكنه يفشل في العالم الحقيقي.

توضح ورقة بحثية جديدة من IBM بعنوان Beyond Static Leaderboards السبب وراء ذلك.

المشكلة: الدرجات الإجمالية (Aggregate Scores)

تُعد الدرجة المتوسطة الواحدة إشارة ضعيفة لعملية النشر (deployment). يجب أن يخبرك التقييم بالوكيل الذي ينبغي إطلاقه. إذا لم يكن الوكيل المتصدر في الاختبار المرجعي (benchmark) هو الوكيل المتصدر في بيئة الإنتاج الخاصة بك، فإن لوحة الصدارة قد خدعتك.

وجدت IBM أن التصنيفات القائمة على الدرجات الإجمالية لا تنتقل بفعالية عندما تتغير الظروف، وهو ما يُعرف بـ "انزياح التوزيع" (distribution shift).

التشبيه: العداؤون في مهب الريح

  • تخيل ترتيب العدائين في سباق داخلي على مضمار لا تهب فيه الرياح.
  • العداء (أ) يفوز، والعداء (ب) يأتي في المركز الثاني.
  • الآن انقل السباق إلى الهواء الطلق حيث تهب رياح قوية.
  • يتغير الترتيب؛ يفوز العداء (ب)، ويتراجع العداء (أ) إلى المركز الثالث.

لم تكن ساعة التوقيت الداخلية خاطئة؛ فقد قامت بقياس السرعة في إعداد محدد للغاية، لكنها ببساطة لم تستطع التنبؤ بكيفية أداء العدائين في مواجهة الرياح.

الحل: الصلاحية التنبؤية (Predictive Validity)

تقترح IBM استخدام "الصلاحية التنبؤية" بدلاً من مجرد الدرجات الخام.

تقيس الصلاحية التنبؤية الارتباط في الترتيب بين الاختبار المرجعي (benchmark) ونتائج العالم الحقيقي. وهي تطرح سؤالاً بسيطاً: هل يظل ترتيب الوكلاء كما هو عندما تتغير البيئة؟

  • صلاحية تنبؤية عالية: تتوقع لوحة الصدارة الفائز في العالم الحقيقي.
  • صلاحية تنبؤية منخفضة: تشير لوحة الصدارة إلى الوكيل الخاطئ.

مفاهيم رئيسية:

  • داخل العينة (In-sample): المهام المحددة التي يستخدمها الاختبار المرجعي.
  • خارج التوزيع (Out-of-distribution): مهام جديدة، أو أدوات جديدة، أو بيانات مختلفة تظهر أثناء النشر.
  • عدم استقرار الترتيب (Rank instability): عندما يؤدي تغيير طفيف في المهام إلى إعادة ترتيب لوحة الصدارة بالكامل.

توقف عن التعامل مع الاختبارات المرجعية كمجرد لوحات تسجيل للدرجات، وعاملها كأدوات قياس. إذا كانت الأداة لا تستطيع التنبؤ بالنتيجة التي تهمك، فهي عديمة الفائدة في بيئة الإنتاج.

المصدر: https://dev.to/pueding/agent-leaderboards-mislead-under-distribution-shift-ibm-predictive-validity-4d0c

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi