كاشف الانحياز الخاص بي وجد "انتقائية البيانات" (Cherry-Picking) في عبارة "لا توجد معلومات"

لقد قمت ببناء مشروع يسمى Biassemble.

الهدف بسيط. تزوده بقصة، فيقوم بطرح الأسئلة، ثم يحدد الانحيازات المعرفية في طريقة تفكيرك.

اختبرته باستخدام قصة عن امرأة تدعى آنا. كانت قصتها تحتوي على حقائق فقط. شربت القهوة، استقلت الحافلة، ومشيت إلى مكتبها. لم تكن هناك أي آراء أو مشاعر في النص.

كان لأول أمر (prompt) قدمته قاعدة واحدة: اكتشاف انحياز واحد على الأقل من قائمة محددة.

أجبرت هذه القاعدة النظام على إيجاد شيء ما. وحتى عندما لم يكن هناك شيء، حاول النظام اختراع انحياز.

قمت بتحديث الأمر إلى الإصدار 1.0.0، وأضفت شرطاً بضرورة وجود دليل. كان على النظام الاستشهاد بأجزاء محددة من القصة لإثبات وجود انحياز.

اعتقدت أن هذا سيحل المشكلة، لكنه لم يفعل.

عندما أجبت بـ "لا توجد معلومات" (no info) على الأسئلة المتابعة، صنفني النظام كممارس لـ "انتقائية البيانات" (Cherry-Picking). وجادل بأن رفضي للتخمين كان خياراً متعمداً لإغفال البيانات.

كان النظام صحيحاً من الناحية التقنية؛ فقد قلت بالفعل "لا توجد معلومات" أربع مرات، واستشهد بكلماتي بدقة. لكن الاستنتاج كان خاطئاً، فقد حوّل نقص المعلومات إلى خطأ في التفكير.

جعلت عملية "الربط بالواقع" (Grounding) الاستشهادات صادقة، لكنها لم تجعل الاستنتاجات صحيحة.

أصدرت الإصدار 1.1.0، وأضفت ثلاثة فحوصات جديدة:

تغيرت النتائج. فمع نفس إجابات "لا توجد معلومات"، لم يسجل الإصدار 1.1.0 أي انحياز، حيث أدرك أن إجاباتي كانت وصفية وليست تفسيرية.

الفرق بين الإصدارين ليس في الأدلة، بل في كيفية تعامل النظام مع عبارة "لا أعرف".

يرى أحد الإصدارين "لا أعرف" كعلامة على الانحياز، بينما يراها الآخر إجابة صالحة. يجب عليك إخبار النموذج بكيفية التعامل مع هذا الأمر، فهو لن يقرر من تلقاء نفسه.

أقوم الآن ببناء مقاييس لاختبار ذلك. أحتاج إلى معرفة ما إذا كان النظام قد تحسن بالفعل أم أنه تعلم فقط تجاهل هذه القصة تحديداً.

ظننت أنني كنت أبني كاشفاً للانحياز، ولكن بدلاً من ذلك، تعلمت لماذا تواجه أنظمة التفكير صعوبة في التعامل مع "لا أعرف".

المصدر: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi