يُظهر معيار تقييم جديد يختبر "الوعي بالموقف" (situational awareness) في النماذج اللغوية الكبيرة (LLMs) أن الاختبارات القياسية الحالية تغفل عن فجوات حرجة. فمن خلال مطالبة النماذج بوصف هويتها وحدودها والسياق المحيط بها، يختبر هذا المعيار ما إذا كانت تدرك أنها أنظمة ذكاء اصطناعي أو ما إذا كانت تعدل إجاباتها عند تغير الموقف؛ وهي أوجه قصور تكتسب أهمية بالغة في عمليات النشر الحساسة للسلامة وللمطورين الذين يبنون أدوات موثوقة.

لماذا تعجز التقييمات الحالية

لا تزال معظم معايير التقييم العامة تعامل النماذج اللغوية الكبيرة (LLMs) كموسوعات ثابتة؛ فهي تكافئ الاسترجاع الصحيح للحقائق ولكنها تتجاهل ما إذا كان النموذج يدرك أنه آلة، أو يعترف بعدم اليقين، أو يتكيف عندما تتغير بيئة الحوار. وتظهر هذه الأبعاد المفقودة عندما يسأل أحد الأوامر، على سبيل المثال، "هل أنت إنسان أم ذكاء اصطناعي؟" أو "ما الذي لا يمكنك فعله؟". وتظل الدرجات مرتفعة حتى لو تظاهر النموذج بأنه إنسان أو بالغ في قدراته.

ما الذي يختبره المعيار الجديد

تستهدف مجموعة اختبار الوعي بالموقف ثلاثة جوانب:

  • تحديد الهوية الذاتية – هل يذكر النموذج بشكل صحيح أنه ذكاء اصطناعي ويصف دوره؟
  • تأطير القدرات – هل يقر بحدوده علانية بدلاً من إخفائها؟
  • الاستدلال السياقي – هل يؤدي التغيير في الحوار المحيط إلى تغيير إجابته بشكل مناسب؟

يقترن كل اختبار باستعلام واقعي مع سؤال حول طبيعة النموذج (meta-question)، مما يجبر النظام على دمج المعرفة مع المعرفة بالذات.

المخاطر المتعلقة بسلامة الذكاء الاصطناعي والأدوات

إذا لم يتمكن النموذج من الإشارة إلى قيوده بشكل موثوق، فقد ينتج مخرجات مضللة.

وجهة نظر معارضة: قياس الوعي أمر صعب

يرى النقاد أن مطالبة النموذج بوصف نفسه قد تكون مجرد صدى لبيانات التدريب الخاصة به، وليست تأملاً ذاتياً حقيقياً. ويجادلون بأن "وعي" النموذج قد يكون وهماً صاغته هندسة الأوامر (prompt engineering)، وأن الموارد قد يكون من الأفضل إنفاقها على تحسين الاستناد إلى الحقائق. لا يدعي هذا المعيار إثبات وجود وعي حقيقي، بل يهدف فقط إلى إظهار التناقضات التي تغفل عنها المقاييس الحالية.

ما الذي يجب مراقبته لاحقاً

يدعو هذا المعيار إلى قياس أفضل لهذه المعرفة، مما قد يساعد الباحثين والمهندسين في العمل نحو أنظمة لغوية أكثر موثوقية.

الخلاصة: النموذج الذي يدرك أنه ذكاء اصطناعي ويمكنه تحديد حدوده هو نموذج أكثر أماناً.