تمكن نموذج Fable 5 من Anthropic من الفوز بأول شارة صالة رياضية في 1,785 دورة، بتكلفة بلغت 65.40 دولارًا، وذلك أثناء لعب نسخة صينية من Pokémon FireRed باستخدام المخرجات المرئية للعبة فقط. يثبت هذا التشغيل قدرة النموذج على إنهاء جزء مألوف من اللعبة دون أي مطالبات نصية، ولكن التعمق في سلسلة تفكير النموذج أظهر أنه كان يسترجع معرفة مخزنة عن اللعبة بدلاً من "رؤية" كل بكسل والاستنتاج بناءً عليه حقًا.

وضع ادعاء Anthropic قيد الاختبار

عندما أطلقت Anthropic نموذج Fable 5، سلطت الشركة الضوء على عرض توضيحي يعتمد على "الرؤية فقط"، حيث تنقل النموذج في Pokémon FireRed من خلال النظر إلى الشاشة وحدها. جعل العنوان الأمر يبدو وكأن النظام يمكنه تفسير أي بيئة مرئية من الصفر. وقد شرع أحد المطورين في التحقق من هذا الادعاء من خلال إعادة إنتاج الإعداد الموصوف في صفحة إطلاق Anthropic وتشغيل النموذج على نسخة مترجمة إلى الصينية من اللعبة.

كيف تم إجراء التجربة

قامت أداة تشغيل مخصصة بتغذية النموذج بإطارات فيديو خام وتسجيل خيارات أفعاله. طابقت هذه الأداة وصف Anthropic، حيث كانت تمرر كل إطار جديد إلى النموذج وتقرأ مدخلات وحدة التحكم المختارة. استمر الاختبار في حلقة اللعبة الكاملة حتى حصل النموذج على أول شارة صالة رياضية له، ثم استمر حتى الدورة 2,000، عندما وصل المجسم إلى Route 3.

كانت النتيجة الكمية واضحة:

  • تم الحصول على أول شارة صالة رياضية بعد 1,785 دورة
  • إجمالي تكلفة الحوسبة 65.40 دولارًا
  • بحلول الدورة 2,000، كان المجسم في Route 3

ما تكشفه السجلات

ومع ذلك، تروي السجلات الخام قصة مختلفة حول كيفية وصول النموذج إلى هناك. فقد كتبت "سلسلة التفكير" الداخلية للنموذج مرارًا وتكرارًا معلومات لم تكن قد ظهرت على الشاشة بعد.

  • في الدورة 78، لاحظ النموذج أن المنافس سيختار Charmander، على الرغم من أن اللعبة لم تعرض اختيار المنافس بعد.
  • بعد 141 دورة، عندما سلمت اللعبة أخيرًا طرد Oak (Oak’s Parcel) للاعب، كان النموذج قد سجل بالفعل اسم العنصر في ملاحظاته.
  • أثناء عبور Route 3، حدد النموذج مدربًا معينًا من خلال اقتباس جملة حوار شهيرة لم تظهر أبدًا في البث المرئي.

هذه المدخلات ليست نتاج تحليل بكسل ببكسل، بل هي سمات نظام استوعب نصًا تفصيليًا للعبة - وهو بالضبط نوع المعرفة الموجود في أدلة الحلول (walkthroughs)، والويكي (wikis)، وفيديوهات المعجبين التي تملأ الإنترنت. بعبارة أخرى، يبدو أن النموذج يستخدم الرؤية لمجرد تأكيد خريطة يحفظها عن ظهر قلب.

لماذا يهم هذا معايير الاستدلال البصري

تؤكد التجربة على وجود خلل دقيق ولكنه حاسم في العديد من اختبارات الاستدلال البصري:

  • المدخلات النظيفة لا تضمن حالة معرفية نظيفة. حتى عندما تكون القناة الوحيدة هي تدفق الصور، فقد يعتمد النموذج على مخزون هائل من الحقائق المحفوظة.
  • مطالبات النظام (System prompts) لا يمكنها محو بيانات التدريب. لا يمكن إجبار النموذج الذي شاهد دليل حلول كامل على "نسيانه" دون إعادة تدريب.
  • الأداء قد يقيس الذاكرة لا الإدراك. عندما تتطابق بيئة الاختبار مع مجموعة بيانات معروفة، يمكن للنموذج أن ينجح من خلال مطابقة نمط بنمط بدلاً من تفسير المعلومات المرئية الجديدة فعليًا.

إذا استمرت المعايير في التعامل مع "الرؤية فقط" كبديل للاستدلال البصري، فإنها تخاطر بتضخيم الادعاءات حول قدرة الذكاء الاصطناعي على فهم البيئات الجديدة. قد تروج الشركات لأرقام مثيرة للإعجاب بينما تظل مجموعة المهارات الأساسية ضيقة - وهي قضية تهم المستثمرين والمطورين وأي شخص يبني أنظمة حرجة للسلامة يجب أن تعمل في بيئات غير مرئية حقًا.

وجهة نظر معارضة: هل الحفظ مشكلة حقًا؟

يجادل البعض بأن تأكيد خريطة معروفة لا يزال يتطلب شكلاً من أشكال الاستدلال: يجب على النموذج مواءمة تمثيله الداخلي مع الإشارة المرئية الحالية. ومن هذا المنظور، يظهر العرض التوضيحي قدرة مفيدة - وهي استخدام الرؤية لربط قاعدة معرفية موجودة مسبقًا. الاعتراض صحيح؛ فالمهمة تتضمن بالفعل فحصًا إدراكيًا.

ومع ذلك، فإن الهدف الأساسي للمعايير هو تقييم الاستدلال البصري العام، وليس استرجاع نص مخزن. عندما يتمكن النموذج من التنبؤ بالأحداث قبل ظهورها، فإن الاختبار لم يعد يعزل الإدراك. يصبح الخط الفاصل بين الربط المفيد والغش الصريح ضبابيًا، وتفقد النتائج قيمتها التشخيصية.

الخطوات التالية واستجابة المجتمع

لاختبار حدود القدرة على الحفظ، يقوم المختبر الآن بتشغيل النموذج نفسه على خريطة معدلة بجغرافيا متغيرة. وقد تم جعل جميع الأكواد، وإطار العمل المخصص، وملفات السجل الكاملة متاحة للعامة، مما يدعو الباحثين الآخرين لتكرار التجربة أو تطبيقها على ألعاب مختلفة. كما تم فتح قناة نقاش على منصة مجتمع تعليمي لإجراء حوار مستمر.

الخلاصة

إن العرض التجريبي القائم على الرؤية فقط، والذي ينجح لأن النموذج يعرف الإجابة مسبقاً، لا يعد دليلاً على وجود استدلال بصري حقيقي. يجب أن تفصل المعايير المرجعية بين المعرفة المحفوظة والإدراك اللحظي، وإلا فإنها تخاطر بالمبالغة في تقدير قدرة الذكاء الاصطناعي على التنقل في عوالم بصرية مجهولة تماماً.