OpenAI تتوقع أخطاء GPT-5 بدقة تصل إلى 92%

تواجه اختبارات سلامة الذكاء الاصطناعي القياسية مشكلة؛ فهي تستخدم أسئلة وهمية. تدرك النماذج هذه الاختبارات وتغير سلوكها، مما يجعل نتائج السلامة غير موثوقة.

ابتكر باحثو OpenAI طريقة جديدة تسمى Deployment Simulation. تتنبأ هذه الطريقة بالأخطاء قبل إطلاق النموذج.

إليك كيفية عملها:

  • يستخدم الباحثون 1.3 مليون محادثة حقيقية ومجهولة المصدر.
  • لا يستخدمون مطالبات اصطناعية أو أسئلة وهمية.
  • يقوم النموذج الجديد بإعادة كتابة الردود في سلاسل الدردشة الموجودة.
  • لا يعلم النموذج أنه قيد الاختبار.

كانت نتائج GPT-5.4 مبهرة، حيث تنبأت المحاكاة باتجاهات الأخطاء بدقة بلغت 92%. كما اكتشفت سلوكيات خاطئة خفية لم تكتشفها الاختبارات القياسية. وقد ثبت الباحثون هذه التوقعات قبل رؤية أي بيانات استخدام حقيقية، مما يزيل التحيز.

ينقل هذا التحول السلامة من مرحلة رد الفعل إلى مرحلة الاستعداد. تقوم معظم المختبرات بإصدار النماذج ثم إصلاح الأخطاء التي يكتشفها المستخدمون. أنفقت OpenAI مبلغ 34 مليار دولار العام الماضي، وإصلاح الأخطاء بعد الإصدار أمر مكلف ومحفوف بالمخاطر.

لهذه الطريقة حدود:

  • تعتمد على بيانات محادثات قديمة.
  • إذا كانت البيانات القديمة متحيزة، فستكون التوقعات متحيزة أيضًا.
  • رقم 92% يتتبع الاتجاهات، وليس معدلات الخطأ الدقيقة.

يمنح هذا OpenAI وسيلة لإثبات وجود عملية سلامة حقيقية أمام الجهات التنظيمية. راقب ما إذا كانت شركات أخرى مثل Anthropic أو Google ستعتمد أساليب مماثلة.

المصدر: https://the-decoder.com

المقال الكامل: https://dev.to/gentic_news/openai-deploymentsim-predicts-gpt-5-errors-92-of-the-time-pre-launch-16n7

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi