ما علمني إياه نموذج لغوي كبير (LLM) سريع حول الافتراضات

قمت بتشغيل نموذج لغوي كبير (LLM) رخيص وسريع على مهمة معقدة لمدة ساعة. ولم يفشل.

يعتقد معظم الناس أن النماذج الضعيفة تفشل في المهام الطويلة؛ فهي تضل مسارها أو تستسلم في منتصف الطريق. لكن هذا النموذج ظل ملتزمًا بالمسار، وقد حدث ذلك لأنني زودته بقائمة من المخرجات (deliverables).

كنت أظن أن هذه المخرجات تساعد في تحقيق الدقة، لكنني كنت مخطئًا.

تظهر إحدى الدراسات أن المخرجات لا تجعل النموذج أكثر دقة، بل تجعله أكثر قابلية للتحقق. فالنموذج يوثق عمله بشكل أفضل، ويترك أدلة يمكنك مراجعتها.

هناك نوعان من الأخطاء في البرمجيات:

  • أخطاء التنفيذ (Execution errors): مثل تبديل فاصلة أو إغفال حالة حافة (edge case). يمكنك إصلاح هذه الأخطاء باستخدام الاختبارات وأدوات التدقيق (linting).
  • أخطاء الافتراض (Assumption errors): مثل وضع حد فاصل في المكان الخاطئ. وهذا النوع أصعب بكثير في الإصلاح.

تساعد العمليات (Process) في معالجة أخطاء التنفيذ، لكنها لا تحل أخطاء الافتراض. فإذا كنت أنت والنموذج تشتركان في نفس النقطة العمياء، فإن مراجعتك ستفشل أيضًا.

الذكاء الاصطناعي يغير الحسابات المتعلقة بهذه الأخطاء.

في الماضي، كان البشر يرتكبون الأخطاء ببطء، مما يمنحك الوقت لملاحظتها. أما الآن، فالذكاء الاصطناعي يرتكب الأخطاء بسرعة. يمكن للنموذج أن يبني ثلاث ساعات من الكود المثالي بناءً على افتراض خاطئ واحد قبل أن تلاحظ ذلك.

كلما بدا النموذج أكثر قدرة، زادت ثقتك به؛ فتتركه يعمل لفترة أطول، وتتوقف عن التحقق منه بنفس التكرار. هذا فخ؛ فالافتراض الخاطئ لا يصدر ضوء تحذير، بل يبدو وكأنه تقدم حتى فوات الأوان.

تحاول الصناعة معالجة ذلك من خلال المزيد من العمليات؛ فنحن نضيف المزيد من المواصفات والخطط، لكن هذا ليس سوى عبء إضافي (overhead). إنها أداة تنفيذ لمشكلة تتعلق بالافتراضات.

علينا التوقف عن قياس مدى صحة النموذج، وعلينا بدلاً من ذلك قياس المدة التي يصمد فيها الافتراض الخاطئ قبل أن نكتشفه.

في بيئة الإنتاج، نسمي هذا MTTD: متوسط وقت الاكتشاف (Mean Time To Detect).

لا يمكننا منع كل خطأ، ولكن يمكننا فقط جعل تكلفة إصلاح الأخطاء أقل. ويمكنك القيام بذلك من خلال اكتشافها مبكرًا.

الهدف ليس مجرد العثور على نموذج أذكى، بل الهدف هو تحديد المواضع التي لا تزال بحاجة فيها إلى أن تكون أنت المتحكم.

المصدر: https://dev.to/g_correa/what-a-fast-llm-taught-me-about-assumptions-oe

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi