توقفنا عن الوثوق بالنماذج. ثم توقفنا عن الوثوق بأرقامنا الخاصة.
توقفتُ عن مطاردة نماذج ذكاء اصطناعي أفضل. كنت أظن أن نموذجاً أقوى سيصلح نظامي، لكنه لم يفعل. لم تكن المشكلة في النموذج، بل كانت في النظام.
ثم أدركتُ شيئاً أسوأ؛ لم أكن أستطيع الوثوق بقياساتي الخاصة أيضاً.
رأيتُ ثلاثة أنواع مختلفة من الإخفاقات:
- مجموعة اختبارات (test suite) اجتازت الاختبار بينما كانت تقيس البيئة الخطأ.
- بوابة (gate) منعت العمل ولكنها أعطت إحصائيات خاطئة.
- وكيل (agent) قدّم تقريراً بعدد غير صحيح.
بدا كل إخفاق وكأنه نجاح حتى دققتُ النظر. كانت أدوات التحقق الخاصة بي تخدعني.
كانت غريزتي الأولى هي حظر كل أشكال عدم اليقين. أردتُ إزالة كل عنصر احتمالي، وأردتُ أن يكون كل شيء حتمياً.
كان ذلك خطأً.
إذا أزلتَ كل عدم اليقين، فإنك تزيل قيمة الذكاء الاصطناعي. فالذكاء الاصطناعي وُجد ليقترح الأفكار ويستكشف الحلول، ولا يمكنك الحصول على ذلك من قاعدة جامدة.
الحل ليس في حظر عدم اليقين، بل في وضعه في مكانه الصحيح.
يحتاج النظام إلى "مقعدين" مختلفين:
مقعد الاقتراح هذا المقعد يستكشف ويقترح. وهو يحتاج إلى عدم الحتمية. إذا اقترح النموذج حلاً خاطئاً، فالتكلفة ستكون منخفضة لأنه لم يتخذ أي قرار بعد.
مقعد التحكيم هذا المقعد يقرر ما إذا كان الاختبار قد اجتاز أم أن القاعدة قد استُوفيت. يجب أن يكون هذا المقعد حتمياً، ويجب أن يكون قابلاً للتكرار والتحقق.
حدثت الإخفاقات في نظامي لأنني وضعتُ الأشياء الخطأ في مقعد التحكيم؛ فقد سمحتُ لعمليات غير يقينية باتخاذ القرارات النهائية.
القاعدة بسيطة:
- اترك الأجزاء غير اليقينية تستكشف.
- اترك الأجزاء الحتمية تحكم.
لا تحاول جعل النظام بأكمله يقيناً. بدلاً من ذلك، تأكد من أن حكامك موثوقون. فالمُحكّم الحتمي الذي يخطئ أخطر من المُحكّم الاحتمالي؛ لأن المُحكّم الخاطئ يخلق خطأً مستمراً ستتوقف في النهاية عن التشكيك فيه.
كل طبقة تمنحك الثقة يجب أن تُقاس أولاً. ويجب أن يعتمد هذا القياس على شيء حتمي يمكنك معاينته.
كيف تضع الخط الفاصل بين الاقتراح والتحكيم في أنظمة الذكاء الاصطناعي الخاصة بك؟ وأين تصر على الحتمية؟
المصدر: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi