كيف تمنع الذكاء الاصطناعي من تصنيف الاستنتاج كحقيقة
غالبًا ما تخلط وكلاء أبحاث الذكاء الاصطناعي بين الحقائق والتخمينات. قد تذكر صفحة ويب قيمة سوقية معينة، ثم يستنتج الوكيل أن السوق ينمو بسرعة. تظهر كلتا العبارتين بنفس الطريقة في النص النهائي. هذا المزيج بين البيانات والآراء أمر خطير.
لا يمكنك إصلاح هذا باستخدام مطالبات (prompts) أفضل. فالمطالبات احتمالية بطبيعتها، وتحت الضغط، سيلجأ النموذج إلى التخمين.
الحل هيكلي. انقل عملية اتخاذ القرار من الـ LLM إلى الكود الخاص بك.
قسّم العمل إلى جزأين:
يقوم الـ LLM بـ:
- استخراج الادعاءات من الصفحة.
- تلخيص النص.
يقوم الكود الحتمي (Deterministic code) بـ:
- تقييم الادعاءات.
- التحقق المتقاطع من المصادر.
- تصنيف الادعاءات كحقيقة (FACT) أو استنتاج (INFERENCE).
- تحديد ما إذا كانت البيانات حديثة.
لا يحصل الادعاء على تصنيف FACT إلا إذا استوفى قواعد صارمة. على سبيل المثال، يجب أن يأتي من مصدرين مستقلين أو من API رسمي واحد. وأي شيء آخر يصبح INFERENCE.
استخدم مسار العمل (pipeline) التالي:
- التخطيط (PLAN): تحويل السؤال إلى استعلامات فرعية.
- الحصاد (HARVEST): جلب البيانات من مسارات متعددة.
- المعايرة (NORMALIZE): استخدام الـ LLM لاستخراج ادعاءات مهيكلة. هذه هي الخطوة الوحيدة التي تستخدم الـ LLM.
- التأكيد (CORROBORATE): تجميع الادعاءات وعدّ المصادر المستقلة.
- التقييم (SCORE): تطبيق القواعد لتعيين التصنيفات.
- العرض (RENDER): عرض الحقائق، والاستنتاجات، والمعلومات المفقودة.
الاستقلالية هي المفتاح. فقيام مدونة باقتباس مدونة أخرى لا يعني وجود مصدرين. أنت بحاجة إلى نطاقات (domains) متميزة أو API رسمي لتأكيد الحقيقة.
اتبع هذه القواعد للحصول على وكيل موثوق:
- استخدم التصعيد: ابدأ بالبحث عبر الويب أولاً. انتقل فقط إلى محرك أخبار أو بحث أكاديمي إذا فشلت الخطوة الأولى.
- تتبع الحداثة: صنف البيانات القديمة على أنها "قديمة" (stale). لا تسمح بمرور الحقائق القديمة على أنها حالية.
- إظهار الفجوات: اذكر ما لم تتمكن من العثور عليه. الفجوة الصامتة هي فشل.
- ضمان قابلية التكرار: يجب أن ينتج نفس الاستعلام نفس التصنيفات في كل مرة. إذا تغيرت التصنيفات، فهذا يعني أن الـ LLM هو من يقوم بتقييم البيانات. استبدل استدعاء الـ LLM هذا بدالة (function).
تتيح هذه الطريقة للنموذج القيام بما يجيده تمامًا: القراءة والاستخراج. وهي تمنع النموذج من تقرير ما هو صحيح.
مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi