توقف مساعد RAG (التوليد المعزز بالاسترجاع) الجديد القائم على WhatsApp عن الهلوسة من خلال اشتراط أن تكون كل إجابة مدعومة باقتباس مشفر بتنسيق JSON. وعندما لم يتمكن النموذج من الإشارة إلى جزء (chunk) محدد، كان يرد بعبارة "ليس لدي معلومات كافية للإجابة على ذلك"، مما حوله من كاذب واثق إلى نظام موثوق يقول "لا أعرف".
لماذا تهم الثقة في أنظمة RAG
تركز معظم الدروس التعليمية حول RAG بشكل مفرط على عملية الاسترجاع (retrieval)—مثل اختيار التضمينات (embeddings)، وتقسيم المستندات إلى أجزاء (chunks)، وإعادة ترتيب النتائج. لكنها تتجاهل ما يحدث بعد العثور على النص ذي الصلة. يفقد المستخدمون الثقة عندما يقدم المساعد إجابة حاسمة لا يدعمها السياق المسترجع فعلياً.
فجوة الثقة
في نموذج أولي تم بناؤه باستخدام PostgreSQL وإضافة pgvector، كانت مسارات الاسترجاع (retrieval pipeline) مباشرة وبسيطة. لكن التحدي الحقيقي ظهر عند مرحلة الإنتاج: حيث كان النموذج اللغوي يبدو واثقاً حتى عندما تفتقر المقتطفات المسترجعة إلى المعلومات المطلوبة. قد يخفي العرض التجريبي (demo) المشكلة، لكن المستخدمين الحقيقيين كشفوا الفجوة بين التحدث بثقة وبين كون الإجابة صحيحة.
فرض الاقتباسات باستخدام JSON
بدلاً من محاولة استمالة النموذج عبر أوامر (prompts) مثل "أجب فقط إذا كان لديك سياق"، قام المؤلف بتغيير تنسيق المخرجات. يتطلب النظام الآن كائناً بتنسيق JSON حيث يتضمن كل ادعاء مرجعاً للجزء (chunk) المحدد الذي يدعمه. وإذا لم يتمكن النموذج من إرفاق اقتباس، يتم رفض الاستجابة ويظهر للمستخدم رسالة واضحة: "لا أعرف".
انتقلت عملية الإنفاذ من التعليمات المكتوبة باللغة الطبيعية إلى التحقق من المخطط (schema validation). لا يزال النموذج يولد النصوص، ولكن الكود المحيط يتحقق من أن ملف JSON يطابق الهيكل المطلوب قبل وصوله إلى المستخدم.
ما الذي تغير
- أصبح تقسيم النصوص (Chunking) متحفظاً. الأجزاء الغامضة أو الواسعة جداً تولد الآن ادعاءات بدون اقتباسات، مما يؤدي إلى تفعيل خيار "لا أعرف" الاحتياطي.
- تقلص الأمر النظامي (System prompt). تم استبدال الأمر الصارم الذي كان يحاول ضبط سلوك النموذج بمجموعة تعليمات قصيرة، مما ترك المهمة الصعبة للمخطط (schema).
- أصبحت الإخفاقات مرئية. عندما يعيد الاسترجاع مواد غير ذات صلة، لم يعد المساعد يخفي الخطأ بإجابة واثقة ولكن خاطئة؛ بل يعترف صراحة بعدم اليقين.
الخلاصة: بالنسبة لمساعدي RAG، فإن ضمان إمكانية تتبع كل ادعاء إلى مصدر مسترجع يبني ثقة المستخدم بشكل أكثر موثوقية من مجرد تحسين خطوة الاسترجاع وحدها. ومن خلال تحويل الاقتباسات المفقودة إلى رسالة "لا أعرف" مرئية، يتيح المطورون للنظام الاعتراف بحدوده بدلاً من اختلاق الإجابات.