رفض نموذج أولي لنظام RAG طوره أحد المطورين الإجابة على أي استعلام تقل درجة تشابه جيب التمام (cosine similarity) فيه عن 0.50. عمل النظام بشكل مثالي — حتى تم استبدال نموذج التضمين (embedding model). حينها، سمح "الحارس" بمرور إجابات خاطئة بصمت. تثبت هذه الحادثة أن عتبة التشابه المحددة برمجياً (hard-coded) يمكن أن تنهار عبر النماذج المختلفة، وهو خطر يهدد أي نظام يعتمد على تشابه التضمين لإجراء فحوصات السلامة.
لماذا كانت العتبة مهمة
غالباً ما تستخدم مسارات التوليد المعزز بالاسترجاع (RAG) حارساً للتشابه: إذا انخفض تشابه جيب التمام بين الاستعلام وأقرب وثيقة له عن رقم محدد مسبقاً، يتوقف النظام عن تقديم الإجابة. يمنع هذا الحارس النموذج من الهلوسة عندما يكون السياق المسترجع ضعيفاً. في الإعداد الأصلي، حافظت عتبة 0.50 على مصداقية النظام — فالاستعلامات غير القابلة للإجابة سجلت درجات أقل من هذا الخط، بينما سجلت الاستعلامات القابلة للإجابة درجات أعلى منه.
عندما تغيرت البنية التحتية للتضمين (embedding backend)، لم يعد حد الـ 0.50 نفسه يفصل بين المجموعتين. بدأ المسار في تقديم استجابات واثقة ولكنها غير صحيحة دون حدوث أي انهيار أو خطأ صريح. أفلت هذا الفشل من مقاييس التصنيف القياسية ولم يظهر إلا عندما لاحظ الإنسان هذا الانحراف.
الهندسة ليست عالمية
يقوم كل نموذج تضمين برسم اللغة في فضاء عالي الأبعاد بهندسته الخاصة. لذلك، تعني قيم تشابه جيب التمام أشياء مختلفة من نموذج لآخر. يمكن لدرجة 0.50 أن تقع عند حافة فجوة واضحة في نموذج ما، بينما تقع في عمق التداخل في نموذج آخر.
- Voyage-3 – يقع خط الـ 0.50 بين الاستعلامات غير القابلة للإجابة ذات الدرجات المنخفضة والاستعلامات القابلة للإجابة ذات الدرجات العالية. يعمل الحارس كما هو مخطط له.
- BGE-Small – تسجل العديد من الاستعلامات غير القابلة للإجابة درجات أعلى من 0.50، لذا لا يعمل الحارس أبداً. رفع الحد إلى 0.70 يعيد هامش الأمان.
- Hashing-64 – تتداخل درجات الاستعلامات القابلة وغير القابلة للإجابة بشكل وثيق للغاية بحيث لا يمكن لأي عتبة واحدة الفصل بينها؛ النموذج ضعيف جداً لدرجة لا تسمح بدعم حارس التشابه على الإطلاق.
توضح هذه الحالات حقيقة أوسع: العتبة تنتمي إلى زوج محدد من (النموذج-البيانات)، وليست قاعدة عالمية.
التكلفة الخفية للقيمة الثابتة
تظهر عتبات التشابه في العديد من المهام اللاحقة:
- التخزين المؤقت الدلالي (semantic caching)
- اكتشاف التكرار
- فحوصات صلة الوثائق
- مطابقة الكيانات
إن استخدام قيمة ثابتة يفترض أن جميع نماذج التضمين تشترك في نفس توزيع الدرجات — وهو افتراض خطير. عندما يفشل هذا الافتراض، تنتج الأنظمة بصمت مخرجات واثقة كذباً، مما يؤدي إلى تآكل ثقة المستخدم وتزويد القرارات اللاحقة ببيانات زائفة.
معايرة حراس النماذج
الحل مباشر: لا تقم أبداً بإطلاق نظام يحتوي على قيمة ثابتة محددة برمجياً. تعامل مع العتبة كمعلمة فائقة (hyper-parameter) يجب ضبطها لكل نموذج تضمين جديد.
- قم بتجميع مجموعة تحقق (validation set) متواضعة ومصنفة تغطي الاستعلامات القابلة وغير القابلة للإجابة.
- احسب قيم تشابه جيب التمام لكل زوج (استعلام-وثيقة) باستخدام النموذج المستهدف.
- ارسم التوزيعين أو احسب معدل الثقة الزائفة (false-confident rate) — وهو نسبة الاستعلامات غير القابلة للإجابة التي تتجاوز العتبة المرشحة.
- اختر أصغر قيمة تشابه تحافظ على معدل الثقة الزائفة دون مستوى خطر مقبول.
بما أن الهدف هو منع الثقة المفرطة، فإن مقاييس التصنيف التقليدية مثل متوسط الرتبة المتبادلة (MRR) غير كافية. يقيس معدل الثقة الزائفة مباشرة نمط فشل الحارس.
وجهة نظر مغايرة: "بعض النماذج تعمل مباشرة دون تعديل"
صحيح أن بعض النماذج التي تعمل بشكل جيد، مثل Voyage-3 في المثال، تصادف توافقها مع حارس الـ 0.50. لكن هذا لا يضمن الاستقرار المستقبلي. يمكن لتحديثات النماذج، أو الضبط الدقيق (fine-tuning)، أو حتى التحولات في المتن (corpus) الأساسي أن تغير توزيع التشابه، مما يؤدي إلى كسر الحارس مرة أخرى. الاعتماد على توافق واحد محظوظ يدعو إلى التراخي.
ما يجب مراقبته لاحقاً
-
-
-
الخلاصة
عتبة التشابه ليست مفتاح أمان عالمي؛ بل هي حارس خاص بكل نموذج يجب معايرته في كل مرة تغير فيها بنية التضمين أو البيانات التي يراها. تجاهل هذه الحقيقة يجعل أنظمة RAG تنزلق إلى الهلوسة الصامتة، مما يقوض الغرض الأساسي من الحارس. المسار الموثوق الوحيد للمضي قدماً هو المعايرة المنهجية لكل نموذج والمراقبة المستمرة لمعدل الثقة الزائفة.