𝗪𝗵𝘆 𝗬𝗼𝘂𝗿 𝗥𝗔𝗚 𝗦𝘆𝘀𝘁𝗲𝗺 𝗛𝗮𝗹𝗹𝘂𝗰𝗶𝗻𝗮𝘁𝗲𝘀 لماذا يهلوس نظام RAG الخاص بك

دقة الاسترجاع في نظام RAG الخاص بك هي 34%. لقد اتبعت كل الدروس التعليمية. استخدمت المكتبات الصحيحة. اخترت حجم الجزء (chunk size) من تدوينة ما. ومع ذلك، لا يزال النظام يفشل.

ليست هذه مشكلة أدوات، بل هي مشكلة أساسيات.

عندما تقوم بتكديس المكتبات دون فهم الطبقات التي تقع تحتها، فإنك تخلق "ديون التجريد" (abstraction debt). تكتسب السرعة ولكنك تفقد القدرة على تصحيح الأخطاء (debug). أنت تبني "صندوقاً أسود".

لإصلاح مسار RAG الخاص بك، يجب عليك إتقان ثلاث طبقات:

  1. استراتيجية تقسيم النصوص (Chunking Strategy) حجم الجزء (Chunk size) هو قرار دلالي. إذا كانت أجزاؤك مكونة من 512 رمزاً (tokens)، فأنت تسترجع فقرات. إذا كانت أسئلتك تتطلب ربط الأفكار عبر فقرات عديدة، فإن أجزاءك صغيرة جداً. يجب أن تقرر مقدار السياق الذي يتدفق بين الأجزاء.

  2. نماذج التضمين (Embedding Models) تلتقط التضمينات الكثيفة (Dense embeddings) المعنى ولكنها تفقد البنية النحوية الدقيقة. قد يعامل النموذج "error 403" و "error 404" على أنهما متطابقان تقريباً. يجب أن تعرف ما الذي يلتقطه نموذجك. فالعقد القانوني يحتاج إلى تضمينات مختلفة عن مستودع الأكواد (code repository).

  3. الاسترجاع مقابل الاستدعاء (Retrieval vs. Recall) البحث الشعاعي (Vector search) يجد كل ما هو ذو صلة محتملة؛ وهذا هو الاستدعاء (Recall). أما أنظمة RAG في بيئة الإنتاج فتحتاج إلى الدقة (Precision). أنت بحاجة إلى الإجابة الدقيقة، وليس عشر فقرات متشابهة. لهذا السبب تحتاج إلى البحث الهجين (Hybrid search).

يجمع البحث الهجين بين المتجهات الكثيفة ومطابقة الكلمات المفتاحية (BM25).

  • البحث الدلالي الصرف (Pure semantic search) يفتقد الأكواد أو المعرفات (IDs) الدقيقة.
  • البحث بالكلمات المفتاحية الصرف (Pure keyword search) يفتقد المعنى المفاهيمي.
  • البحث الهجين يوازن بين الاثنين للعثور على الحقيقة.

الوزن الصحيح ليس موجوداً في دليل استخدام. ستجده من خلال اختبار بياناتك الخاصة.

توقف عن الاعتماد على السحر. إذا لم تكن قادراً على بناء مسار RAG أساسي من الصفر، فأنت لست مستعداً لـ Agentic RAG. تزداد التعقيدات عندما لا تفهم الأساسيات.

قم بهذه الأشياء الأربعة قبل مشروعك القادم:

  • قياس أداء التقسيم (Benchmark chunking). اختبر ثلاثة أحجام مختلفة. قم بقياس الدقة (precision) عند top-1 و top-5.
  • اختبر التضمينات ببيانات حقيقية. لا تستخدم اختبارات اصطناعية. استخدم استعلامات المستخدمين الفعلية الخاصة بك.
  • سجل الإخفاقات. لمدة أسبوعين، سجل كل استعلام يفشل. ابحث عن أنماط في الأشياء التي يفتقدها بحثك.
  • قم بتنفيذ BM25 مرة واحدة. حتى لو استخدمت مكتبة لاحقاً، فأنت بحاجة إلى فهم الخط المرجعي للكلمات المفتاحية.

المكتبات تمنحك الوقت. أما الفهم فيمنحك الموثوقية.

Source: https://dev.to/xu_xu_b2179aa8fc958d531d1/why-your-rag-system-keeps-hallucinating-the-hidden-cost-of-skipping-fundamentals-1no8

Optional learning community: https://t.me/GyaanSetuAi