تقنيات RAG المتقدمة ليست أفضل دائمًا. بل هي أفضل في بعض الأحيان.

تقنيات RAG المتقدمة ليست ترقيات مجانية، بل هي أدوات لها مقايضات.

لقد اختبرت خمس طرق للاسترجاع في مسار عمل (pipeline) لـ RAG باستخدام وثائق Anthropic. أردت معرفة أي منها يستحق تعقيده فعليًا.

إليك ما وجدته:

• الاسترجاع الكثيف (Dense Retrieval): هو المعيار الأساسي. يعمل بشكل جيد ولكنه يفتقد المصطلحات الدقيقة. • البحث الهجين (Hybrid Search): يستخدم البحث الكثيف بالإضافة إلى البحث بالكلمات المفتاحية. يجد المصطلحات الدقيقة التي يفتقدها البحث الكثيف، ولكن يجب عليك موازنة النتائج بشكل صحيح وإلا ستختفي الإشارة المفيدة. • إعادة الترتيب (Reranking): يستخدم cross-encoder لتقييم المرشحين. يساعد عندما تكون القطعة (chunk) الصحيحة مدفونة في مكان منخفض جدًا في النتائج. • HyDE: يستخدم إجابة افتراضية للعثور على البيانات. هذا أمر خطير؛ فهي تساعد الاستعلامات العابرة، ولكن في الاستعلامات المباشرة، تفسد كل شيء. انخفض معدل الاستدعاء (Recall) من 0.80 إلى 0.17 في أحد الاختبارات. • الاسترجاع السياقي (Contextual Retrieval): يضيف ملخصات إلى القطع (chunks). يساعد هذا القطع القصيرة ولكنه يزيد من تكاليف رسوم الـ LLM.

الدرس الأكبر يتعلق بـ HyDE. إنها ليست أداة "اضبطها وانساها". يجب عليك استخدامها فقط عندما تتحدث استعلامات المستخدم ووثائقك لغات مختلفة. أنت بحاجة إلى موجه (router) لتقرير متى تستخدمها.

تعلمت أيضًا درسًا حول القياس.

حاولت استخدام Ragas للتقييم، لكنه كان بطيئًا جدًا؛ حيث قضى ساعات في إعادة محاولة الاستدعاءات الفاشلة. قررت بناء إطار عمل غير متزامن (async harness) خاص بي. وبدلاً من 11 ساعة، استغرق التقييم الخاص بي 221 ثانية فقط.

لا تعامل أدوات الذكاء الاصطناعي كصناديق سوداء. إذا كانت الأداة بطيئة أو تفشل، فانظر إلى الرياضيات الكامنة وراءها. ابنِ حلك الخاص إذا لزم الأمر.

العمل لا يقتصر فقط على إضافة ميزات جديدة، بل العمل هو قياس أي ميزة تستحق مكانها في نظامك.

ملخص لموعد استخدام كل منها:

  • الهجين (Hybrid): استخدمه عندما تعتمد الاستعلامات على معاملات (parameters) دقيقة.
  • HyDE: استخدمها عندما تكون صياغة الاستعلامات سيئة.
  • إعادة الترتيب (Reranking): استخدمها عندما يكون الاسترجاع واسعًا ولكنه غير دقيق.
  • السياقي (Contextual): استخدمه عندما تفتقر القطع (chunks) الخاصة بك إلى السياق.

توقف عن مطاردة "أحدث ما توصل إليه العلم" (state of the art). ابدأ في قياس نتائجك.

المصدر: https://dev.to/yogesh23012001/advanced-rag-techniques-arent-better-theyre-better-sometimes-4m2o

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi