الاسترجاع الهجين وقابلية مراقبة الوكيل
تفشل معظم أنظمة RAG في بيئة الإنتاج. هي لا تفشل بسبب النموذج اللغوي، بل تفشل في عملية الاسترجاع.
يفشل النظام في جلب الجزء الصحيح من البيانات، أو يجلب البيانات ولكنه يضعها في المرتبة الأربعين، فلا يرى المولد (generator) هذه المعلومات أبداً. كما لا يملك فريقك أي وسيلة لمعرفة ما حدث من خطأ.
تعالج هذه البنية كلا المشكلتين.
اتبع هذه الخطوات الثلاث للحصول على نتائج أفضل:
استخدم الاسترجاع الهجين (Hybrid Retrieval) قم بتشغيل البحث المعجمي BM25 والبحث الدلالي الكثيف (dense semantic search) في آن واحد. استخدم دمج الرتب المتبادل (reciprocal rank fusion) لدمج القوائم. تُظهر الاختبارات المرجعية أن هذا يضيف 8 نقاط مئوية إلى Recall@5 في البيانات النصية وبيانات الجداول مقارنة باستخدام BM25 وحده.
أضف أداة إعادة ترتيب (Reranker) تُعد أداة إعادة الترتيب أفضل وسيلة لزيادة الدقة. استخدم cross-encoder على أفضل 50 إلى 100 مرشح. هذه الخطوة تحسن نتائجك بشكل كبير.
ركز على قابلية المراقبة (Observability) أنت بحاجة إلى تتبعات (traces) للعثور على الأخطاء في مسار الاسترجاع الخاص بك. بدون التتبعات، لن تتمكن من إصلاح النظام.
ابنِ نظام RAG الخاص بك وفقاً لمعايير الإنتاج هذه.
المصدر: https://dev.to/rishi_kora/hybrid-retrieval-and-agent-observability-a-production-rag-build-2h6p
مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi