مسار RAG: دليل الخال وابن الأخت

توقف عن مطالبة الذكاء الاصطناعي بالتخمين. ابدأ بتزويده بالحقائق.

يعتقد معظم الناس أن الذكاء الاصطناعي يعرف كل شيء. لكنه لا يعرف ذلك. هو يعرف فقط ما تعلمه أثناء التدريب. إذا سألته عن بيانات شركتك الخاصة، فسوف يهلوس. سيكذب عليك بكل ثقة.

تقنية "التوليد المعزز بالاسترجاع" (RAG) تعالج هذه المشكلة.

بدلاً من مطالبة الذكاء الاصطناعي بالإجابة من الذاكرة، اتبع ثلاث خطوات:

• الاسترجاع (Retrieval): العثور على المستندات الصحيحة. • التعزيز (Augmentation): إضافة تلك المستندات إلى المطالبة (prompt) الخاصة بك. • التوليد (Generation): السماح للذكاء الاصطناعي بالإجابة بناءً على تلك المستندات فقط.

لبناء نظام RAG جاهز للإنتاج، أنت بحاجة إلى ما هو أكثر من مجرد نص برمجي بسيط. أنت بحاجة إلى هندسة.

إليك المخطط لنظام موثوق:

  1. تحضير البيانات لا تقم بتحويل المستندات الكاملة إلى تضمينات (embeddings). قم بتقسيمها إلى أجزاء (chunks). استخدم أسلوب النافذة المنزلقة (sliding window) بـ 1000-1500 توكن (token) مع تداخل قدره 200 توكن. هذا يحافظ على سياق النص سليماً.

  2. بنية التخزين تجنب البنى التحتية الجديدة والمعقدة. استخدم PostgreSQL مع إضافة pgvector. فهي تتيح لك تخزين بياناتك وتضمينات المتجهات (vector embeddings) الخاصة بك في مكان واحد موثوق.

  3. البحث الهجين (Hybrid Search) البحث بالمتجهات (Vector search) رائع للمفاهيم ولكنه سيء للحقائق الدقيقة. ادمج البحث بالمتجهات مع البحث بالكلمات المفتاحية (keyword search). هذا يمنحك المعنى الدلالي والدقة المتناهية في آن واحد.

  4. إعادة الترتيب (Reranking) البحث بالمتجهات سريع ولكنه قد يكون مشتتاً (noisy). استخدم عملية مكونة من مرحلتين: استخدم نموذجاً سريعاً للعثور على أفضل 20 نتيجة، ثم استخدم أداة إعادة ترتيب (reranker) أكثر دقة لاختيار أفضل 5 نتائج.

  5. منع الهلوسة استخدم طبقات الحماية الخمس هذه: • ضع حدوداً صارمة للاسترجاع في المطالبة (prompt) الخاصة بك. • استخدم مخرجات JSON مهيكلة. • تحقق من أن الذكاء الاصطناعي قد استخدم الأدلة المقدمة بالفعل. • طبق آلية التحقق من الثقة (confidence gating). • ألزم الذكاء الاصطناعي بتقديم الاستشهادات (citations).

الـ RAG ليس سحراً. إنه هندسة. الأمر يتعلق ببيانات واضحة، وأنماط مثبتة، وقياس مستمر.

ابنِ أنظمة تقدم أدلة، لا تخمينات.

Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4

Optional learning community: https://t.me/GyaanSetuAi