خط لوله RAG: راهنمای عمو و برادرزاده

از هوش مصنوعی نخواهید که حدس بزند. به آن واقعیت‌ها را ارائه دهید.

اکثر مردم فکر می‌کنند هوش مصنوعی همه چیز را می‌داند. اما اینطور نیست. هوش مصنوعی فقط چیزهایی را می‌داند که در طول آموزش یاد گرفته است. اگر از آن درباره داده‌های خصوصی شرکت خود بپرسید، دچار توهم (hallucinate) می‌شود. با اعتماد به نفس به شما دروغ خواهد گفت.

تولید تقویت‌شده با بازیابی (RAG) این مشکل را حل می‌کند.

به جای اینکه از هوش مصنوعی بخواهید از حافظه‌اش پاسخ دهد، سه مرحله را دنبال می‌کنید:

• بازیابی (Retrieval): یافتن اسناد مناسب. • تقویت (Augmentation): افزودن آن اسناد به پرامپت (prompt) شما. • تولید (Generation): اجازه دهید هوش مصنوعی تنها بر اساس آن اسناد پاسخ دهد.

برای ساخت یک سیستم RAG در سطح تولید (production-grade)، به چیزی فراتر از یک اسکریپت ساده نیاز دارید. شما به مهندسی نیاز دارید.

در اینجا طرح کلی برای یک سیستم قابل اعتماد آورده شده است:

  1. آماده‌سازی داده‌ها کل اسناد را به صورت یکجا embedding نکنید. آن‌ها را به تکه‌های کوچک (chunks) تقسیم کنید. از روش پنجره لغزان (sliding window) با ۱۰۰۰ تا ۱۵۰۰ توکن و ۲۰۰ توکن هم‌پوشانی (overlap) استفاده کنید. این کار باعث حفظ بافت (context) می‌شود.

  2. پشته ذخیره‌سازی (Storage Stack) از زیرساخت‌های پیچیده و جدید اجتناب کنید. از PostgreSQL به همراه افزونه pgvector استفاده کنید. این کار به شما اجازه می‌دهد داده‌ها و embeddingهای برداری خود را در یک مکان قابل اعتماد ذخیره کنید.

  3. جستجوی ترکیبی (Hybrid Search) جستجوی برداری (Vector search) برای مفاهیم عالی است اما برای واقعیت‌های دقیق ضعیف عمل می‌کند. جستجوی برداری را با جستجوی کلمات کلیدی ترکیب کنید. این کار هم معنای معنایی (semantic) و هم دقت دقیق را به شما می‌دهد.

  4. رتبه‌بندی مجدد (Reranking) جستجوی برداری سریع است اما می‌تواند نویز داشته باشد. از یک فرآیند دو مرحله‌ای استفاده کنید. از یک مدل سریع برای یافتن ۲۰ نتیجه برتر استفاده کنید، سپس از یک reranker دقیق‌تر برای انتخاب ۵ مورد برتر استفاده کنید.

  5. جلوگیری از توهم (Hallucinations) از این پنج لایه حفاظتی استفاده کنید: • مرزهای بازیابی سخت‌گیرانه‌ای در پرامپت خود تعیین کنید. • از خروجی JSON ساختاریافته استفاده کنید. • تأیید کنید که هوش مصنوعی واقعاً از شواهد ارائه شده استفاده کرده است. • مکانیزم کنترل اطمینان (confidence gating) را پیاده‌سازی کنید. • هوش مصنوعی را مجبور کنید که ارجاعات (citations) ارائه دهد.

RAG جادو نیست. مهندسی است. RAG یعنی داده‌های شفاف، الگوهای اثبات‌شده و اندازه‌گیری مداوم.

سیستم‌هایی بسازید که شواهد ارائه می‌دهند، نه حدس و گمان.

منبع: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4

انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi