چگونه RAG توهمات هوش مصنوعی را تا ۸۵٪ کاهش می‌دهد

هوش مصنوعی اغلب چیزهایی را از خودش می‌سازد. به این پدیده «توهم» (hallucination) می‌گویند.

روش تولید تقویت‌شده با بازیابی (RAG) این مشکل را حل می‌کند. این روش مانع از حدس زدن هوش مصنوعی شده و آن را مجبور می‌کند به حقایق واقعی استناد کند.

داده‌های Pinecone تفاوت چشمگیری را نشان می‌دهد. هنگام پرسش از GPT-4 درباره حقایق مربوط به پس از سال ۲۰۲۱، نرخ توهم با استفاده از RAG از ۲۷٪ به تنها ۴٪ کاهش یافت.

این روش چگونه کار می‌کند؟

هوش مصنوعی بدون RAG را مانند دانش‌آموزی تصور کنید که در حال امتحان دادن از حفظ است. اگر او حقیقتی را فراموش کند، ممکن است برای باهوش به نظر رسیدن، دروغ بگوید.

هوش مصنوعی با RAG را مانند دانش‌آموزی تصور کنید که در حال امتحان کتاب‌باز است. او قبل از پاسخ دادن، پاسخ را در کتاب درسی جستجو می‌کند.

این فرآیند مراحل زیر را دنبال می‌کند:

• سیستم سوال شما را به یک کد ریاضی به نام vector تبدیل می‌کند. • سیستم در یک پایگاه داده به دنبال قطعات متنی با کدهای ریاضی مشابه می‌گردد. • بر اساس امتیازات شباهت، بهترین موارد مطابقت را انتخاب می‌کند. • این اطلاعات خاص را به prompt شما اضافه می‌کند. • هوش مصنوعی حقایق ارائه شده را برای نوشتن پاسخ خود می‌خواند. • سیستم منابع را به شما نشان می‌دهد تا بتوانید آن‌ها را بررسی کنید.

چرا این موضوع برای کار شما اهمیت دارد:

  • Accuracy: هوش مصنوعی به جای استفاده از حافظه آموزشی، از داده‌های واقعی استفاده می‌کند.
  • Freshness: می‌توانید بدون بازآموزی کل مدل، اخبار امروز را در اختیار هوش مصنوعی قرار دهید.
  • Transparency: شما دقیقاً می‌بینید که اطلاعات از کجا آمده است.
  • Low Cost: پردازش یک قطعه کوچک از داده از طریق RAG تنها ۰.۰۰۲ دلار هزینه دارد. پردازش یک context window بسیار بزرگ می‌تواند ۲ دلار هزینه داشته باشد.

نام‌های بزرگ از قبل از این تکنولوژی استفاده می‌کنند:

  • Perplexity AI: از RAG برای عمل کردن به عنوان یک موتور جستجو همراه با ارجاعات استفاده می‌کند.
  • Claude: از RAG برای کاهش هزینه‌ها در اسناد طولانی استفاده می‌کند.
  • Microsoft Copilot: از RAG برای خواندن فایل‌ها و ایمیل‌های شما استفاده می‌کند.

RAG هوش مصنوعی را از یک داستان‌سرای خلاق به یک پژوهشگر قابل اعتماد تبدیل می‌کند.

Source: https://dev.to/tawan_shamsanor_30e1980a9/rag-ldkaarhlnkhng-ai-aid-85-aidyaangair-57ni