بازیابی ترکیبی و مشاهدهپذیری عامل
اکثر سیستمهای RAG در محیط عملیاتی شکست میخورند. آنها به دلیل مدل زبانی شکست نمیخورند، بلکه در مرحله بازیابی (retrieval) دچار مشکل میشوند.
سیستم در استخراج قطعه داده (data chunk) صحیح شکست میخورد، یا داده را پیدا میکند اما آن را در رتبه ۴۰ قرار میدهد. در این حالت، مولد (generator) هرگز آن اطلاعات را نمیبیند و تیم شما نیز راهی برای فهمیدن اینکه مشکل از کجاست ندارد.
این معماری هر دو مشکل را حل میکند.
برای نتایج بهتر، این سه مرحله را دنبال کنید:
از بازیابی ترکیبی (Hybrid Retrieval) استفاده کنید جستجوی واژگانی BM25 و جستجوی معنایی متراکم (dense semantic search) را بهطور همزمان اجرا کنید. برای ادغام لیستها از روش ترکیب رتبه متقابل (reciprocal rank fusion) استفاده کنید. بنچمارکها نشان میدهند که این کار در مقایسه با استفاده از BM25 به تنهایی، میزان Recall@5 را در دادههای متنی و جدولی ۸ درصد افزایش میدهد.
یک بازرتبهکننده (Reranker) اضافه کنید یک Reranker بهترین راه برای افزایش دقت (precision) شماست. از یک cross-encoder روی ۵۰ تا ۱۰۰ کاندیدای برتر استفاده کنید. این مرحله نتایج شما را بهطور قابلتوجهی بهبود میبخشد.
بر مشاهدهپذیری (Observability) تمرکز کنید برای یافتن خطاها در خط لوله بازیابی (retrieval pipeline) خود، به ردپاها (traces) نیاز دارید. بدون ردپاها، نمیتوانید سیستم را اصلاح کنید.
سیستم RAG خود را با این استانداردهای عملیاتی بسازید.
منبع: https://dev.to/rishi_kora/hybrid-retrieval-and-agent-observability-a-production-rag-build-2h6p
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi