હાઇબ્રિડ રિટ્રીવલ અને એજન્ટ ઓબ્ઝર્વેબિલિટી
મોટાભાગની RAG સિસ્ટમ્સ પ્રોડક્શનમાં નિષ્ફળ જાય છે. તેઓ લેંગ્વેજ મોડલને કારણે નિષ્ફળ નથી જતા, પરંતુ રિટ્રીવલ (retrieval) માં નિષ્ફળ જાય છે.
સિસ્ટમ સાચો ડેટા ચંક (data chunk) મેળવવામાં નિષ્ફળ જાય છે. અથવા તે ડેટા મેળવે છે પરંતુ તેને રેન્ક 40 પર દબાવી દે છે. જનરેટર ક્યારેય તે માહિતી જોઈ શકતું નથી. તમારી ટીમ પાસે શું ભૂલ થઈ તે જાણવાનો કોઈ રસ્તો હોતો નથી.
આ આર્કિટેક્ચર બંને સમસ્યાઓનું નિરાકરણ લાવે છે.
વધુ સારા પરિણામો માટે આ ત્રણ સ્ટેપ્સ અનુસરો:
હાઇબ્રિડ રિટ્રીવલ (Hybrid Retrieval) નો ઉપયોગ કરો લેક્સિકલ BM25 અને ડેન્સ સેમેન્ટિક સર્ચ (dense semantic search) એકસાથે ચલાવો. લિસ્ટને મર્જ કરવા માટે reciprocal rank fusion નો ઉપયોગ કરો. બેન્ચમાર્ક દર્શાવે છે કે માત્ર BM25 ની સરખામણીમાં, ટેક્સ્ટ અને ટેબલ ડેટા પર આનાથી Recall@5 માં 8 ટકા પોઈન્ટ્સનો વધારો થાય છે.
રિરૅન્કર (Reranker) ઉમેરો પ્રિસિઝન (precision) વધારવા માટે રિરૅન્કર એ તમારો શ્રેષ્ઠ રસ્તો છે. ટોચના 50 થી 100 ઉમેદવારો પર cross-encoder નો ઉપયોગ કરો. આ સ્ટેપ તમારા પરિણામોમાં નોંધપાત્ર સુધારો કરે છે.
ઓબ્ઝર્વેબિલિટી (Observability) પર ધ્યાન કેન્દ્રિત કરો તમારી રિટ્રીવલ પાઇપલાઇનમાં ભૂલો શોધવા માટે તમારે ટ્રેસિસ (traces) ની જરૂર છે. ટ્રેસિસ વગર, તમે સિસ્ટમને સુધારી શકશો નહીં.
આ પ્રોડક્શન સ્ટાન્ડર્ડ્સ સાથે તમારી RAG સિસ્ટમ બનાવો.
સ્ત્રોત: https://dev.to/rishi_kora/hybrid-retrieval-and-agent-observability-a-production-rag-build-2h6p
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi