𝗛𝘆𝗯𝗿𝗶𝗱 𝗥𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹 𝗮𝗻𝗱 𝗔𝗴𝗲𝗻𝘁 𝗢𝗯𝘀𝗲𝗿𝘃𝗮𝗯𝗶𝗹𝗶𝘁𝘆
பெரும்பாலான RAG அமைப்புகள் production-இல் தோல்வியடைகின்றன. அவை language model-ஆல் தோல்வியடைவதில்லை; அவை retrieval-இல் தான் தோல்வியடைகின்றன.
சரியான data chunk-ஐ மீட்டெடுப்பதில் இந்த அமைப்பு தவறிவிடுகிறது. அல்லது தரவை மீட்டெடுக்கிறது, ஆனால் அதை rank 40-இல் புதைத்துவிடுகிறது. இதனால் generator-ஆல் அந்தத் தகவலைப் பார்க்க முடிவதில்லை. என்ன தவறு நடந்தது என்பதைப் பார்க்க உங்கள் குழுவிற்கு வழியில்லை.
இந்த architecture இரண்டு பிரச்சனைகளையும் சரிசெய்கிறது.
சிறந்த முடிவுகளுக்கு இந்த மூன்று படிகளைப் பின்பற்றுங்கள்:
Hybrid Retrieval-ஐப் பயன்படுத்துங்கள் Lexical BM25 மற்றும் dense semantic search ஆகியவற்றை ஒரே நேரத்தில் இயக்கவும். பட்டியல்களை இணைக்க reciprocal rank fusion-ஐப் பயன்படுத்தவும். BM25-ஐ மட்டும் பயன்படுத்துவதை விட, உரை மற்றும் அட்டவணைத் தரவுகளில் இது Recall@5-ஐ 8 சதவீத புள்ளிகள் உயர்த்துகிறது என்று benchmarks காட்டுகின்றன.
ஒரு Reranker-ஐச் சேர்க்கவும் Precision-ஐ அதிகரிக்க reranker சிறந்த வழியாகும். முதல் 50 முதல் 100 candidates-களுக்கு ஒரு cross-encoder-ஐப் பயன்படுத்தவும். இந்த படி உங்கள் முடிவுகளை கணிசமாக மேம்படுத்தும்.
Observability-யில் கவனம் செலுத்துங்கள் உங்கள் retrieval pipeline-இல் உள்ள பிழைகளைக் கண்டறிய உங்களுக்கு traces தேவை. Traces இல்லாமல், உங்களால் அமைப்பைச் சரிசெய்ய முடியாது.
இந்த production standards-உடன் உங்கள் RAG அமைப்பை உருவாக்குங்கள்.
Source: https://dev.to/rishi_kora/hybrid-retrieval-and-agent-observability-a-production-rag-build-2h6p
Optional learning community: https://t.me/GyaanSetuAi