ಹೈಬ್ರಿಡ್ ರಿಟ್ರಿೀವಲ್ ಮತ್ತು ಏಜೆಂಟ್ ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ
ಹೆಚ್ಚಿನ RAG ವ್ಯವಸ್ಥೆಗಳು ಪ್ರೊಡಕ್ಷನ್ನಲ್ಲಿ ವಿಫಲವಾಗುತ್ತವೆ. ಅವು ಭಾಷಾ ಮಾದರಿಯಿಂದ (language model) ವಿಫಲವಾಗುವುದಿಲ್ಲ. ಅವು ರಿಟ್ರಿೀವಲ್ (retrieval) ಹಂತದಲ್ಲಿ ವಿಫಲವಾಗುತ್ತವೆ.
ವ್ಯವಸ್ಥೆಯು ಸರಿಯಾದ ಡೇಟಾ ಚಂಕ್ ಅನ್ನು ಪಡೆಯಲು ವಿಫಲವಾಗುತ್ತದೆ. ಅಥವಾ ಅದು ಡೇಟಾವನ್ನು ಪಡೆಯಬಹುದು ಆದರೆ ಅದನ್ನು 40 ನೇ ರ್ಯಾಂಕ್ನಲ್ಲಿ ಅಡಗಿಸಿಡುತ್ತದೆ. ಜನರೇಟರ್ (generator) ಎಂದಿಗೂ ಆ ಮಾಹಿತಿಯನ್ನು ನೋಡುವುದಿಲ್ಲ. ನಿಮ್ಮ ತಂಡಕ್ಕೆ ಏನು ತಪ್ಪಾಗಿದೆ ಎಂದು ನೋಡಲು ಯಾವುದೇ ಮಾರ್ಗವಿಲ್ಲ.
ಈ ಆರ್ಕಿಟೆಕ್ಚರ್ ಎರಡೂ ಸಮಸ್ಯೆಗಳನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ.
ಉತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ ಈ ಮೂರು ಹಂತಗಳನ್ನು ಅನುಸರಿಸಿ:
ಹೈಬ್ರಿಡ್ ರಿಟ್ರಿೀವಲ್ ಬಳಸಿ ಲೆಕ್ಸಿಕಲ್ BM25 ಮತ್ತು ಡೆನ್ಸ್ ಸೆಮ್ಯಾಂಟಿಕ್ ಸರ್ಚ್ ಅನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಚಲಾಯಿಸಿ. ಪಟ್ಟಿಗಳನ್ನು ವಿಲೀನಗೊಳಿಸಲು reciprocal rank fusion ಬಳಸಿ. ಕೇವಲ BM25 ಅನ್ನು ಬಳಸುವುದಕ್ಕೆ ಹೋಲಿಸಿದರೆ, ಪಠ್ಯ ಮತ್ತು ಟೇಬಲ್ ಡೇಟಾದ ಮೇಲೆ ಇದು Recall@5 ಗೆ 8 ಶೇಕಡಾ ಹೆಚ್ಚಳವನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಬೆಂಚ್ಮಾರ್ಕ್ಗಳು ತೋರಿಸುತ್ತವೆ.
ರೀರಾಂಕರ್ (Reranker) ಅನ್ನು ಸೇರಿಸಿ ನಿಖರತೆಯನ್ನು (precision) ಹೆಚ್ಚಿಸಲು ರೀರಾಂಕರ್ ಅತ್ಯುತ್ತಮ ಮಾರ್ಗವಾಗಿದೆ. ಮೊದಲ 50 ರಿಂದ 100 ಅಭ್ಯರ್ಥಿಗಳ ಮೇಲೆ cross-encoder ಬಳಸಿ. ಈ ಹಂತವು ನಿಮ್ಮ ಫಲಿತಾಂಶಗಳನ್ನು ಗಣನೀಯವಾಗಿ ಸುಧಾರಿಸುತ್ತದೆ.
ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ (Observability) ಮೇಲೆ ಗಮನಹರಿಸಿ ನಿಮ್ಮ ರಿಟ್ರಿೀವಲ್ ಪೈಪ್ಲೈನ್ನಲ್ಲಿನ ದೋಷಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ನಿಮಗೆ ಟ್ರೇಸ್ಗಳ (traces) ಅಗತ್ಯವಿದೆ. ಟ್ರೇಸ್ಗಳಿಲ್ಲದೆ, ನೀವು ವ್ಯವಸ್ಥೆಯನ್ನು ಸರಿಪಡಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.
ಈ ಪ್ರೊಡಕ್ಷನ್ ಮಾನದಂಡಗಳೊಂದಿಗೆ ನಿಮ್ಮ RAG ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸಿ.
Source: https://dev.to/rishi_kora/hybrid-retrieval-and-agent-observability-a-production-rag-build-2h6p
Optional learning community: https://t.me/GyaanSetuAi