RAG ಪೈಪ್ಲೈನ್: ಅಂಕಲ್-ನೆಫ್ಯೂ ಗೈಡ್
AI ಗೆ ಊಹಿಸಲು ಕೇಳುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಅದಕ್ಕೆ ಸತ್ಯಾಂಶಗಳನ್ನು ನೀಡಲು ಪ್ರಾರಂಭಿಸಿ.
ಹೆಚ್ಚಿನ ಜನರು AI ಎಲ್ಲವನ್ನೂ ತಿಳಿದಿದೆ ಎಂದು ಭಾವಿಸುತ್ತಾರೆ. ಅದು ಅಷ್ಟೇನೂ ಅಲ್ಲ. ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಅದು ಕಲಿತದ್ದನ್ನು ಮಾತ್ರ ಅದು ಬಲ್ಲದು. ನೀವು ನಿಮ್ಮ ಖಾಸಗಿ ಕಂಪನಿಯ ಡೇಟಾದ ಬಗ್ಗೆ ಕೇಳಿದರೆ, ಅದು ಹ್ಯಾಲ್ಯುಸಿನೇಟ್ (hallucinate) ಮಾಡುತ್ತದೆ. ಅದು ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ನಿಮಗೆ ಸುಳ್ಳು ಹೇಳುತ್ತದೆ.
Retrieval-Augmented Generation (RAG) ಇದನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ.
AI ಗೆ ನೆನಪಿನ ಶಕ್ತಿಯಿಂದ ಉತ್ತರಿಸಲು ಕೇಳುವ ಬದಲು, ನೀವು ಈ ಮೂರು ಹಂತಗಳನ್ನು ಅನುಸರಿಸುತ್ತೀರಿ:
• Retrieval: ಸರಿಯಾದ ದಾಖಲೆಗಳನ್ನು ಹುಡುಕಿ. • Augmentation: ಆ ದಾಖಲೆಗಳನ್ನು ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ಗೆ ಸೇರಿಸಿ. • Generation: ಆ ದಾಖಲೆಗಳ ಆಧಾರದ ಮೇಲೆ ಮಾತ್ರ AI ಉತ್ತರಿಸಲು ಬಿಡಿ.
ಪ್ರೊಡಕ್ಷನ್-ಗ್ರೇಡ್ RAG ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸಲು, ಕೇವಲ ಒಂದು ಸರಳ ಸ್ಕ್ರಿಪ್ಟ್ ಸಾಕಾಗುವುದಿಲ್ಲ. ನಿಮಗೆ ಎಂಜಿನಿಯರಿಂಗ್ ಅಗತ್ಯವಿದೆ.
ವಿಶ್ವಾಸಾರ್ಹ ವ್ಯವಸ್ಥೆಗಾಗಿ ಇಲ್ಲಿದೆ ಒಂದು ನೀಲನಕ್ಷೆ:
ಡೇಟಾ ಸಿದ್ಧತೆ (Data Preparation) ಇಡೀ ದಾಖಲೆಗಳನ್ನು ಎಂಬೆಡ್ (embed) ಮಾಡಬೇಡಿ. ಅವುಗಳನ್ನು ಸಣ್ಣ ಭಾಗಗಳಾಗಿ (chunks) ವಿಂಗಡಿಸಿ. 1000-1500 ಟೋಕನ್ಗಳು ಮತ್ತು 200-ಟೋಕನ್ ಓವರ್ಲ್ಯಾಪ್ (overlap) ಹೊಂದಿರುವ ಸ್ಲೈಡಿಂಗ್ ವಿಂಡೋ ವಿಧಾನವನ್ನು ಬಳಸಿ. ಇದು ಸಂದರ್ಭವನ್ನು (context) ಅಖಂಡವಾಗಿಡುತ್ತದೆ.
ಸ್ಟೋರೇಜ್ ಸ್ಟ್ಯಾಕ್ (The Storage Stack) ಸಂಕೀರ್ಣವಾದ ಹೊಸ ಮೂಲಸೌಕರ್ಯಗಳನ್ನು ತಪ್ಪಿಸಿ. pgvector ಎಕ್ಸ್ಟೆನ್ಶನ್ ಹೊಂದಿರುವ PostgreSQL ಅನ್ನು ಬಳಸಿ. ಇದು ನಿಮ್ಮ ಡೇಟಾ ಮತ್ತು ವೆಕ್ಟರ್ ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು (vector embeddings) ಒಂದೇ ವಿಶ್ವಾಸಾರ್ಹ ಸ್ಥಳದಲ್ಲಿ ಸಂಗ್ರಹಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
ಹೈಬ್ರಿಡ್ ಸರ್ಚ್ (Hybrid Search) ವೆಕ್ಟರ್ ಸರ್ಚ್ ಪರಿಕಲ್ಪನೆಗಳಿಗೆ (concepts) ಉತ್ತಮವಾಗಿದೆ ಆದರೆ ನಿಖರವಾದ ಸತ್ಯಾಂಶಗಳಿಗೆ ಸರಿಯಾಗಿಲ್ಲ. ವೆಕ್ಟರ್ ಸರ್ಚ್ ಅನ್ನು ಕೀವರ್ಡ್ ಸರ್ಚ್ನೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ. ಇದು ನಿಮಗೆ ಅರ್ಥಪೂರ್ಣವಾದ ಅರ್ಥ (semantic meaning) ಮತ್ತು ನಿಖರತೆಯನ್ನು ಎರಡನ್ನೂ ನೀಡುತ್ತದೆ.
ರೀರಾಂಕಿಂಗ್ (Reranking) ವೆಕ್ಟರ್ ಸರ್ಚ್ ವೇಗವಾಗಿರುತ್ತದೆ ಆದರೆ ಅಸ್ಪಷ್ಟ ಫಲಿತಾಂಶಗಳನ್ನು (noisy) ನೀಡಬಹುದು. ಎರಡು ಹಂತದ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಬಳಸಿ. ಮೊದಲಿಗೆ ಟಾಪ್ 20 ಫಲಿತಾಂಶಗಳನ್ನು ಹುಡುಕಲು ವೇಗವಾದ ಮಾಡೆಲ್ ಬಳಸಿ, ನಂತರ ಅತ್ಯುತ್ತಮ 5 ಫಲಿತಾಂಶಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಹೆಚ್ಚು ನಿಖರವಾದ ರೀರಾಂಕರ್ ಬಳಸಿ.
ಹ್ಯಾಲ್ಯುಸಿನೇಶನ್ ತಡೆಗಟ್ಟುವುದು (Preventing Hallucinations) ಈ ಐದು ರಕ್ಷಣಾತ್ಮಕ ಪದರಗಳನ್ನು ಬಳಸಿ: • ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ಕಟ್ಟುನಿಟ್ಟಾದ ರಿಟ್ರಿவல் (retrieval) ಮಿತಿಗಳನ್ನು ನಿಗದಿಪಡಿಸಿ. • ಸ್ಟ್ರಕ್ಚರ್ಡ್ JSON ಔಟ್ಪುಟ್ ಬಳಸಿ. • AI ನಿಜವಾಗಿಯೂ ಒದಗಿಸಿದ ಪುರಾವೆಗಳನ್ನು ಬಳಸಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. • ಕಾನ್ಫಿಡೆನ್ಸ್ ಗೇಟಿಂಗ್ (confidence gating) ಅನ್ನು ಅಳವಡಿಸಿ. • AI ಸೈಟೇಶನ್ಗಳನ್ನು (citations) ನೀಡುವಂತೆ ಒತ್ತಾಯಿಸಿ.
RAG ಎಂಬುದು ಮಾಯೆಯಲ್ಲ. ಅದು ಎಂಜಿನಿಯರಿಂಗ್. ಇದು ಸ್ಪಷ್ಟವಾದ ಡೇಟಾ, ಸಾಬೀತಾದ ಮಾದರಿಗಳು ಮತ್ತು ನಿರಂತರ ಅಳತೆಗಳ ಬಗ್ಗೆ ಆಗಿದೆ.
ಕೇವಲ ಊಹೆಗಳನ್ನಲ್ಲ, ಪುರಾವೆಗಳನ್ನು ನೀಡುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸಿ.
Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ (Optional learning community): https://t.me/GyaanSetuAi