RAG ಹೇಗೆ AI ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್‌ಗಳನ್ನು (Hallucinations) 85% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ

AI ಆಗಾಗ್ಗೆ ತಪ್ಪು ಅಥವಾ ಇಲ್ಲದ ವಿಷಯಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ಇದನ್ನು 'ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್' (hallucination) ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.

Retrieval Augmented Generation (RAG) ಈ ಸಮಸ್ಯೆಯನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ. ಇದು AI ಕೇವಲ ಊಹಿಸುವುದನ್ನು ತಡೆದು, ನೈಜ ಸತ್ಯಗಳನ್ನು ನೋಡಿ ಉತ್ತರಿಸುವಂತೆ ಮಾಡುತ್ತದೆ.

Pinecone ದತ್ತಾಂಶವು ದೊಡ್ಡ ವ್ಯತ್ಯಾಸವನ್ನು ತೋರಿಸುತ್ತದೆ. 2021 ರ ನಂತರದ ಸತ್ಯಗಳ ಬಗ್ಗೆ GPT-4 ಗೆ ಕೇಳಿದಾಗ, RAG ಬಳಸುವುದರಿಂದ ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್ ದರವು 27% ರಿಂದ ಕೇವಲ 4% ಕ್ಕೆ ಇಳಿಕೆಯಾಗಿದೆ.

ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

RAG ಇಲ್ಲದ AI ಅನ್ನು ನೆನಪಿನ ಶಕ್ತಿಯ ಮೇಲೆ ಪರೀಕ್ಷೆ ಬರೆಯುವ ವಿದ್ಯಾರ್ಥಿಯಂತೆ ಭಾವಿಸಿ. ಒಂದು ವೇಳೆ ಅವರು ಯಾವುದಾದರೂ ವಿಷಯವನ್ನು ಮರೆತರೆ, 똑ಸುರನಂತೆ ಕಾಣಲು ಸುಳ್ಳು ಹೇಳಬಹುದು.

RAG ಇರುವ AI ಅನ್ನು 'ಓಪನ್-ಬುಕ್' (open-book) ಪರೀಕ್ಷೆ ಬರೆಯುವ ವಿದ್ಯಾರ್ಥಿಯಂತೆ ಭಾವಿಸಿ. ಅವರು ಉತ್ತರಿಸುವ ಮೊದಲು ಪಠ್ಯಪುಸ್ತಕದಲ್ಲಿ ಉತ್ತರವನ್ನು ಹುಡುಕುತ್ತಾರೆ.

ಈ ಪ್ರಕ್ರಿಯೆಯು ಈ ಕೆಳಗಿನ ಹಂತಗಳನ್ನು ಅನುಸರಿಸುತ್ತದೆ:

• ಸಿಸ್ಟಮ್ ನಿಮ್ಮ ಪ್ರಶ್ನೆಯನ್ನು 'ವೆಕ್ಟರ್' (vector) ಎಂಬ ಗಣಿತದ ಕೋಡ್ ಆಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ. • ಇದು ಸಮಾನವಾದ ಗಣಿತದ ಕೋಡ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಪಠ್ಯದ ತುಣುಕುಗಳಿಗಾಗಿ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಹುಡುಕುತ್ತದೆ. • ಇದು ಸಾಮ್ಯತೆಯ ಸ್ಕೋರ್‌ಗಳ (similarity scores) ಆಧಾರದ ಮೇಲೆ ಅತ್ಯುತ್ತಮ ಹೊಂದಾಣಿಕೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ. • ಇದು ಈ ನಿರ್ದಿಷ್ಟ ಮಾಹಿತಿಯನ್ನು ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್‌ಗೆ (prompt) ಸೇರಿಸುತ್ತದೆ. • AI ತನ್ನ ಉತ್ತರವನ್ನು ಬರೆಯಲು ಒದಗಿಸಲಾದ ಸತ್ಯಗಳನ್ನು ಓದುತ್ತದೆ. • ನೀವು ಅವುಗಳನ್ನು ಪರಿಶೀಲಿಸಲು ಅನುಕೂಲವಾಗುವಂತೆ ಸಿಸ್ಟಮ್ ನಿಮಗೆ ಮೂಲಗಳನ್ನು (sources) ತೋರಿಸುತ್ತದೆ.

ಇದು ನಿಮ್ಮ ಕೆಲಸಕ್ಕೆ ಏಕೆ ಮುಖ್ಯವಾಗುತ್ತದೆ:

  • ನಿಖರತೆ (Accuracy): AI ತನ್ನ ತರಬೇತಿಯ ನೆನಪಿನ ಬದಲು ನೈಜ ದತ್ತಾಂಶವನ್ನು ಬಳಸುತ್ತದೆ.
  • ತಾಜಾತನ (Freshness): ಇಡೀ ಮಾಡೆಲ್ ಅನ್ನು ಮರುತರಬೇತಿಗೊಳಿಸದೆ ನೀವು ಇಂದಿನ ಸುದ್ದಿಯನ್ನು AI ಗೆ ನೀಡಬಹುದು.
  • ಪಾರದರ್ಶಕತೆ (Transparency): ಮಾಹಿತಿ ಎಲ್ಲಿಂದ ಬಂದಿದೆ ಎಂಬುದನ್ನು ನೀವು ನಿಖರವಾಗಿ ನೋಡಬಹುದು.
  • ಕಡಿಮೆ ವೆಚ್ಚ (Low Cost): RAG ಮೂಲಕ ಸಣ್ಣ ಪ್ರಮಾಣದ ದತ್ತಾಂಶವನ್ನು ಪ್ರೊಸೆಸ್ ಮಾಡಲು $0.002 ವೆಚ್ಚವಾಗುತ್ತದೆ. ದೊಡ್ಡ ಮಟ್ಟದ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋವನ್ನು (context window) ಪ್ರೊಸೆಸ್ ಮಾಡಲು $2.00 ವೆಚ್ಚವಾಗಬಹುದು.

ದೊಡ್ಡ ಕಂಪನಿಗಳು ಈಗಾಗಲೇ ಇದನ್ನು ಬಳಸುತ್ತಿವೆ:

  • Perplexity AI: ಉಲ್ಲೇಖಗಳೊಂದಿಗೆ (citations) ಸರ್ಚ್ ಇಂಜಿನ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು RAG ಅನ್ನು ಬಳಸುತ್ತದೆ.
  • Claude: ದೀರ್ಘ ದಾಖಲೆಗಳ ಮೇಲಿನ ವೆಚ್ಚವನ್ನು ಉಳಿಸಲು RAG ಅನ್ನು ಬಳಸುತ್ತದೆ.
  • Microsoft Copilot: ನಿಮ್ಮ ಫೈಲ್‌ಗಳು ಮತ್ತು ಇಮೇಲ್‌ಗಳನ್ನು ಓದಲು RAG ಅನ್ನು ಬಳಸುತ್ತದೆ.

RAG, AI ಅನ್ನು ಕೇವಲ ಸೃಜನಾತ್ಮಕ ಕಥೆಗಾರನಿಂದ ನಂಬಿಕಾರ್ಹ ಸಂಶೋಧಕನನ್ನಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ.

ಮೂಲ (Source): https://dev.to/tawan_shamsanor_30e1980a9/rag-ldkaarhlnkhng-ai-aid-85-aidyaangair-57ni