ಏಜೆಂಟಿಕ್ ರಿಟ್ರಿೀವಲ್ (Agentic retrieval) ಅನ್ನು ಸಾಂಪ್ರದಾಯಿಕ ರಿಟ್ರಿೀವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ (RAG) ಪೈಪ್‌ಲೈನ್‌ಗಳ ನಂತರದ ಮುಂದಿನ ಹಂತವೆಂದು ಪ್ರಚಾರ ಮಾಡಲಾಗುತ್ತಿದೆ. ಇದು ಭ್ರಮೆ ಮಾಡುವುದನ್ನು (hallucinating) ನಿಲ್ಲಿಸಿ, ಮಾಹಿತಿಯನ್ನು ಹೇಗೆ ಪಡೆಯಬೇಕು ಎಂಬುದರ ಬಗ್ಗೆ "ಯೋಚಿಸುವ" ಉತ್ಪಾದನಾ AI ವ್ಯವಸ್ಥೆಗಳನ್ನು ಭರವಸೆ ನೀಡುತ್ತದೆ. ಬೆಂಬಲಿಗರ ಪ್ರಕಾರ, ಇಡೀ ಮಾಹಿತಿಯ ಸಂಗ್ರಹವನ್ನು (corpus) ಮಾಡೆಲ್‌ನ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗೆ (context window) ಒದಗಿಸುವ ಬದಲು ಈ ವಿಧಾನವನ್ನು ಬಳಸುವುದರಿಂದ, ದೊಡ್ಡ ದಾಖಲೆಗಳ ಸಂಗ್ರಹದಲ್ಲಿ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುವ ವೆಚ್ಚವನ್ನು 82 ಪಟ್ಟು ಹೆಚ್ಚು ಕಡಿಮೆ ಮಾಡಬಹುದು. ಇದು ಜನರೇಟಿವ್ AI ಅನ್ನು ವಿಸ್ತರಿಸುತ್ತಿರುವ ಯಾವುದೇ ವ್ಯವಹಾರಕ್ಕೆ ಬಹಳ ಮುಖ್ಯವಾದ ಉಳಿತಾಯವಾಗಿದೆ.

ಹಳೆಯ RAG ಪೈಪ್‌ಲೈನ್ ಏಕೆ ಸಾಲದು

ಸಾಂಪ್ರದಾಯಿಕ RAG ಕಾರ್ಯವಿಧಾನವು ಒಂದು ಸ್ಥಿರ ಅನುಕ್ರಮವಾಗಿದೆ: ದಾಖಲೆಗಳನ್ನು ಚಂಕ್‌ಗಳಾಗಿ (chunks) ವಿಭಜಿಸುವುದು, ಪ್ರತಿ ಚಂಕ್ ಅನ್ನು ಡೆನ್ಸ್ ವೆಕ್ಟರ್ ಸ್ಪೇಸ್‌ನಲ್ಲಿ ಎಂಬೆಡ್ ಮಾಡುವುದು, ನಂತರ ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗೆ ಸಂಬಂಧಿಸಿದ ಟಾಪ್-ಸ್ಕೋರಿಂಗ್ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಪಡೆಯುವುದು. ಡೆಮೋಗಳಲ್ಲಿ ಈ ವಿಧಾನವು ಅಚ್ಚುಕಟ್ಟಾಗಿ ಕಾಣಿಸುತ್ತದೆ—ಮಾಡೆಲ್ ಕೆಲವು "ಪ್ರಸ್ತುತ" ಪಠ್ಯಭಾಗಗಳನ್ನು ಪಡೆಯುತ್ತದೆ ಮತ್ತು ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಉತ್ತರಿಸುತ್ತದೆ. ಆದರೆ, ಉತ್ಪಾದನಾ ಹಂತದಲ್ಲಿ (production), ಆ ಆತ್ಮವಿಶ್ವಾಸವು ಹೆಚ್ಚಾಗಿ ತಪ್ಪಾಗಿರುತ್ತದೆ.

ಈ ಸಮಸ್ಯೆಗೆ ಮೂರು ವ್ಯವಸ್ಥಿತ ದೋಷಗಳು ಕಾರಣವಾಗಿವೆ:

  • ವೆಕ್ಟರ್ ಸಾಮ್ಯತೆ ≠ ಪ್ರಸ್ತುತತೆ (Vector similarity ≠ relevance). ಎರಡು ಪಠ್ಯಭಾಗಗಳು ಗಣಿತೀಯವಾಗಿ ಹತ್ತಿರವಾಗಿರಬಹುದು ಆದರೆ ವಿಭಿನ್ನ ಸತ್ಯಗಳನ್ನು ವ್ಯಕ್ತಪಡಿಸಬಹುದು, ಇದು ಮಾಡೆಲ್ ತಪ್ಪು ಮಾಹಿತಿಯನ್ನು ಉಲ್ಲೇಖಿಸಲು ಕಾರಣವಾಗುತ್ತದೆ.
  • ಫ್ರಾಗ್ಮೆಂಟೇಶನ್ ಸತ್ಯಗಳನ್ನು ವಿಭಜಿಸುತ್ತದೆ (Fragmentation breaks facts). ಸ್ಥಿರ ಚಂಕಿಂಗ್ (Fixed chunking) ಒಂದು ಹೇಳಿಕೆಯನ್ನು ಅನಿವಾರ್ಯವಾಗಿ ಅರ್ಧಕ್ಕೆ ಕತ್ತರಿಸುತ್ತದೆ. ಮಾಡೆಲ್‌ಗೆ ಕೇವಲ ಒಂದು ಭಾಗ ಮಾತ್ರ ಸಿಕ್ಕರೆ, ಅದು ಕಣ್ಮರೆಯಾದ ಭಾಗವನ್ನು ಪುನರ್ನಿರ್ಮಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.
  • ಗೊಂದಲಮಯ ಪ್ರಶ್ನೆಗಳು (Messy queries). ನೈಜ ಪ್ರಪಂಚದ ಪ್ರಶ್ನೆಗಳು ಹೆಚ್ಚಿನ ಎಂಬೆಡ್ಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳ ತರಬೇತಿ ಡೇಟಾದಿಂದ ಭಿನ್ನವಾಗಿರುತ್ತವೆ, ಆದ್ದರಿಂದ ಸಾಮ್ಯತೆಯ ಹುಡುಕಾಟವು ಸಂಬಂಧವಿಲ್ಲದ ಚಂಕ್‌ಗಳನ್ನು ನೀಡುತ್ತದೆ.

ಪೈಪ್‌ಲೈನ್ ತಪ್ಪಾದ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ಅನ್ನು ನೀಡಿದಾಗ, ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್ ಇನ್ನೂ ಉತ್ತರವನ್ನು ನೀಡುತ್ತದೆ, ಅದು ಹೆಚ್ಚಾಗಿ ಹೆಚ್ಚಿನ ನಂಬಿಕೆಯಿಂದ ಕೂಡಿರುತ್ತದೆ ಮತ್ತು ವ್ಯವಸ್ಥೆಯು ಯಾವುದೇ ದೋಷವನ್ನು ಎತ್ತಿ ತೋರಿಸುವುದಿಲ್ಲ. ಇದರ ಪರಿಣಾಮ "ಸೈಲೆಂಟ್ ಹ್ಯಾಲ್ಯುಸಿನೇಶನ್" (silent hallucination) — ಇದು ಲೈವ್ ಸೇವೆಯಲ್ಲಿ ಪತ್ತೆಹಚ್ಚಲು ಕಷ್ಟವಾದ ಒಂದು ಮೌನ ವೈಫಲ್ಯವಾಗಿದೆ.

ಹೈಬ್ರಿಡ್ ರಿಟ್ರಿೀವಲ್: ಒಂದು ಹಂತದ ಪರಿಹಾರ

ಕೀವರ್ಡ್ ಸರ್ಚ್ ಅನ್ನು ಡೆನ್ಸ್ ವೆಕ್ಟರ್‌ಗಳ ಮೇಲೆ ಬಳಸುವ ಮೂಲಕ ಹೈಬ್ರಿಡ್ ರಿಟ್ರಿೀವರ್ ಅನ್ನು ರಚಿಸುವುದು ಒಂದು ಸಾಮಾನ್ಯ ಪ್ರತಿಕ್ರಿಯೆಯಾಗಿದೆ, ಇದು ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳು ತಪ್ಪಿಸಿಕೊಳ್ಳುವ ನಿಖರವಾದ ಪದಗಳ ಹೊಂದಾಣಿಕೆಯನ್ನು ಪತ್ತೆಹಚ್ಚಬಲ್ಲದು. ರೀರಾಂಕರ್ (reranker) ಅನ್ನು ಸೇರಿಸುವುದು — ಕಲಿತ ಪ್ರಸ್ತುತತೆಯ ಸ್ಕೋರ್ ಆಧಾರದ ಮೇಲೆ ಹುಡುಕಿದ ಪಟ್ಟಿಯನ್ನು ಮರುಕ್ರಮಗೊಳಿಸುವ ಎರಡನೇ ಮಾಡೆಲ್ — ನಿಖರತೆಯನ್ನು ಮತ್ತಷ್ಟು ಸುಧಾರಿಸುತ್ತದೆ.

ಹೈಬ್ರಿಡ್ ರಿಟ್ರಿೀವಲ್ ಇನ್ನೂ ಒಂದು ಸ್ಥಿರ ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಅನುಸರಿಸುತ್ತದೆ: ಕಠಿಣತೆ ಅಥವಾ ಅನಿಶ್ಚಿತತೆಯ ಹೊರತಾಗಿಯೂ ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆಯು ಒಂದೇ ರೀತಿಯ ಹಂತಗಳನ್ನು ಪ್ರಚೋದಿಸುತ್ತದೆ. ಪೈಪ್‌ಲೈನ್ ತನ್ನಿಗೆ ಹೆಚ್ಚಿನ ಡೇಟಾ ಬೇಕೇ, ಸಂಕೀರ್ಣ ಪ್ರಶ್ನೆಯನ್ನು ಉಪ-ಪ್ರಶ್ನೆಗಳಾಗಿ ಹೇಗೆ ವಿಭಜಿಸಬೇಕು ಅಥವಾ ಹುಡುಕಿದ ತುಣುಕು ಸಾಕಾಗುತ್ತದೆಯೇ ಎಂದು ನಿರ್ಧರಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.

ಏಜೆಂಟಿಕ್ ರಿಟ್ರಿೀವಲ್ ಹುಡುಕಾಟವನ್ನು ಒಂದು ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಪ್ರಕ್ರಿಯೆಯಾಗಿ ಪರಿಗಣಿಸುತ್ತದೆ

ಏಜೆಂಟಿಕ್ ರಿಟ್ರಿೀವಲ್ ಸಮಸ್ಯೆಯನ್ನು ಮಾನವ ಸಂಶೋಧಕನನ್ನು ಅನುಕರಿಸುವ ಸ್ವಾಯತ್ತ "ಏಜೆಂಟ್" ಮಾಡುವ ಸರಣಿ ನಿರ್ಧಾರಗಳಾಗಿ ಮರುರೂಪಿಸುತ್ತದೆ. ಏಜೆಂಟ್ ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಮಾಡಬಲ್ಲದು:

  • ಪ್ರಶ್ನೆಯನ್ನು ಮರುಬರೆಯುವುದು (Rewrite the query). ಹುಡುಕಾಟದ ಮೊದಲು ಇದು ಸಾಮಾನ್ಯ ಅಥವಾ ಅಸ್ಪಷ್ಟ ಪದಗಳನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ, ಇದರಿಂದ ರಿಟ್ರಿೀವಲ್ ಮಾಡೆಲ್‌ಗಳು ಉದ್ದೇಶವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚುತ್ತದೆ.
  • ರಿಟ್ರಿೀವಲ್ ಅಗತ್ಯವಿದೆಯೇ ಎಂದು ಕೇಳುವುದು. ನೇರವಾದ ಪ್ರಶ್ನೆಗಳಿಗೆ ಏಜೆಂಟ್ ನೇರವಾಗಿ ಉತ್ತರಿಸುತ್ತದೆ, ಇದರಿಂದ ಟೋಕನ್‌ಗಳನ್ನು ಉಳಿಸಬಹುದು ಮತ್ತು ಅನಗತ್ಯ ಗೊಂದಲವನ್ನು ತಪ್ಪಿಸಬಹುದು.
  • ಬಹು-ಹಂತದ ಹುಡುಕಾಟವನ್ನು ಯೋಜಿಸುವುದು. ಸಂಕೀರ್ಣ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಣ್ಣ ಉಪ-ಪ್ರಶ್ನೆಗಳಾಗಿ ವಿಭಜಿಸಲಾಗುತ್ತದೆ, ಪ್ರತಿಯೊಂದನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಹುಡುಕಲಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ಮರುಸಂಯೋಜಿಸಲಾಗುತ್ತದೆ.
  • ಸ್ವಯಂ-ತಿದ್ದುಪಡಿ (Self-correct). ಆರಂಭಿಕ ಫಲಿತಾಂಶವು ದುರ್ಬಲವಾಗಿದ್ದರೆ — ಉದಾಹರಣೆಗೆ, ಕಡಿಮೆ ಕಾನ್ಫಿಡೆನ್ಸ್ ಸ್ಕೋರ್ ಅಥವಾ ವಿರೋಧಾಭಾಸದ ಪುರಾವೆಗಳು — ಏಜೆಂಟ್ ವಿಭಿನ್ನ ರೂಪದಲ್ಲಿ ಅಥವಾ ವಿಸ್ತೃತ ಹುಡುಕಾಟದ ವ್ಯಾಪ್ತಿಯೊಂದಿಗೆ ಪ್ರಶ್ನೆಯನ್ನು ಮತ್ತೆ ನೀಡುತ್ತದೆ.

ವೆಚ್ಚದ ವಾದಗಳು: ಲಾಂಗ್ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವರ್ಸಸ್ ರಿಟ್ರಿೀವಲ್

ಕೆಲವು ವಿಮರ್ಶಕರು ದೊಡ್ಡ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳು ರಿಟ್ರಿೀವಲ್ ಅನ್ನು ಅಪ್ರಸ್ತುತಗೊಳಿಸುತ್ತವೆ ಎಂದು ವಾದಿಸುತ್ತಾರೆ. ಇದಕ್ಕೆ ಪ್ರಾಯೋಗಿಕವಾದ ಪ್ರತಿಕ್ರಿಯೆಯೆಂದರೆ: ಮಾಡೆಲ್‌ನ ಕಾನ್ಟೆಕ್ಸ್ಟ್‌ಗೆ ಬೃಹತ್ ಮಾಹಿತಿಯನ್ನು ಒದಗಿಸುವುದು ಕೇಂದ್ರೀಕೃತ ರಿಟ್ರಿೀವಲ್ ಅನ್ನು விட ಅತಿ ಹೆಚ್ಚು ವೆಚ್ಚವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ. ಅಂದಾಜಿನ ಪ್ರಕಾರ, ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳಿಗೆ ರಿಟ್ರಿೀವಲ್ 8 ರಿಂದ 82 ಪಟ್ಟು ಅಗ್ಗವಾಗಿದೆ, ಮತ್ತು ನಿಖರವಾದ ಉತ್ತರಗಳಿಗೆ ಅಗತ್ಯವಾದ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ಸಣ್ಣ, ಆಯ್ದ ದಾಖಲೆಗಳ ಮೇಲೆ ಸೂಕ್ಷ್ಮವಾದ ತರ್ಕಕ್ಕಾಗಿ ಲಾಂಗ್ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳು ಉಪಯುಕ್ತವಾಗಿರುತ್ತವೆ, ಆದರೆ ಅವು ಸ್ಕೇಲೆಬಲ್ ಹುಡುಕಾಟವನ್ನು (scalable search) ಬದಲಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.

ಪಾರದರ್ಶಕತೆ ಮತ್ತು ಪರಿಶೀಲನೆ

ಪ್ರೊಡಕ್ಷನ್-ಗ್ರೇಡ್ AI ಅಸಿಸ್ಟೆಂಟ್ ತನ್ನ ಮೂಲಗಳನ್ನು ಬಹಿರಂಗಪಡಿಸಬೇಕು. ಏಜೆಂಟಿಕ್ ರಿಟ್ರಿೀವಲ್ ಪ್ರತಿ ಹೇಳಿಕೆಗೆ ಉಲ್ಲೇಖವನ್ನು (citation) ಲಗತ್ತಿಸಬಹುದು, ಇದು ಮಾನವ ಪರಿಶೀಲಕರಿಗೆ ಸತ್ಯಾಸತ್ಯತೆಯನ್ನು ಪರಿಶೀಲಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಈ "ನಿಮ್ಮ ಕೆಲಸವನ್ನು ತೋರಿಸಿ" (show-your-work) ವಿಧಾನವು ನಂಬಿಕೆಯನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ ಮತ್ತು ಏಜೆಂಟ್ ಭವಿಷ್ಯದ ಸಂವಹನಗಳಲ್ಲಿ ತಪ್ಪಿಸುವುದನ್ನು ಕಲಿಯಬಹುದಾದ ದುರ್ಬಲ ರಿಟ್ರಿೀವಲ್ ಮಾರ್ಗಗಳನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ.

ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು

  • ಪರಿಕರಗಳು (Tooling).
  • ಮೌಲ್ಯಮಾಪನ ಮಾನದಂಡಗಳು (Evaluation standards).
  • ಎಂಟರ್‌ಪ್ರೈಸ್ ಪೈಲಟ್‌ಗಳು (Enterprise pilots).

ಸಾರಾಂಶ

ಏಜೆಂಟಿಕ್ ರಿಟ್ರಿೀವಲ್ ಅನೇಕ ಡೆಮೋಗಳಲ್ಲಿ ಪ್ರಾಬಲ್ಯ ಹೊಂದಿರುವ ಸ್ಥಿರ ಮತ್ತು ದೋಷಪೂರಿತ RAG ಪೈಪ್‌ಲೈನ್‌ಗಳ ಮಿತಿಯನ್ನು ಮೀರಿ ಬೆಳೆಯುತ್ತದೆ. AI ವ್ಯವಸ್ಥೆಯು ಯಾವಾಗ ಮತ್ತು ಹೇಗೆ ಹುಡುಕಬೇಕು ಎಂದು ನಿರ್ಧರಿಸಲು ಬಿಡುವುದರ ಮೂಲಕ, ಇದು ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ವೆಚ್ಚವನ್ನು ನಾಟಕೀಯವಾಗಿ ಕಡಿತಗೊಳಿಸುತ್ತದೆ ಮತ್ತು—ಅತ್ಯಂತ ಮುಖ್ಯವಾಗಿ—ಪ್ರತಿ ಉತ್ತರಕ್ಕೂ ಪರಿಶೀಲಿಸಬಹುದಾದ ಮೂಲಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.