ಹೊಸ WhatsApp-ಆಧಾರಿತ RAG (retrieval-augmented generation) ಅಸಿಸ್ಟೆಂಟ್, ಪ್ರತಿಯೊಂದು ಉತ್ತರವು JSON-encoded ಉಲ್ಲೇಖವನ್ನು (citation) ಹೊಂದಿರಬೇಕೆಂದು ಕಡ್ಡಾಯಗೊಳಿಸುವ ಮೂಲಕ ತಪ್ಪು ಮಾಹಿತಿ ನೀಡುವ (hallucinating) ಅಭ್ಯಾಸವನ್ನು ನಿಲ್ಲಿಸಿದೆ. ಮಾದರಿಯು (model) ನಿರ್ದಿಷ್ಟ ಚಂಕ್ ಅನ್ನು (chunk) ತೋರಿಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದಾಗ, ಅದು "ಅದಕ್ಕೆ ಉತ್ತರಿಸಲು ನನ್ನ ಬಳಿ ಸಾಕಷ್ಟು ಮಾಹಿತಿ ಇಲ್ಲ" ಎಂದು ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ. ಇದು ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಸುಳ್ಳು ಹೇಳುವ ವ್ಯವಸ್ಥೆಯನ್ನು, ನಂಬಿಕಾರ್ಹವಾದ "ನನಗೆ ತಿಳಿಯದು" ಎಂಬ ವ್ಯವಸ್ಥೆಯನ್ನಾಗಿ ಬದಲಾಯಿಸಿದೆ.

RAG ನಲ್ಲಿ ನಂಬಿಕೆ ಏಕೆ ಮುಖ್ಯ

RAG ಕುರಿತಾದ ಹೆಚ್ಚಿನ ಟ್ಯುಟೋರಿಯಲ್‌ಗಳು ರಿಟ್ರಿವಲ್ (retrieval) ಬಗ್ಗೆಯೇ ಹೆಚ್ಚು ಗಮನ ಹರಿಸುತ್ತವೆ—embeddings ಆಯ್ಕೆ ಮಾಡುವುದು, ದಾಖಲೆಗಳನ್ನು ಚಂಕ್‌ಗಳಾಗಿ ವಿಂಗಡಿಸುವುದು, ಫಲಿತಾಂಶಗಳನ್ನು ಮರು-ಶ್ರೇಣೀಕರಿಸುವುದು (re-ranking) ಇತ್ಯಾದಿ. ಸಂಬಂಧಿತ ಪಠ್ಯವನ್ನು ಕಂಡ ನಂತರ ಏನಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಅವು ನಿರ್ಲಕ್ಷಿಸುತ್ತವೆ. ರಿಟ್ರೀವ್ ಮಾಡಿದ ಸಂದರ್ಭವು (context) ವಾಸ್ತವವಾಗಿ ಬೆಂಬಲಿಸದ ಒಂದು ಖಚಿತವಾದ ಉತ್ತರವನ್ನು ಅಸಿಸ್ಟೆಂಟ್ ನೀಡಿದಾಗ ಬಳಕೆದಾರರು ನಂಬಿಕೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತಾರೆ.

ಆತ್ಮವಿಶ್ವಾಸದ ಅಂತರ (The confidence gap)

PostgreSQL ಮತ್ತು pgvector extension ಬಳಸಿ ನಿರ್ಮಿಸಲಾದ ಪ್ರೊಟೊಟೈಪ್‌ನಲ್ಲಿ, ರಿಟ್ರಿವಲ್ ಪೈಪ್‌ಲೈನ್ ಸರಳವಾಗಿತ್ತು. ಆದರೆ ನಿಜವಾದ ಸವಾಲು ಪ್ರೊಡಕ್ಷನ್‌ನಲ್ಲಿ ಎದುರಾಯಿತು: ರಿಟ್ರೀವ್ ಮಾಡಿದ ಸ್ನಿಪೆಟ್‌ನಲ್ಲಿ (snippet) ಅಗತ್ಯ ಮಾಹಿತಿ ಇಲ್ಲದಿದ್ದರೂ ಸಹ, ಭಾಷಾ ಮಾದರಿಯು (language model) ಬಹಳ ಖಚಿತವಾಗಿ ಮಾತನಾಡುತ್ತಿತ್ತು. ಡೆಮೊದಲ್ಲಿ ಈ ಸಮಸ್ಯೆಯನ್ನು ಮರೆಮಾಚಬಹುದು, ಆದರೆ ನೈಜ ಬಳಕೆದಾರರು ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಮಾತನಾಡುವುದು ಮತ್ತು ಸರಿಯಾಗಿರುವುದುget ನಡುವಿನ ಅಂತರವನ್ನು ಎತ್ತಿ ತೋರಿಸಿದರು.

JSON ಮೂಲಕ ಉಲ್ಲೇಖಗಳನ್ನು ಕಡ್ಡಾಯಗೊಳಿಸುವುದು

"ಸಂದರ್ಭವಿದ್ದರೆ ಮಾತ್ರ ಉತ್ತರಿಸಿ" ಎಂಬಂತಹ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ಮೂಲಕ ಮಾದರಿಯನ್ನು ಒಲಿಸಿಕೊಳ್ಳುವ ಬದಲು, ಲೇಖಕರು ಔಟ್‌ಪುಟ್ ಫಾರ್ಮ್ಯಾಟ್ ಅನ್ನು ಬದಲಾಯಿಸಿದರು. ಈಗ ವ್ಯವಸ್ಥೆಯು ಒಂದು JSON ಆಬ್ಜೆಕ್ಟ್ ಅನ್ನು ಬಯಸುತ್ತದೆ, ಅಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಹೇಳಿಕೆಯು (claim) ಅದನ್ನು ಬೆಂಬಲಿಸುವ ನಿಖರವಾದ ಚಂಕ್‌ನ ಉಲ್ಲೇಖವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಮಾದರಿಯು ಉಲ್ಲೇಖವನ್ನು ಲಗತ್ತಿಸಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ತಿರಸ್ಕರಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಬಳಕೆದಾರರು ಸ್ಪಷ್ಟವಾದ "ನನಗೆ ತಿಳಿಯದು" ಎಂಬ ಸಂದೇಶವನ್ನು ನೋಡುತ್ತಾರೆ.

ಈ ಕಡ್ಡಾಯಗೊಳಿಸುವಿಕೆಯು ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ಸೂಚನೆಗಳಿಂದ ಸ್ಕೀಮಾ ವ್ಯಾಲಿಡೇಶನ್‌ಗೆ (schema validation) ಬದಲಾಯಿತು. ಮಾದರಿಯು ಇನ್ನೂ ಪಠ್ಯವನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ, ಆದರೆ ಸುತ್ತಲಿನ ಕೋಡ್ ಬಳಕೆದಾರರನ್ನು ತಲುಪುವ ಮೊದಲು JSON ಅಗತ್ಯವಿರುವ ರಚನೆಗೆ (structure) ಹೊಂದಿಕೆಯಾಗುತ್ತಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ.

ಏನಾಯಿತು ಬದಲಾವಣೆ?

  • ಚಂಕಿಂಗ್ ಹೆಚ್ಚು ಸಂಯಮಶೀಲವಾಯಿತು (Chunking became conservative). ಅಸ್ಪಷ್ಟ ಅಥವಾ ಅತಿಯಾದ ವ್ಯಾಪ್ತಿಯ ಚಂಕ್‌ಗಳು ಈಗ ಉಲ್ಲೇಖಗಳಿಲ್ಲದೆ ಹೇಳಿಕೆಗಳನ್ನು ನೀಡುತ್ತವೆ, ಇದು "ನನಗೆ ತಿಳಿಯದು" ಎಂಬ ಫಾಲ್‌ಬ್ಯಾಕ್ (fallback) ಅನ್ನು ಪ್ರಚೋದಿಸುತ್ತದೆ.
  • ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಕುಗ್ಗಿತು. ಮಾದರಿಯ ನಡವಳಿಕೆಯನ್ನು ನಿಯಂತ್ರಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದ ದೀರ್ಘವಾದ ಪ್ರಾಂಪ್ಟ್‌ಗೆ ಬದಲಾಗಿ ಸಂಕ್ಷಿಪ್ತ ಸೂಚನೆಗಳ ಸೆಟ್ ಅನ್ನು ಬಳಸಲಾಯಿತು, ಇದರಿಂದ ಸ್ಕೀಮಾವೇ ಹೆಚ್ಚಿನ ಕೆಲಸವನ್ನು ಮಾಡುತ್ತದೆ.
  • ವೈಫಲ್ಯಗಳು ಗೋಚರಿಸುತ್ತವೆ. ರಿಟ್ರಿವಲ್ ಅಪ್ರಸ್ತುತ ಮಾಹಿತಿಯನ್ನು ನೀಡಿದಾಗ, ಅಸಿಸ್ಟೆಂಟ್ ಇನ್ನು ಮುಂದೆ ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ತಪ್ಪು ಉತ್ತರ ನೀಡಿ ತಪ್ಪನ್ನು ಮರೆಮಾಚುವುದಿಲ್ಲ; ಬದಲಾಗಿ ಅದು ತನ್ನ ಅನಿಶ್ಚಿತತೆಯನ್ನು ಮುಕ್ತವಾಗಿ ಒಪ್ಪಿಕೊಳ್ಳುತ್ತದೆ.

ಸಾರಾಂಶ (Takeaway): RAG ಅಸಿಸ್ಟೆಂಟ್‌ಗಳ ವಿಷಯದಲ್ಲಿ, ಕೇವಲ ರಿಟ್ರಿವಲ್ ಹಂತವನ್ನು ಸುಧಾರಿಸುವುದಕ್ಕಿಂತ, ಪ್ರತಿಯೊಂದು ಹೇಳಿಕೆಯು ರಿಟ್ರೀವ್ ಮಾಡಿದ ಮೂಲಕ್ಕೆ ಪತ್ತೆಹಚ್ಚಲು ಸಾಧ್ಯವಾಗುವಂತೆ ಮಾಡುವುದು ಬಳಕೆದಾರರ ನಂಬಿಕೆಯನ್ನು ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ನಿರ್ಮಿಸುತ್ತದೆ. ಉಲ್ಲೇಖಗಳು ಇಲ್ಲದಿದ್ದಾಗ ಅದನ್ನು "ನನಗೆ ತಿಳಿಯದು" ಎಂದು ತೋರಿಸುವ ಮೂಲಕ, ಡೆವಲಪರ್‌ಗಳು ಅಸಿಸ್ಟೆಂಟ್ ಸುಳ್ಳು ಉತ್ತರಗಳನ್ನು ಸೃಷ್ಟಿಸುವ ಬದಲು ತನ್ನ ಮಿತಿಗಳನ್ನು ಒಪ್ಪಿಕೊಳ್ಳುವಂತೆ ಮಾಡುತ್ತಾರೆ.