AI ತೀರ್ಮಾನಗಳನ್ನು (Inference) ಸತ್ಯವೆಂದು ತಪ್ಪಾಗಿ ಗುರುತಿಸುವುದನ್ನು ತಡೆಯುವುದು ಹೇಗೆ

AI ಸಂಶೋಧನಾ ಏಜೆಂಟ್‌ಗಳು (research agents) ಹೆಚ್ಚಾಗಿ ಸತ್ಯಾಂಶಗಳನ್ನು (facts) ಮತ್ತು ಊಹೆಗಳನ್ನು (guesses) ಬೆರೆಸುತ್ತವೆ. ಒಂದು ವೆಬ್ ಪುಟವು ಮಾರುಕಟ್ಟೆಯ ಮೌಲ್ಯವನ್ನು ತಿಳಿಸಬಹುದು. ನಂತರ ಏಜೆಂಟ್ ಮಾರುಕಟ್ಟೆಯು ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ ಎಂದು ತೀರ್ಮಾನಿಸುತ್ತದೆ. ಅಂತಿಮ ಪಠ್ಯದಲ್ಲಿ ಈ ಎರಡೂ ಹೇಳಿಕೆಗಳು ಒಂದೇ ರೀತಿ ಕಾಣಿಸುತ್ತವೆ. ದತ್ತಾಂಶ (data) ಮತ್ತು ಅಭಿಪ್ರಾಯದ ಈ ಮಿಶ್ರಣವು ಅಪಾಯಕಾರಿಯಾಗಿದೆ.

ಉತ್ತಮ ಪ್ರಾಂಪ್ಟ್‌ಗಳ (prompts) ಮೂಲಕ ಇದನ್ನು ಸರಿಪಡಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಸಂಭವನೀಯತೆಯ (probabilistic) ಮೇಲೆ ಆಧಾರಿತವಾಗಿವೆ. ಒತ್ತಡದ ಸಂದರ್ಭದಲ್ಲಿ, ಮಾಡೆಲ್ ಊಹೆ ಮಾಡುತ್ತದೆ.

ಇದಕ್ಕೆ ಪರಿಹಾರವು ರಚನಾತ್ಮಕವಾಗಿದೆ (structural). ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಪ್ರಕ್ರಿಯೆಯನ್ನು LLM ನಿಂದ ನಿಮ್ಮ ಕೋಡ್‌ಗೆ (code) ವರ್ಗಾಯಿಸಿ.

ಕೆಲಸವನ್ನು ಎರಡು ಭಾಗಗಳಾಗಿ ವಿಂಗಡಿಸಿ:

LLM ಮಾಡುವುದು:

  • ಪುಟದಿಂದ ಹೇಳಿಕೆಗಳನ್ನು (claims) ಹೊರತೆಗೆಯುವುದು.
  • ಪಠ್ಯವನ್ನು ಸಾರಾಂಶಗೊಳಿಸುವುದು.

ಡಿಟರ್ಮಿನಿಸ್ಟಿಕ್ ಕೋಡ್ (Deterministic code) ಮಾಡುವುದು:

  • ಹೇಳಿಕೆಗಳಿಗೆ ಸ್ಕೋರ್ ನೀಡುವುದು.
  • ಮೂಲಗಳನ್ನು (sources) ಪರಿಶೀಲಿಸುವುದು.
  • ಹೇಳಿಕೆಗಳನ್ನು FACT ಅಥವಾ INFERENCE ಎಂದು ಲೇಬಲ್ ಮಾಡುವುದು.
  • ದತ್ತಾಂಶವು ತಾಜಾ (fresh) ಆಗಿದೆಯೇ ಎಂದು ನಿರ್ಧರಿಸುವುದು.

ಒಂದು ಹೇಳಿಕೆಯು ಕಟ್ಟುನಿಟ್ಟಾದ ನಿಯಮಗಳನ್ನು ಪಾಲಿಸಿದರೆ ಮಾತ್ರ FACT ಎಂಬ ಲೇಬಲ್ ಪಡೆಯುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಅದು ಎರಡು ಸ್ವತಂತ್ರ ಮೂಲಗಳಿಂದ ಅಥವಾ ಒಂದು ಅಧಿಕೃತ API ಯಿಂದ ಬರಬೇಕು. ಉಳಿದೆಲ್ಲವೂ INFERENCE ಆಗುತ್ತದೆ.

ಈ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಬಳಸಿ:

  1. PLAN: ಪ್ರಶ್ನೆಯನ್ನು ಉಪ-ಪ್ರಶ್ನೆಗಳಾಗಿ (sub-queries) ಪರಿವರ್ತಿಸಿ.
  2. HARVEST: ವಿವಿಧ ಮಾರ್ಗಗಳಿಂದ ದತ್ತಾಂಶವನ್ನು ಪಡೆಯಿರಿ.
  3. NORMALIZE: ರಚನಾತ್ಮಕ ಹೇಳಿಕೆಗಳನ್ನು ಹೊರತೆಗೆಯಲು LLM ಅನ್ನು ಬಳಸಿ. ಇದು LLM ಅನ್ನು ಬಳಸುವ ಏಕೈಕ ಹಂತವಾಗಿದೆ.
  4. CORROBORATE: ಹೇಳಿಕೆಗಳನ್ನು ಗುಂಪು ಮಾಡಿ ಮತ್ತು ಸ್ವತಂತ್ರ ಮೂಲಗಳನ್ನು ಎಣಿಸಿ.
  5. SCORE: ಲೇಬಲ್‌ಗಳನ್ನು ನೀಡಲು ನಿಯಮಗಳನ್ನು ಅನ್ವಯಿಸಿ.
  6. RENDER: ಸತ್ಯಾಂಶಗಳು, ತೀರ್ಮಾನಗಳು ಮತ್ತು ಲಭ್ಯವಿಲ್ಲದ ಮಾಹಿತಿಯನ್ನು ತೋರಿಸಿ.

ಸ್ವತಂತ್ರವಾಗಿರುವುದು ಇಲ್ಲಿ ಮುಖ್ಯವಾಗಿದೆ. ಒಂದು ಬ್ಲಾಗ್ ಮತ್ತೊಂದು ಬ್ಲಾಗ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸುವುದು ಎರಡು ಮೂಲಗಳಲ್ಲ. ಒಂದು ಸತ್ಯಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಿಮಗೆ ವಿಭಿನ್ನ ಡೊಮೇನ್‌ಗಳು (domains) ಅಥವಾ ಅಧಿಕೃತ API ಬೇಕಾಗುತ್ತದೆ.

ವಿಶ್ವಾಸಾರ್ಹ ಏಜೆಂಟ್‌ಗಾಗಿ ಈ ನಿಯಮಗಳನ್ನು ಅನುಸರಿಸಿ:

  • ಏಸ್ಕಲೇಷನ್ (escalation) ಬಳಸಿ: ಮೊದಲು ವೆಬ್ ಸರ್ಚ್ ಪ್ರಯತ್ನಿಸಿ. ಮೊದಲ ಹಂತ ವಿಫಲವಾದರೆ ಮಾತ್ರ ನ್ಯೂಸ್ ಇಂಜಿನ್ ಅಥವಾ ಅಕಾಡೆಮಿಕ್ ಸರ್ಚ್ ಬಳಸಿ.
  • ತಾಜಾತನವನ್ನು (freshness) ಪತ್ತೆಹಚ್ಚಿ: ಹಳೆಯ ದತ್ತಾಂಶವನ್ನು 'stale' ಎಂದು ಲೇಬಲ್ ಮಾಡಿ. ಹಳೆಯ ಸತ್ಯಾಂಶಗಳು ಪ್ರಸ್ತುತವಾಗಿವೆ ಎಂದು ತೋರಿಸಲು ಬಿಡಬೇಡಿ.
  • ಕೊರತೆಗಳನ್ನು ಎತ್ತಿ ತೋರಿಸಿ: ನೀವು ಕಂಡುಕೊಳ್ಳಲಾಗದ ವಿಷಯಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ. ಮಾಹಿತಿಯ ಕೊರತೆಯನ್ನು ಮರೆಮಾಚುವುದು ವೈಫಲ್ಯವಾಗಿದೆ.
  • ಪುನರಾವರ್ತನೆಯನ್ನು (reproducibility) ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ: ಒಂದೇ ಪ್ರಶ್ನೆಯು ಪ್ರತಿ ಬಾರಿಯೂ ಒಂದೇ ರೀತಿಯ ಲೇಬಲ್‌ಗಳನ್ನು ನೀಡಬೇಕು. ಲೇಬಲ್‌ಗಳು ಬದಲಾಗುತ್ತಿದ್ದರೆ, LLM ದತ್ತಾಂಶಕ್ಕೆ ಸ್ಕೋರ್ ನೀಡುತ್ತಿದೆ ಎಂದರ್ಥ. ಆ LLM ಕರಲ್ ಅನ್ನು (call) ಒಂದು ಫಂಕ್ಷನ್‌ನಿಂದ (function) ಬದಲಾಯಿಸಿ.

ಈ ವಿಧಾನವು ಮಾಡೆಲ್ ಅತ್ಯುತ್ತಮವಾಗಿ ಮಾಡುವ ಕೆಲಸವನ್ನು ಮಾಡಲು ಬಿಡುತ್ತದೆ: ಓದುವುದು ಮತ್ತು ಹೊರತೆಗೆಯುವುದು. ಇದು ಯಾವುದು ಸತ್ಯ ಎಂದು ನಿರ್ಧರಿಸುವ ಕೆಲಸದಿಂದ ಮಾಡೆಲ್ ಅನ್ನು ತಡೆಯುತ್ತದೆ.

ಮೂಲ: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi