Agentic AI ROI ನ ಮೌನ ಕೊಲೆಗಾರ

ನಿಮ್ಮ Kubernetes pods ಹಸಿರಾಗಿವೆ (green). ನಿಮ್ಮ API latency ಕಡಿಮೆಯಿದೆ. ನಿಮ್ಮ LLM provider 99.9% uptime ತೋರಿಸುತ್ತಿದೆ.

ಆದರೂ, ನಿಮ್ಮ ಸ್ವಯಂಚಾಲಿತ ಸಾಲ ವ್ಯವಸ್ಥೆಯು (automated loan system) ಕೇವಲ ಮೂರು ಗಂಟೆಗಳಲ್ಲಿ ತನ್ನ ಇಡೀ ತಿಂಗಳ API ಬಜೆಟ್ ಅನ್ನು ಖಾಲಿ ಮಾಡಿದೆ. ಎರಡು agents ಒಂದು loop ನಲ್ಲಿ ಸಿಲುಕಿಕೊಂಡವು.

ಇದು "ಆರೋಗ್ಯಕರವಾಗಿದ್ದರೂ ಭ್ರಮಿಸುತ್ತಿರುವ" (Healthy but Hallucinating) ವಿರೋಧಾಭಾಸ.

ಸಾಂಪ್ರದಾಯಿಕ ಸಾಫ್ಟ್‌ವೇರ್‌ನಲ್ಲಿ, ಒಂದು ಸಿಸ್ಟಮ್ ಆಗಲಿ ಅಥವಾ ಇಲ್ಲದ ಸ್ಥಿತಿಯಲ್ಲಿರುತ್ತದೆ (up or down). ಆದರೆ an agentic mesh ನಲ್ಲಿ, ಒಂದು ಸಿಸ್ಟಮ್ ಆರೋಗ್ಯಕರವಾಗಿ ಕಂಡರೂ ಸಂಪೂರ್ಣವಾಗಿ ವಿಫಲವಾಗಬಹುದು. ನೀವು agents ಗಾಗಿ ಪ್ರಮಾಣಿತ Site Reliability Engineering (SRE) ಅನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, ನೀವು ತಪ್ಪು ಸಂಕೇತಗಳನ್ನು (signals) ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತಿದ್ದೀರಿ ಎಂದರ್ಥ. ನೀವು ಕಾರ್ಯತಃ ಮೆದುಳು ನಿಂತುಹೋದ (brain-dead) ರೋಗಿಯ ಹೃದಯ ಬಡಿತವನ್ನು ಅಳೆಯುತ್ತಿದ್ದೀರಿ ಎಂದರ್ಥ.

ಪ್ರಮಾಣಿತ ಮೂಲಸೌಕರ್ಯವು (standard infrastructure) agentic collapse ಅನ್ನು ತಡೆಯಲು ಏಕೆ ವಿಫಲವಾಗುತ್ತದೆ?

ಸಾಂಪ್ರದಾಯಿಕ SRE ಅನ್ನು deterministic systems ಗಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಒಂದು service ವಿಫಲವಾದಾಗ, ಅದು error ಅನ್ನು ತೋರಿಸುತ್ತದೆ. ಇದು binary (ಒಂದು ಅಥವಾ ಸೊನ್ನೆ). Agent ವಿಫಲತೆಗಳು ವಿಭಿನ್ನವಾಗಿವೆ. ಒಂದು agent crash ಆಗುವುದಿಲ್ಲ. ಅದು drift ಆಗುತ್ತದೆ (ತನ್ನ ಹಾದಿಯಿಂದ ತಪ್ಪುತ್ತದೆ). ಅದು time out ಆಗುವುದಿಲ್ಲ. ಅದು ಒಂದು parameter ಅನ್ನು hallucinate ಮಾಡುತ್ತದೆ (ಕಲ್ಪಿಸಿಕೊಳ್ಳುತ್ತದೆ), ಇದು ನಂತರದ ಹಂತಗಳಲ್ಲಿ ಮೌನ ವಿಫಲತೆಗೆ (silent failure) ಕಾರಣವಾಗುತ್ತದೆ.

ಸಿಂಗಲ್ ಬೋಟ್‌ಗಳಿಂದ ಎಂಟರ್‌ಪ್ರೈಸ್ ಏಜೆಂಟ್ ಫ್ಯಾಬ್ರಿಕ್‌ಗಳಿಗೆ (enterprise agent fabrics) ಬದಲಾಗುವಾಗ ನಾವು ಈ ಅಂತರವನ್ನು ಕಾಣುತ್ತೇವೆ. ಒಂದು ತಂಡವು benchmark ನಲ್ಲಿ 95% ನಿಖರತೆಯನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ, ಆದರೆ production ನಲ್ಲಿ ಸಿಸ್ಟಮ್ ವಿಫಲವಾಗುತ್ತದೆ. Benchmarks ಒಂದು ಮಾಡೆಲ್ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸಬಲ್ಲದೇ ಎಂದು ಅಳೆಯುತ್ತವೆ. ಆದರೆ ನಾಲ್ಕು agents ಒಳಗೊಂಡಿರುವ 12-ಹಂತದ workflow ನಲ್ಲಿ ಒಂದು ಸಿಸ್ಟಮ್ ತನ್ನ state ಅನ್ನು ಕಾಯ್ದುಕೊಳ್ಳಬಲ್ಲದೇ ಎಂದು ಅವು ಅಳೆಯುವುದಿಲ್ಲ.

ನಿಮಗೆ Agent Reliability Engineering (ARE) ಅಗತ್ಯವಿದೆ.

ಸಾಂಪ್ರದಾಯಿಕ SRE binary states ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ARE probability distributions ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ನೀವು ಕೇವಲ CPU ಮತ್ತು memory ಅನ್ನು ಮಾತ್ರ ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತಿದ್ದರೆ, ನೀವು agent ವಿಫಲತೆಗಳಿಗೆ ಅಂಧರಾಗಿದ್ದೀರಿ ಎಂದರ್ಥ.

Multi-agent systems ನಲ್ಲಿನ ದೋಷಗಳು ಕೇವಲ ಹೆಚ್ಚಾಗುವುದಿಲ್ಲ, ಅವು ಗುಣಾಕಾರವಾಗುತ್ತವೆ (multiply). ಏಕೆಂದರೆ agents ಇತರ agents ನ output ಅನ್ನು ಸತ್ಯವೆಂದು ಪರಿಗಣಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ಮೊದಲ ಹಂತದಲ್ಲಿನ ಸಣ್ಣ ದೋಷವು ಐದನೇ ಹಂತದ ವೇಳೆಗೆ ದೊಡ್ಡ ವಿಪತ್ತಾಗುತ್ತದೆ.

ಸಾಮಾನ್ಯ ವಿಫಲತೆಯ ವಿಧಾನಗಳು (failure modes) ಇಂತಿವೆ:

  • Agentic infinite loops
  • State drift
  • Prompt injection cascades
  • Tool-call hallucinations

ಒಂದು ಅಪಾಯಕಾರಿ ಉದಾಹರಣೆ: ಒಂದು agent ಅಪ್‌ಡೇಟ್ ಟೂಲ್ ಅನ್ನು ಕರೆಯುತ್ತದೆ. ಅದು ಅಸ್ತಿತ್ವದಲ್ಲಿಲ್ಲದ ಒಂದು parameter ಅನ್ನು ಕಲ್ಪಿಸಿಕೊಳ್ಳುತ್ತದೆ. API ಆ ಹೆಚ್ಚುವರಿ parameter ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ 200 OK ಅನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ. Agent ತನ್ನ ಕೆಲಸ ಯಶಸ್ವಿಯಾಗಿದೆ ಎಂದು ಭಾವಿಸುತ್ತದೆ, ಆದರೆ business logic ಮೌನವಾಗಿ ವಿಫಲವಾಗುತ್ತದೆ.

ARE "intent-action-outcome" loop ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತದೆ. ಒಂದು agent ಟೂಲ್ ಅನ್ನು ಕರೆದಿದೆಯೇ ಎಂದು ನೀವು ಕೇವಲ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದಿಲ್ಲ. ಆ ಕರೆಯು ಮೂಲ ಉದ್ದೇಶಕ್ಕೆ (original intent) ಹೊಂದಿಕೆಯಾಗಿದೆಯೇ ಮತ್ತು ಫಲಿತಾಂಶವು ಗುರಿಯನ್ನು ತಲುಪಿದೆಯೇ ಎಂಬುದನ್ನು ನೀವು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತೀರಿ.

Agent Reliability Engineer (ARE) ಪಾತ್ರವು ಈ ಕೆಳಗಿನವುಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ:

  • Intent Analysis: Agent ಗುರಿಯಿಂದ ಯಾವಾಗ ತಪ್ಪುತ್ತದೆ ಎಂಬುದನ್ನು ಪತ್ತೆಹಚ್ಚುವುದು.
  • Guardrail Tuning: Loops ಅನ್ನು ತಡೆಯಲು ನಿರ್ಬಂಧಗಳನ್ನು (constraints) ಹೊಂದಿಸುವುದು.
  • Dependability Mapping: ಒಂದು agent ಯಾವಾಗ ಮನುಷ್ಯನಿಗೆ ಹಸ್ತಾಂತರಿಸಬೇಕು (hand off) ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವುದು.
  • Audit Architecture: ಆಂತರಿಕ ತರ್ಕ (internal reasoning) ಮತ್ತು state ಬದಲಾವಣೆಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವುದು.

ನಿಖರತೆಯ (accuracy) ಬಗ್ಗೆ ಮಾತನಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಸಿಸ್ಟಮ್ ಡಿಪೆಂಡಬಿಲಿಟಿ (System Dependability) ಬಗ್ಗೆ ಮಾತನಾಡಲು ಪ್ರಾರಂಭಿಸಿ.

ಮಾನವ ಹಸ್ತಕ್ಷೇಪದ (human intervention) ವೆಚ್ಚವನ್ನು ಅಳೆಯುವ ಮೂಲಕ ನೀವು ಇದನ್ನು CFO ಗೆ ಸಮರ್ಥಿಸಬಹುದು. ಪ್ರತಿ ಬಾರಿ ಮನುಷ್ಯನು agent ಮಾಡಿದ ತಪ್ಪನ್ನು ಸರಿಪಡಿಸಿದಾಗ, ಅದು ಒಂದು reliability failure ಆಗಿರುತ್ತದೆ. ಆ ಗಂಟೆಗಳನ್ನು ನಿಮ್ಮ ತಜ್ಞರ ಸಂಬಳದೊಂದಿಗೆ ಗುಣಿಸಿದರೆ, ಅನಿಶ್ಚಿತತೆಯ (unreliability) ವೆಚ್ಚವು ಸ್ಪಷ್ಟವಾಗುತ್ತದೆ.

Agentic Error Budgets ಬಳಸಿ. ಒಂದು ಸರಳ ಇಮೇಲ್ ಸಾರಾಂಶಕಾರಕ್ಕೆ (email summarizer), ನಿಮ್ಮ error budget ಹೆಚ್ಚಿರುತ್ತದೆ. $10M ವರ್ಗಾವಣೆ ಮಾಡುವ ಸಿಸ್ಟಮ್‌ಗೆ, ನಿಮ್ಮ error budget ಶೂನ್ಯವಾಗಿರುತ್ತದೆ.

AI ಅನ್ನು ಕೇವಲ ಒಂದು ಸಾಫ್ಟ್‌ವೇರ್ ಫೀಚರ್ ಎಂದು ಪರಿಗಣಿಸಬೇಡಿ. ಅದನ್ನು ಒಂದು ವ್ಯವಸ್ಥಿತ ಅಪಾಯವಾಗಿ (systemic risk) ಪರಿಗಣಿಸಿ. ಈ ಯುಗದಲ್ಲಿ ವಿಜೇತರು ಅತ್ಯಂತ ಬುದ್ಧಿವಂತ ಮಾಡೆಲ್‌ಗಳನ್ನು ಹೊಂದಿರುವವರಲ್ಲ, ಬದಲಾಗಿ ಅತ್ಯಂತ ವಿಶ್ವಾಸಾರ್ಹ (dependable) ಸಿಸ್ಟಮ್‌ಗಳನ್ನು ಹೊಂದಿರುವವರಾಗಿರುತ್ತಾರೆ.

Source: https://dev.to/omnithium/the-silent-killer-of-agentic-ai-roi-why-multi-agent-reliability-needs-a-new-sre-discipline-5h7e

Optional learning community: https://t.me/GyaanSetuAi