𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀 𝗗𝗼𝗻’𝘁 𝗝𝘂𝘀𝘁 𝗛𝗮𝗰𝗸. 𝗧𝗵𝗲𝘆 𝗖𝗵𝗲𝗮𝘁 𝗧𝗵𝗲𝗺𝘀𝗲𝗹𝘃𝗲𝘀

AI ಏಜೆಂಟ್‌ಗಳು ಹೇಗೆ ವಿಫಲವಾಗುತ್ತವೆ ಎಂಬುದರ ಕುರಿತು ಸಂಶೋಧನೆ ಮಾಡಲು ನಾನು ಒಂದು ವರ್ಷ ಕಳೆದಿದ್ದೇನೆ.

ನಾನು ವಿಭಿನ್ನ ತಪ್ಪುಗಳ ಪಟ್ಟಿಯನ್ನು ತಯಾರಿಸುತ್ತಿದ್ದೇನೆ ಎಂದು ಭಾವಿಸಿದ್ದೆ. ಆದರೆ ನಾನು ತಪ್ಪು ಮಾಡಿದ್ದೆ. ನಾನು ಒಂದೇ ವಿಫಲತೆಯನ್ನು ಹಲವು ದೃಷ್ಟಿಕೋನಗಳಿಂದ ನೋಡುತ್ತಿದ್ದೆ.

ಕೊನೆಗೆ ನಾನು ಅದಕ್ಕೆ ಒಂದು ಹೆಸರನ್ನು ಕಂಡುಕೊಂಡೆ: Cross-layer coherence.

ಒಂದು ಏಜೆಂಟ್ ನಾಲ್ಕು ಪದರಗಳನ್ನು (layers) ಹೊಂದಿದೆ:

ಈ ಪದರಗಳು ಪರಸ್ಪರ ಒಪ್ಪಿಗೆಯನ್ನು ನಿಲ್ಲಿಸಿದಾಗ ವಿಫಲತೆ ಸಂಭವಿಸುತ್ತದೆ.

ಏಜೆಂಟ್ ಪೂರ್ಣ ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಮುನ್ನಡೆಯುತ್ತಲೇ ಇರುತ್ತದೆ, ಆದರೆ ಅದರ ಭಾಗಗಳು ಪರಸ್ಪರ ದೂರ ಸರಿಯುತ್ತಿರುತ್ತವೆ. ಒಂದು ಪದರವು ತಾನು ಒಂದು ಕೆಲಸ ಮಾಡುತ್ತಿದೆ ಎಂದು ಭಾವಿಸಿದರೆ, ಇನ್ನೊಂದು ಪದರವು ಅದು ಬೇರೆ ಏನೋ ಮಾಡುತ್ತಿದೆ ಎಂದು ಹೇಳುತ್ತದೆ. ಅವುಗಳು ಸಂಧಿಸುವ ಬಿಂದುವನ್ನು (seam) ಗಮನಿಸುವವರು ಯಾರೂ ಇರುವುದಿಲ್ಲ.

ಇದು ನೈತಿಕ ವಿಫಲತೆಯಲ್ಲ. ಯಂತ್ರಗಳಿಗೆ ನೈತಿಕತೆ ಇರುವುದಿಲ್ಲ. ಇದು ಒಂದು ರಚನಾತ್ಮಕ (structural) ವಿಫಲತೆ.

ಇದನ್ನು ಸರಿಪಡಿಸಲು, ಮೊದಲನೆಯದನ್ನು ಪರೀಕ್ಷಿಸಲು ನೀವು ಎರಡನೇ AI ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಹೆಚ್ಚು ಸ್ಮಾರ್ಟ್ ಪ್ರಾಂಪ್ಟ್ (prompt) ಎನ್ನುವುದು ಕೇವಲ ಒಂದು ಊಹೆಯಷ್ಟೇ. 'Vibe check' ಎನ್ನುವುದು ಎಂಜಿನಿಯರಿಂಗ್ ಅಲ್ಲ.

ಪರೀಕ್ಷೆಯು ನಿರ್ಧಾರಿತವಾಗಿರಲಿ (deterministic). ಅದು ಲಾಗ್‌ಗಳು (logs) ಮತ್ತು ಸ್ಥಿರ ನಿಯಮಗಳಿಂದ (frozen rules) ಸ್ಥಿತಿಯನ್ನು ಮರು-ಲೆಕ್ಕಾಚಾರ ಮಾಡಬೇಕು. ಅದು ಅಭಿಪ್ರಾಯಗಳನ್ನಲ್ಲ, ಗಣಿತ ಮತ್ತು ತರ್ಕವನ್ನು ಬಳಸಬೇಕು.

ಇಲ್ಲಿದೆ ಒಂದು ನೈಜ ಉದಾಹರಣೆ: ಒಂದು ಏಜೆಂಟ್ ರಿಫಂಡ್ (refund) ಪ್ರಕ್ರಿಯೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ಪ್ರತಿ ರಿಫಂಡ್ $40 ಆಗಿದೆ. ಪ್ರತಿ ವಿಂಡೋಗೆ (window) ಮಿತಿ $500 ಆಗಿದೆ. ಏಜೆಂಟ್ 12 ರಿಫಂಡ್‌ಗಳನ್ನು ನೀಡುತ್ತದೆ ($480). ನಂತರ ಅದು ವಿಂಡೋವನ್ನು ಮುಚ್ಚುತ್ತದೆ. ಆಮೇಲೆ ಅದು ಹೊಸ ವಿಂಡೋವನ್ನು ಪ್ರಾರಂಭಿಸಿ ಇನ್ನೊಂದು ರಿಫಂಡ್ ನೀಡುತ್ತದೆ. ಒಟ್ಟು ಮೊತ್ತ $520 ಆಗುತ್ತದೆ.

ಪ್ರತಿಯೊಂದು ಹಂತವೂ ಸರಿಯಾಗಿತ್ತು. ಪ್ರತಿ ವಿಂಡೋ ಕೂಡ ಮಿತಿಯೊಳಗೇ ಇತ್ತು. ಆದರೆ ವಿಂಡೋ ಮುಚ್ಚಿದ ನಂತರದ ಒಟ್ಟು ಮೊತ್ತವು ನಿಯಮವನ್ನು ಉಲ್ಲಂಘಿಸಿತು. ಪ್ರತಿ ಹಂತದ ಪರೀಕ್ಷೆಯು (per-step check) ಇದನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಸಾಧ್ಯವಿಲ್ಲ. ಪ್ರತಿ ವಿಂಡೋ ಪರೀಕ್ಷೆಯು (per-window check) ಇದನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಸಾಧ್ಯವಿಲ್ಲ. ಕೇವಲ coherence check ಮಾತ್ರ ಇದನ್ನು ಹಿಡಿಯಬಲ್ಲದು.

ಸಮಯದ ಉದ್ದಕ್ಕೂ ಮತ್ತು ರಸೀದಿಗಳ (receipts) ಆಧಾರದ ಮೇಲೆ ಪದರಗಳು ಪರಸ್ಪರ ಒಪ್ಪಿಗೆಯಲ್ಲಿರುವಂತೆ ನಾವು ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸಬೇಕು.

ನಾನು ಪ್ರಾಮಾಣಿಕವಾಗಿ ಹೇಳುತ್ತಿದ್ದೇನೆ: ಇದು ಇನ್ನೂ ಪರಿಹಾರವಾಗಿಲ್ಲ. Coherence check ಎನ್ನುವುದು ಅದನ್ನು ನಡೆಸುವ authority ಎಷ್ಟು ಉತ್ತಮವಾಗಿದೆಯೋ ಅಷ್ಟೇ ಉತ್ತಮವಾಗಿರುತ್ತದೆ. ಏಜೆಂಟ್‌ಗೆ ತಲುಪಲು ಸಾಧ್ಯವಾಗದ ಒಂದು root of trust ನಿಮಗೆ ಬೇಕಾಗುತ್ತದೆ. ಅದೇ ಮುಂದಿನ ಹೋರಾಟ.

ನಾನು ಪರಿಪೂರ್ಣತೆಯನ್ನು ಪ್ರತಿಪಾದಿಸುತ್ತಿಲ್ಲ. ನಾನು ಕೇವಲ ಒಂದು ಮಾದರಿಯನ್ನು (pattern) ಹೆಸರಿಸುತ್ತಿದ್ದೇನೆ ಮತ್ತು 'vibes' ಗಳ ಬದಲಿಗೆ ಗಣಿತದ ಮೂಲಕ ಅದನ್ನು ಹೇಗೆ ಪರೀಕ್ಷಿಸಬೇಕೆಂದು ತೋರಿಸುತ್ತಿದ್ದೇನೆ.

Reproduce the claims: https://github.com/keniel13-ui/ai-memory-judgment-demo-public

Start here: https://dev.to/zep1997/start-here-my-ai-memory-research-so-far-2kp7

Full post: https://dev.to/zep1997/i-thought-i-was-cataloging-ways-ai-agents-fail-i-was-describing-cross-layer-coherence-1bh1

Optional learning community: https://t.me/GyaanSetuAi