ಈ ಭರವಸೆ ಏಕೆ ಮುಖ್ಯ

AI ಏಜೆಂಟ್‌ಗಳನ್ನು ಚಾಟ್‌ಬಾಟ್‌ಗಳ ಮುಂದಿನ ಹಂತವಾಗಿ ಮಾರಾಟ ಮಾಡಲಾಗುತ್ತದೆ: ಅಂದರೆ ವೆಬ್ ಅನ್ನು ಬ್ರೌಸ್ ಮಾಡಬಲ್ಲ, ಅಂಕಿಅಂಶಗಳನ್ನು ಪಡೆಯಬಲ್ಲ, API ಅನ್ನು ಕರೆಯಬಲ್ಲ ಮತ್ತು ಮನುಷ್ಯನ ಸಹಾಯವಿಲ್ಲದೆ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳಬಲ್ಲ ಒಂದು ವ್ಯವಸ್ಥೆ. ಟ್ರೇಡರ್‌ಗಳು, ವಿಶ್ಲೇಷಕರು ಮತ್ತು SaaS ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳಿಗೆ ಇದು ಆಕರ್ಷಕವಾಗಿ ಕಾಣುತ್ತದೆ. ಆದರೆ ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಇಂದಿನ ಏಜೆಂಟ್‌ಗಳು "ಸ್ಮಾರ್ಟ್ ಆಟೊಮೇಷನ್" (smart automation) ನಂತೆ ವರ್ತಿಸುತ್ತವೆ, ಇವು ಸರಿಯಾದ ಹಾದಿಯಲ್ಲಿರಲು ಇಂದಿಗೂ ಡೆವಲಪರ್‌ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿವೆ.

"ಏಜೆಂಟ್" ಹಿಂದಿರುವ ಎಂಜಿನಿಯರಿಂಗ್ ಸ್ಟ್ಯಾಕ್

ಕಾರ್ಯಸಾಧ್ಯವಾದ ಏಜೆಂಟ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು ಎಂದರೆ ಹಲವಾರು ಭಾಗಗಳನ್ನು ಒಟ್ಟಿಗೆ ಜೋಡಿಸುವುದು ಎಂದರ್ಥ:

  • Large Language Model (LLM) – ಇದು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಓದುವ ಮತ್ತು ಮುಂದಿನ ಕ್ರಮವನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ತರ್ಕಬದ್ಧ ಕೋರ್ (reasoning core).
  • Memory layer – ಪ್ರಸ್ತುತ ಕಾರ್ಯಕ್ಕಾಗಿ ಅಲ್ಪಾವಧಿಯ ಸಂದರ್ಭ (short-term context) ಮತ್ತು ನಂತರದ ಬಳಕೆಗಾಗಿ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳನ್ನು (embeddings) ಸಂಗ್ರಹಿಸಿಡುವ ದೀರ್ಘಾವಧಿಯ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್.
  • Planner – LLM‌ನ ಔಟ್‌ಪುಟ್‌ನಿಂದ ಮುಂದಿನ ಕ್ರಮವನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ನಿಯಮ ಆಧಾರಿತ ಅಥವಾ ಕಲಿತ ಮಾಡ್ಯೂಲ್ (module).
  • Tools – ಏಜೆಂಟ್ ಬಳಸಬೇಕಾದ APIs, ವೆಬ್ ಸ್ಕ್ರೇಪರ್‌ಗಳು, ಕೋಡ್ ಇಂಟರ್‌ಪ್ರೆಟರ್‌ಗಳು ಅಥವಾ ಯಾವುದೇ ಬಾಹ್ಯ ಸೇವೆಗಳು.
  • Feedback loop – ಪ್ರತಿ ಹಂತದ ಫಲಿತಾಂಶವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಮತ್ತು ಮುಂದಕ್ಕೆ ಸಾಗಬೇಕೆ ಅಥವಾ ಹಿಂದಕ್ಕೆ ಹೋಗಬೇಕೆ ಎಂದು ಪ್ಲಾನರ್‌ಗೆ ತಿಳಿಸುವ ಪರಿಶೀಲನೆ.

ಪ್ರತಿಯೊಂದು ಭಾಗವು ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಆದರೆ ಅವುಗಳ ಸಂಯೋಜನಾ ಬಿಂದುಗಳು (integration points) ಅಸ್ಥಿರವಾಗಿರುತ್ತವೆ. ಪ್ರಯೋಗದಲ್ಲಿ, ಡೆವಲಪರ್ LLM ಅನ್ನು ಸರಿಯಾದ ಹಾದಿಯಲ್ಲಿಡಲು ಗಂಟೆಗಟ್ಟಲೆ ಡಿಬಗ್ ಮಾಡುವುದು ಮತ್ತು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ನಿರಂತರವಾಗಿ ಮರು-ಎಂಜಿನಿಯರಿಂಗ್ ಮಾಡುವುದು ಮಾಡಬೇಕಾಯಿತು.

ಅಡಗಿರುವ ಸವಾಲುಗಳು

Hallucinations

LLMಗಳು ನಂಬಲರ್ಹವಾಗಿ ಕಾಣುವ ಸುಳ್ಳು ಸತ್ಯಗಳನ್ನು ಸೃಷ್ಟಿಸಬಹುದು.

Infinite loops

ಸ್ಪಷ್ಟವಾದ ಸುರಕ್ಷತಾ ಕ್ರಮಗಳಿಲ್ಲದೆ, ಏಜೆಂಟ್ ವಿಫಲವಾದ ಹಂತವನ್ನು ಎಂದಿಗೂ ಪುನರಾವರ್ತಿಸಬಹುದು—ಉದಾಹರಣೆಗೆ, "ಪೇಜ್ X ಅನ್ನು ಪಡೆಯಲು ಮತ್ತೆ ಪ್ರಯತ್ನಿಸಿ" ಎಂದು ಅಂತ್ಯವಿಲ್ಲದೆ ಮಾಡಬಹುದು. ಡೆವಲಪರ್ ರಿಟ್ರೈ (retry) ಮೇಲೆ ನಿಯಮ ಆಧಾರಿತ ಮಿತಿಗಳನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಇದನ್ನು ತಡೆದರು, ಇದು ಮತ್ತೊಂದು ಕಸ್ಟಮ್ ಘಟಕವನ್ನು (custom component) ಪರಿಚಯಿಸಿತು.

Cost control

LLM ಕರೆಗಳು ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ಹೆಚ್ಚಿನ ಸಾಮರ್ಥ್ಯದ ಮಾಡೆಲ್ ಅನ್ನು ಪದೇ ಪದೇ ಬಳಸುವ ದೀರ್ಘಾವಧಿಯ ಕಾರ್ಯವು ಸಣ್ಣ ಬಜೆಟ್ ಅನ್ನು ಖಾಲಿ ಮಾಡಬಹುದು. ಪ್ರಯೋಗದಲ್ಲಿ ಹೈಬ್ರಿಡ್ ವಿಧಾನವನ್ನು ಬಳಸಲಾಯಿತು: ದಿನನಿತ್ಯದ ಹಂತಗಳಿಗಾಗಿ ಅಗ್ಗದ ಮಾಡೆಲ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ತರ್ಕವು ಸಂಕೀರ್ಣವಾದಾಗ ಮಾತ್ರ ಹೆಚ್ಚು ಸಾಮರ್ಥ್ಯವುಳ್ಳ (ಮತ್ತು ದುಬಾರಿ) ಮಾಡೆಲ್‌ಗೆ ಬದಲಾಯಿಸುವುದು. ಇದು ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಆದರೆ ವಾಸ್ತುಶಿಲ್ಪದ ಸಂಕೀರ್ಣತೆಯನ್ನು (architectural complexity) ಹೆಚ್ಚಿಸುತ್ತದೆ.

Security exposure

ಏಜೆಂಟ್‌ಗೆ API ಕೀಗಳು ಅಥವಾ ಬರವಣಿಗೆಯ ಪ್ರವೇಶವನ್ನು (write access) ನೀಡುವುದು ದಾಳಿಯ ವ್ಯಾಪ್ತಿಯನ್ನು (attack surface) ಹೆಚ್ಚಿಸುತ್ತದೆ. ಏಜೆಂಟ್‌ನ ಭದ್ರತೆ ಉಲ್ಲಂಘನೆಯಾದರೆ, ಅದು ಡೇಟಾವನ್ನು ಸೋರಿಕೆ ಮಾಡಬಹುದು ಅಥವಾ ಅನಧಿಕೃತ ವಹಿವಾಟುಗಳನ್ನು ನಡೆಸಬಹುದು. ಡೆವಲಪರ್ "ಕನಿಷ್ಠ ಸೌಲಭ್ಯ" (least privilege) ತತ್ವವನ್ನು ಅನ್ವಯಿಸಿದರು, ಸಾಧ್ಯವಿರುವ ಕಡೆ ಏಜೆಂಟ್‌ಗೆ ಕೇವಲ 'ರೀಡ್-ಓನ್ಲಿ' (read-only) ಪ್ರವೇಶವನ್ನು ಸೀಮಿತಗೊಳಿಸಿದರು, ಇದು ಅದು ನಿರ್ವಹಿಸಬಹುದಾದ ಕಾರ್ಯಗಳನ್ನೂ ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ.

ಮುಖ್ಯಾಂಶಗಳು

AI ಏಜೆಂಟ್‌ಗಳು ಪುನರಾವರ್ತಿತ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಬಲ್ಲವು, ಆದರೆ ಅವುಗಳನ್ನು ಸುಲಭವಾಗಿ 'ಪ್ಲಗ್-ಅಂಡ್-ಪ್ಲೇ' (plug-and-play) ಮಾಡಲಾಗುವುದಿಲ್ಲ. ನಿಜವಾದ ಸ್ವಾಯತ್ತ ವ್ಯವಸ್ಥೆಯನ್ನು (autonomous system) ನಿರ್ಮಿಸಲು ಇಂದಿಗೂ ಸಂಪೂರ್ಣ ಎಂಜಿನಿಯರಿಂಗ್ ಸ್ಟ್ಯಾಕ್, ಕಟ್ಟುನಿಟ್ಟಾದ ಭದ್ರತಾ ಪದ್ಧತಿಗಳು ಮತ್ತು ಸಕ್ರಿಯ ವೆಚ್ಚ ನಿರ್ವಹಣೆಯ ಅಗತ್ಯವಿದೆ. ಈ ಅಡಗಿರುವ ಪದರಗಳನ್ನು ಸುಗಮಗೊಳಿಸುವವರೆಗೆ, ಯಾವುದೇ "ಸ್ವಾಯತ್ತ" AI ವರ್ಕ್‌ಫ್ಲೋದಲ್ಲಿ ಮಾನವ ಮೇಲ್ವಿಚಾರಣೆಯೇ ನಿರ್ಣಾಯಕ ಅಂಶವಾಗಿ ಉಳಿಯುತ್ತದೆ.