ಎಲ್ಲರೂ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದಾರೆ. ಆದರೆ ತಾಂತ್ರಿಕ ಸಾಲದ (Technical Debt) ಬಗ್ಗೆ ಯಾರೂ ಮಾತನಾಡುತ್ತಿಲ್ಲ.

ಹೆಚ್ಚಿನ ಡೆವಲಪರ್‌ಗಳಿಗೆ ತಾಂತ್ರಿಕ ಸಾಲ (technical debt) ಎಂದರೆ ತಿಳಿದಿದೆ. ಇದು ಇಂದು ನೀವು ತೆಗೆದುಕೊಳ್ಳುವ ಅಡ್ಡಹಾದಿ, ಇದು ನಾಳೆ ಸಮಸ್ಯೆಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ಸಾಮಾನ್ಯವಾಗಿ, ಈ ಸಾಲವು ನಿಮ್ಮ ಕೋಡ್‌ನಲ್ಲೇ ಇರುತ್ತದೆ. ಇದು ಅಸ್ತವ್ಯಸ್ತವಾದ ಲಾಜಿಕ್ ಅಥವಾ ಹಳೆಯದಾದ ಲೈಬ್ರರಿಗಳ ರೂಪದಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ.

AI ಏಜೆಂಟ್‌ಗಳು ಇದನ್ನು ಬದಲಾಯಿಸುತ್ತಿವೆ.

ಏಜೆಂಟ್‌ಗಳು ಹೊಸ ರೀತಿಯ ಸಾಲವನ್ನು ಸೃಷ್ಟಿಸುತ್ತವೆ. ಇದು ಕೇವಲ ನಿಮ್ಮ ಕೋಡ್‌ನಲ್ಲಿ ಮಾತ್ರ ಇರುವುದಿಲ್ಲ. ಇದು ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್‌ಗಳು (prompts), ನಿಮ್ಮ ಮೆಮೊರಿ ಲೇಯರ್‌ಗಳು ಮತ್ತು ನಿಮ್ಮ ಟೂಲ್ ಇಂಟಿಗ್ರೇಷನ್‌ಗಳಲ್ಲಿ ಇರುತ್ತದೆ. ಈ ಸಾಲವು ಮೌನವಾಗಿ ಬೆಳೆಯುತ್ತದೆ.

ನೀವು ಗಮನಿಸಬೇಕಾದ ನಾಲ್ಕು ರೀತಿಯ ಏಜೆಂಟಿಕ್ ಸಾಲಗಳು (agentic debt) ಇಲ್ಲಿವೆ:

  1. ಪ್ರಾಂಪ್ಟ್ ಸಾಲ (Prompt Debt) ಒಂದು ಸರಳವಾದ ಎರಡು ಸಾಲಿನ ಪ್ರಾಂಪ್ಟ್ ಅದೆಷ್ಟು ಬಾರಿ 300 ಸಾಲುಗಳ ಮ್ಯಾನಿಫೆಸ್ಟೋ ಆಗಿ ಬದಲಾಗುತ್ತದೆ ಎಂದರೆ, ಡೆವಲಪರ್‌ಗಳು ಸಣ್ಣಪುಟ್ಟ ತಪ್ಪುಗಳನ್ನು ಸರಿಪಡಿಸಲು ಸೂಚನೆಗಳನ್ನು ಸೇರಿಸುತ್ತಾ ಹೋಗುತ್ತಾರೆ. ಶೀಘ್ರದಲ್ಲೇ, ಕೆಲವು ನಿರ್ದಿಷ್ಟ ಪದಗಳು ಅಲ್ಲಿ ಏಕೆ ಇವೆ ಎಂಬುದು ಯಾರಿಗೂ ತಿಳಿಯುವುದಿಲ್ಲ. ಒಂದು ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬದಲಾಯಿಸಲು ನೀವು ಭಯಪಡುತ್ತಿದ್ದರೆ, ನೀವು ಪ್ರಾಂಪ್ಟ್ ಸಾಲದಲ್ಲಿದ್ದೀರಿ ಎಂದರ್ಥ. ಇದು ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ಸಿಸ್ಟಮ್‌ನ ವೇಗವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

  2. ಕಾನ್ಟೆಕ್ಸ್ಟ್ ಸಾಲ (Context Debt) ಹೆಚ್ಚಿನ ಡೇಟಾ ಎಂದರೆ ಉತ್ತಮ ಫಲಿತಾಂಶ ಎಂದೇ ತಂಡಗಳು ಭಾವಿಸುತ್ತವೆ. ಅವರು ಇಡೀ ಡೇಟಾಬೇಸ್‌ಗಳು ಮತ್ತು PDF ಗಳನ್ನು ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗೆ ಸುರಿಯುತ್ತಾರೆ. ಇದು ತಪ್ಪು. ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಅಪ್ರಸ್ತುತ ಮಾಹಿತಿ (noise) ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್‌ಗಳಿಗೆ (hallucinations) ಮತ್ತು ಹೆಚ್ಚಿನ ವಿಳಂಬಕ್ಕೆ (latency) ಕಾರಣವಾಗುತ್ತದೆ. ಬುದ್ಧಿವಂತ ಸಿಸ್ಟಮ್‌ಗಳು ಡೇಟಾವನ್ನು ಕೇವಲ ಬಳಸಿಕೊಳ್ಳುವ ಬದಲು ಅದನ್ನು ಫಿಲ್ಟರ್ ಮಾಡುತ್ತವೆ.

  3. ಇವ್ಯಾಲ್ಯೂಯೇಷನ್ ಸಾಲ (Evaluation Debt) ಸಾಂಪ್ರದಾಯಿಕ ಕೋಡ್‌ಗೆ ಸ್ಪಷ್ಟವಾದ ಪರೀಕ್ಷೆಗಳಿರುತ್ತವೆ. ನೀವು X ಅನ್ನು ಇನ್‌ಪುಟ್ ನೀಡಿದರೆ Y ಅನ್ನು ನಿರೀಕ್ಷಿಸುತ್ತೀರಿ. ಏಜೆಂಟ್‌ಗಳು ವಿಭಿನ್ನವಾಗಿವೆ. ಅವು ಸಂಭವನೀಯತೆಯನ್ನು (probabilistic) ಆಧರಿಸಿವೆ. ಅವು ಒಂದೇ ಪ್ರಶ್ನೆಗೆ ವಿಭಿನ್ನ ಉತ್ತರಗಳನ್ನು ನೀಡಬಹುದು. ನೀವು ಸ್ವಯಂಚಾಲಿತ ಇವ್ಯಾಲ್ಯೂಯೇಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳಿಲ್ಲದೆ ಏಜೆಂಟ್‌ಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದರೆ, ನೀವು ದಾರಿಯಿಲ್ಲದೆ ಪ್ರಯಾಣಿಸುತ್ತಿದ್ದೀರಿ ಎಂದರ್ಥ.

  4. ಟೂಲ್ ಸಾಲ (Tool Debt) ನಿಮ್ಮ ಕಂಪನಿಯ ಪ್ರತಿಯೊಂದು API ಗೆ ಏಜೆಂಟ್‌ಗೆ ಪ್ರವೇಶ ನೀಡುವುದು ಅಪಾಯಕಾರಿ. ಇದು ಭದ್ರತಾ ಅಪಾಯಗಳನ್ನು ಮತ್ತು ಸಂಕೀರ್ಣ ವೈಫಲ್ಯಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ಒಂದು ಏಜೆಂಟ್ ಬಳಿ 25 ಟೂಲ್‌ಗಳಿದ್ದು, ಅದು ಕೇವಲ ಐದನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತಿದ್ದರೆ, ಉಳಿದ 20 ಟೂಲ್‌ಗಳು ಕೇವಲ ಸಾಲವಷ್ಟೇ.

ಇದನ್ನು ಸರಿಪಡಿಸುವುದು ಹೇಗೆ:

  • ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಕೋಡ್‌ನಂತೆ ಪರಿಗಣಿಸಿ. ವರ್ಷನ್ ಕಂಟ್ರೋಲ್ (version control) ಮತ್ತು ಪೀರ್ ರಿವ್ಯೂಗಳನ್ನು ಬಳಸಿ.
  • ನಿಮ್ಮ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ಅನ್ನು ವ್ಯವಸ್ಥಿತವಾಗಿಡಿ. ಡೇಟಾವನ್ನು ಸುಮ್ಮನೆ ಸುರಿಯಬೇಡಿ. ಮಾಹಿತಿಯನ್ನು ಸ್ವಚ್ಛವಾಗಿಡಲು rerankers ಬಳಸಿ.
  • ಮೊದಲು ಇವ್ಯಾಲ್ಯೂಯೇಷನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಿ. ಹೊಸ ಫೀಚರ್‌ಗಳನ್ನು ಸೇರಿಸುವ ಮೊದಲು ಟೆಸ್ಟ್ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ರಚಿಸಿ.
  • ಕನಿಷ್ಠ ಅಧಿಕಾರವನ್ನು (least privilege) ಬಳಸಿ. ಏಜೆಂಟ್‌ಗಳಿಗೆ ಅವುಗಳ ಕಾರ್ಯನಿರ್ವಹಣೆಗೆ ಅಗತ್ಯವಿರುವ ಟೂಲ್‌ಗಳನ್ನು ಮಾತ್ರ ನೀಡಿ.

ಗೆಲ್ಲುವ ತಂಡಗಳು ಕೇವಲ ಅತ್ಯುತ್ತಮ ಡೆಮೋಗಳನ್ನು ನಿರ್ಮಿಸುವುದಿಲ್ಲ. ಅವು ಸ್ಥಿರವಾಗಿರುವ ಮತ್ತು ಸುಲಭವಾಗಿ ನಿರ್ವಹಿಸಬಹುದಾದ ಸಿಸ್ಟಮ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತವೆ.

Source: https://dev.to/reetain_raina/everyone-is-building-ai-agents-nobody-is-talking-about-the-technical-debt-3ljm

Optional learning community: https://t.me/GyaanSetuAi