ನಾವು ನಮ್ಮ ಹತ್ತು ಏಜೆಂಟ್ಗಳ AI ಫ್ಲೀಟ್ ಮೇಲೆ $100 ಕ್ರೆಡಿಟ್ ಮಿತಿಯನ್ನು ನಿಗದಿಪಡಿಸಿದೆವು ಮತ್ತು ಅಂದೇ ಥ್ರೊಟಲ್ (throttle) ಕಾರ್ಯಪ್ರವೃತ್ತವಾಯಿತು, ನಾವು ಮಿತಿಯನ್ನು ಹೆಚ್ಚಿಸುವವರೆಗೆ ಪ್ರತಿಯೊಂದು ಹೊಸ ಕಾರ್ಯವನ್ನೂ ಅದು ತಡೆಹಿಡಿಯಿತು. ಬಜೆಟ್ ಮೀರಿದ ತಕ್ಷಣ ಕಂಟ್ರೋಲ್ ಲೂಪ್ ಹೇಗೆ ತಕ್ಷಣವೇ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಈ ಘಟನೆಯು ತೋರಿಸುತ್ತದೆ.
AI ಫ್ಲೀಟ್ಗಳಿಗೆ ಕ್ರೆಡಿಟ್ ಮಿತಿ ಏಕೆ ಮುಖ್ಯ
ಒಂದೇ ಸರ್ವರ್ನಲ್ಲಿ ಹತ್ತು ಸ್ವಾಯತ್ತ ಏಜೆಂಟ್ಗಳನ್ನು (autonomous agents) ಚಲಾಯಿಸುವುದರಿಂದ ನಿರಂತರ API ಕರೆಗಳು ಸೃಷ್ಟಿಯಾಗುತ್ತವೆ, ಮತ್ತು ಪ್ರತಿಯೊಂದೂ ಅವು ಬಳಸುವ ಟೋಕನ್ಗಳ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಮಾಡಲ್ಪಡುತ್ತದೆ. ಸಾಂಪ್ರದಾಯಿಕ ಲಾಗ್ಗಳು ಏಜೆಂಟ್ಗಳು ಏನು ಮಾಡಿದವು—ಪ್ರಶ್ನೆಗಳು (queries), ಪ್ರತಿಕ್ರಿಯೆಗಳು (responses), ಸಮಯದ ಮುದ್ರೆಗಳು (timestamps)—ಎನ್ನುವುದನ್ನು ದಾಖಲಿಸುತ್ತವೆ, ಆದರೆ ಆ ಕ್ರಮಗಳು ಎಷ್ಟು ವೆಚ್ಚವಾಗುತ್ತವೆ ಎಂಬುದರ ಬಗ್ಗೆ ಏನನ್ನೂ ಹೇಳುವುದಿಲ್ಲ. ಫ್ಲೀಟ್ ವಿಸ್ತರಿಸಿದಾಗ, ಆ ಅದೃಶ್ಯ ಬಿಲ್ ಅನಿರೀಕ್ಷಿತವಾಗಿ ಹೆಚ್ಚಾಗಿ, ಯಾರೂ ಗಮನಿಸುವ ಮೊದಲೇ ಬಜೆಟ್ ಖಾಲಿಯಾಗಬಹುದು.
ಲಾಗ್ಗಳನ್ನು ಲೆಡ್ಜರ್ ಆಗಿ ಪರಿವರ್ತಿಸುವುದು
ಲಾಗ್ಗಳನ್ನು ಕೇವಲ ಪಠ್ಯ (plain text) ಎಂದು ಪರಿಗಣಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ, ಅವುಗಳನ್ನು ಹಣಕಾಸಿನ ಲೆಡ್ಜರ್ (financial ledger) ಎಂದು ಪರಿಗಣಿಸುವುದು ನಮ್ಮ ಮೊದಲ ಹೆಜ್ಜೆಯಾಗಿತ್ತು. ಪ್ರತಿಯೊಂದು ಏಜೆಂಟ್ ಚಕ್ರವು—task → taking → done—ಈಗ ಮೂರು ಜರ್ನಲ್ ಎಂಟ್ರಿಗಳನ್ನು (journal entries) ಸೃಷ್ಟಿಸುತ್ತದೆ:
- Money – ವಿನಂತಿಯ ಟೋಕನ್ ಸಂಖ್ಯೆಯಿಂದ ಪಡೆಯಲಾದ ಅಂದಾಜು USD ಮೌಲ್ಯ.
- Promises – ಬಾಕಿ ಇರುವ ಕಾರ್ಯಗಳು, ಇವುಗಳು ಭವಿಷ್ಯದ ಹೊಣೆಗಾರಿಕೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ, ಅಂದರೆ ಕೆಲಸ ಪೂರ್ಣಗೊಂಡ ನಂತರ ಬಿಲ್ ಮಾಡಲಾಗುವ ಕೆಲಸಗಳು.
- Labour – ಏಜೆಂಟ್ ನಿರ್ವಹಿಸಿದ ನೈಜ ಕೆಲಸದ ಘಟಕಗಳು (work units).
ಲಾಗ್ ಫೈಲ್ನಲ್ಲಿ “error” ಎಂದು ಹುಡುಕುವ ಬದಲಿಗೆ, ನಾವು ಈಗ ನಿಜವಾದ ಹಣಕಾಸಿನ ಪ್ರಶ್ನೆಯನ್ನು (financial query) ಕೇಳಬಹುದು: “ಒಟ್ಟು ಹಣದ ಮೊತ್ತ $100 ಕ್ಕಿಂತ ಹೆಚ್ಚಿರುವ ಎಲ್ಲಾ promises ಅನ್ನು ತೋರಿಸಿ.” ಈ ಲೆಡ್ಜರ್ ಅಡಗಿರುವ ವೆಚ್ಚವನ್ನು ದೃಶ್ಯೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಹುಡುಕಲು ಸುಲಭವಾಗಿಸುತ್ತದೆ.
ಕ್ಲೋಸ್ಡ್-ಲೂಪ್ ಕಂಟ್ರೋಲ್ ಸಿಸ್ಟಮ್
ಕ್ರೆಡಿಟ್-ಮಿತಿ ಕಾರ್ಯವಿಧಾನವು ನಿರಂತರವಾಗಿ ನಡೆಯುವ ನಾಲ್ಕು ಹಂತಗಳ ಲೂಪ್ ಅನ್ನು ಅನುಸರಿಸುತ್ತದೆ:
- Measure – ಪ್ರತಿ ಏಜೆಂಟ್ ಹಂತವು ಟೋಕನ್ ಬಳಕೆ ಮತ್ತು ಅದರ ಅಂದಾಜು ಡಾಲರ್ ಮೊತ್ತವನ್ನು ದಾಖಲಿಸುವ ಮೂಲಕ ಖರ್ಚಿನ ಲಾಗ್ (spend log) ಗೆ ಒಂದು ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ.
- Price – ಸಿಸ್ಟಮ್ ಪ್ರಸ್ತುತ ದರವನ್ನು ಬಳಸಿಕೊಂಡು ಟೋಕನ್ ಸಂಖ್ಯೆಯನ್ನು USD ಗೆ ಪರಿವರ್ತಿಸುತ್ತದೆ.
- Alert – ಮಾನಿಟರ್ ಚಲನಶೀಲ ಬಜೆಟ್ ಅನ್ನು ಗಮನಿಸುತ್ತದೆ. ಅದರ ಸ್ಥಿತಿಯು none (ಎಚ್ಚರಿಕೆ ಇಲ್ಲ) ನಿಂದ warn (ಮಿತಿಯ ಸಮೀಪದಲ್ಲಿದೆ) ಮತ್ತು ನಂತರ cap (ಮಿತಿ ತಲುಪಿದೆ) ಗೆ ಬದಲಾಗುತ್ತದೆ.
- Throttle – ಮಿತಿ (cap) ಸಕ್ರಿಯಗೊಂಡಾಗ, ಗೇಟ್ ಪ್ರಸ್ತುತ ಸ್ಥಿತಿಯನ್ನು ಓದುತ್ತದೆ ಮತ್ತು ಯಾವುದೇ ಹೊಸ ಕಾರ್ಯದ ವಿತರಣೆಯನ್ನು (task dispatch) ತಡೆಯುತ್ತದೆ.
ಬಜೆಟ್ ವಿಂಡೋವು ಐದು ಗಂಟೆಗಳ ಚಲನಶೀಲ ಅವಧಿಯಾಗಿದೆ (rolling five-hour period), ಅಂದರೆ ಸಿಸ್ಟಮ್ ಯಾವಾಗಲೂ ಕಳೆದ ಐದು ಗಂಟೆಗಳ ಖರ್ಚನ್ನು ಮಾತ್ರ ನೋಡುತ್ತದೆ, ನಿರ್ದಿಷ್ಟ ಕ್ಯಾಲೆಂಡರ್ ಅವಧಿಯನ್ನಲ್ಲ. ಇದು ಚಟುವಟಿಕೆಯ ಏರಿಳಿತಗಳಿಗೆ ಲೂಪ್ ಸ್ಪಂದಿಸುವಂತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಕೇವಲ ಒಂದು ಏರಿಳಿತದಿಂದ ಫ್ಲೀಟ್ ಅನ್ನು ಅನಗತ್ಯವಾಗಿ ಲಾಕ್ ಮಾಡದಂತೆ ತಡೆಯುತ್ತದೆ.
ಕೇವಲ ಖರ್ಚನ್ನು ತೋರಿಸುವ ಡ್ಯಾಶ್ಬೋರ್ಡ್ ಒಂದು ಕಥೆಯನ್ನು ಹೇಳುತ್ತದೆ; ಆದರೆ ಆ ಸಂಖ್ಯೆಯನ್ನು ಓದಿ ಕಾರ್ಯ ವಿತರಣೆಯನ್ನು ನಿಲ್ಲಿಸುವ ಥ್ರೊಟಲ್ ನಿಜವಾದ ನಿಯಂತ್ರಣವಾಗಿದೆ.
ವಿನ್ಯಾಸದಲ್ಲಿಯೇ ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವ
ಖರ್ಚು-ನಿಯಂತ್ರಣ ವ್ಯವಸ್ಥೆಯೇ ಒಂದು ವೈಫಲ್ಯದ ಕೇಂದ್ರಬಿಂದುವಾದರೆ (single point of failure), ಅದು ವ್ಯತಿರಿಕ್ತ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. ನಾವು ಮೂರು ಸುರಕ್ಷತಾ ಕ್ರಮಗಳನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ:
- Fails open – ಒಂದು ವೇಳೆ ಬಜೆಟ್ ಟೂಲ್ ಕ್ರ್ಯಾಶ್ ಆಗಿದ್ದರೆ, ಏಜೆಂಟ್ಗಳು ಕಾರ್ಯನಿರ್ವಹಿಸುವುದನ್ನು ಮುಂದುವರಿಸುತ್ತವೆ. ಖರ್ಚು ನಿಯಂತ್ರಣಕ್ಕೆ ಸಿಗದಿದ್ದರೂ, ಫ್ಲೀಟ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಲೇ ಇರುತ್ತದೆ.
- Manual bypass – ಆಪರೇಟರ್ಗಳು ಪ್ರಿಯಾರಿಟಿ ಚಾನೆಲ್ ಮೂಲಕ ಥ್ರೊಟಲ್ ಅನ್ನು ಬೈಪಾಸ್ ಮಾಡಬಹುದು, ಇದರಿಂದ ಮಿತಿ ತಲುಪಿದಾಗಲೂ ನಿರ್ಣಾಯಕ ಕೆಲಸಗಳು ಮುಂದುವರಿಯಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
- Auto-resume – ಚಲನಶೀಲ ಅವಧಿಯು ಮುಂದೆ ಸಾಗಿದಂತೆ, ಹಳೆಯ ಖರ್ಚು ಲೆಕ್ಕಾಚಾರದಿಂದ ಹೊರಗುಳಿಯುತ್ತದೆ. ಒಟ್ಟು ಮೊತ್ತವು ಮಿತಿಗಿಂತ ಕಡಿಮೆಯಾದ ತಕ್ಷಣ, ಮಾನವ ಹಸ್ತಕ್ಷೇಪವಿಲ್ಲದೆ ಗೇಟ್ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಮತ್ತೆ ತೆರೆಯುತ್ತದೆ.
ಪರೀಕ್ಷೆ: $100 ಮಿತಿ ವರ್ಸಸ್ $156 ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಖರ್ಚು
ಫ್ಲೀಟ್ನ ಇತ್ತೀಚಿನ ಚಟುವಟಿಕೆಯಿಂದ ಈಗಾಗಲೇ $156 ಖರ್ಚಾಗಿರುವಾಗ, ನಾವು $100 ಮಿತಿಯೊಂದಿಗೆ ಸಿಸ್ಟಮ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿದೆವು. ಥ್ರೊಟಲ್ ತಕ್ಷಣವೇ ಕಾರ್ಯಪ್ರವೃತ್ತವಾಯಿತು ಮತ್ತು ಎಲ್ಲಾ ಹೊಸ ಕಾರ್ಯಗಳನ್ನು ಸ್ಥಗಿತಗೊಳಿಸಿತು. ನಾವು ಮಿತಿಯನ್ನು $200 ಕ್ಕೆ ಹೆಚ್ಚಿಸಿದಾಗ, ಗೇಟ್ ಮತ್ತೆ ತೆರೆಯಿತು ಮತ್ತು ಯಾವುದೇ ಹೆಚ್ಚಿನ ಮಾನವ ಹಸ್ತಕ್ಷೇಪವಿಲ್ಲದೆ ಕೆಲಸವು ಪುನರಾರಂಭವಾಯಿತು.
ಈ ಪ್ರಯೋಗವು ಎರಡು ವಿಷಯಗಳನ್ನು ಖಚಿತಪಡಿಸಿತು:
- ಕಂಟ್ರೋಲ್ ಲೂಪ್ ನೈಜ ಸಮಯದಲ್ಲಿ (real time) ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ; ಮಿತಿ ಉಲ್ಲಂಘನೆಯ ಪತ್ತೆ ಮತ್ತು ಜಾರಿ ನಡುವೆ ಯಾವುದೇ ವಿಳಂಬವಿಲ್ಲ.
- ಆಪರೇಟರ್ಗಳು ಮಿತಿಗಳನ್ನು ತಕ್ಷಣವೇ (on the fly) ಹೊಂದಾಣಿಕೆ ಮಾಡಿಕೊಳ್ಳಬಹುದು, ಇದರಿಂದ ಕಡಿಮೆ ಆದ್ಯತೆಯ ಕೆಲಸಗಳಿಗೆ ಅನಗತ್ಯ ವಿಳಂಬವಾಗುವುದನ್ನು ತಪ್ಪಿಸಬಹುದು.
Takeaway: ಏಜೆಂಟ್ ಲಾಗ್ಗಳನ್ನು ಹಣಕಾಸಿನ ಲೆಡ್ಜರ್ ಆಗಿ ಪರಿಗಣಿಸುವುದು ಮತ್ತು ಡಿಸ್ಪ್ಯಾಚ್ ಪೈಪ್ಲೈನ್ಗೆ ಚಲನಶೀಲ ಬಜೆಟ್ ಥ್ರೊಟಲ್ ಅನ್ನು ಜೋಡಿಸುವುದು, ಅತಿಯಾದ ಖರ್ಚಿನ ವಿರುದ್ಧ ತಕ್ಷಣದ ಮತ್ತು ಜಾರಿಕರ್ತವಾದ ರಕ್ಷಣೆಯನ್ನು ನೀಡುತ್ತದೆ. ಇದು ಇಂದಿನ ದಿನಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಒಂದು ಅಗ್ಗದ ಮತ್ತು ಸ್ಥಿತಿಸ್ಥಾಪಕ ನಿಯಂತ್ರಣವಾಗಿದೆ; ಹೆಚ್ಚು ಸಂಕೀರ್ಣವಾದ ನೀತಿಗಳನ್ನು ನಂತರ ಸೇರಿಸಬಹುದು, ಆದರೆ ಯಾವುದೇ AI-ಏಜೆಂಟ್ ಫ್ಲೀಟ್ಗೆ ಮೂಲಭೂತ ಲೂಪ್ ಮೊದಲ ರಕ್ಷಣಾ ಕವಚವಾಗಿರಬೇಕು.