AI ಏಜೆಂಟ್ ಸ್ಕೋಪ್ಗಳು ಮತ್ತು ಟೂಲ್ ಲೈಫ್ಸೈಕಲ್ಗಳು
AI ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಕಷ್ಟ, ಏಕೆಂದರೆ ಅವುಗಳನ್ನು ಸುಲಭವಾಗಿ ನಿಯಂತ್ರಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ನೀವು ವೆಚ್ಚವನ್ನು ಮಿತಿಗೊಳಿಸಬೇಕಾಗುತ್ತದೆ. ಅತಿಯಾದ ಲೂಪ್ಗಳನ್ನು (runaway loops) ತಡೆಯಬೇಕಾಗುತ್ತದೆ. ಒಂದು ರನ್ ವಿಫಲವಾದಾಗ ನಿಖರವಾಗಿ ಏನಾಯಿತು ಎಂಬುದನ್ನು ನೀವು ನೋಡಬೇಕಾಗುತ್ತದೆ.
ಇದನ್ನು ನಿರ್ವಹಿಸಲು ನಾನು ಒಂದು ಹೊಸ ವಿಧಾನವನ್ನು ರೂಪಿಸಿದ್ದೇನೆ. ಇದು AgentScope ನೊಂದಿಗೆ runAgent ಎಂಬ ಏಜೆಂಟ್ ಪ್ರಿಮಿಟಿವ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ಬಜೆಟ್ಗಳು, ಮರುಪ್ರತಿ ಮಾಡಬಹುದಾದ (replayable) ಘಟನೆಗಳು ಮತ್ತು ರಚನಾತ್ಮಕ ರದ್ದತಿಗಳನ್ನು (structured cancellation) ಒಳಗೊಂಡಿದೆ.
ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:
- ಟೂಲ್ ಫಂಕ್ಷನ್ಗಳು ಸಾಮಾನ್ಯ async ಫಂಕ್ಷನ್ಗಳಾಗಿವೆ. ಯಾವುದೇ ಸಂಕೀರ್ಣ ಸ್ಕೀಮಾಗಳ ಅಗತ್ಯವಿಲ್ಲ.
- ಟೂಲ್ ಫಲಿತಾಂಶವನ್ನು ನೀಡುವ ಮೊದಲು ಬಜೆಟ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ. ನೀವು ಮಿತಿಯನ್ನು ತಲುಪಿದರೆ, ಸಿಸ್ಟಮ್ ಇಡೀ ರನ್ ಅನ್ನು ರದ್ದುಗೊಳಿಸುತ್ತದೆ.
- ರಿಟ್ರೈಗಳು (Retries) ಮತ್ತು ಟೈಮೌಟ್ಗಳು ಟೂಲ್ ಮಟ್ಟದಲ್ಲಿ ಸಂಭವಿಸುತ್ತವೆ.
- ರದ್ದತಿಯು ಪ್ರಸರಣಗೊಳ್ಳುತ್ತದೆ (Cancellation propagates). ಬಳಕೆದಾರರು ಏಜೆಂಟ್ ಅನ್ನು ನಿಲ್ಲಿಸಿದರೆ, ಸಿಸ್ಟಮ್ ಸಕ್ರಿಯವಾಗಿರುವ ಫೆಚ್ (fetch) ಅಥವಾ ಡೇಟಾಬೇಸ್ ಕ್ವೇರಿಯನ್ನು ತಕ್ಷಣವೇ ರದ್ದುಗೊಳಿಸುತ್ತದೆ.
- ನೀವು ಮರುಪ್ರತಿ ಮಾಡಬಹುದಾದ ಲಾಗ್ ಅನ್ನು ಪಡೆಯುತ್ತೀರಿ. ಪ್ರತಿಯೊಂದು ಘಟನೆಯು ಟೈಪ್ ಮಾಡಲ್ಪಟ್ಟಿದೆ ಮತ್ತು ಕ್ರಮಬದ್ಧವಾಗಿದೆ.
ನೀವು ಮೂರು ರೀತಿಯ ಮಿತಿಗಳನ್ನು ಹೊಂದಿಸಬಹುದು:
- CostBudget: ಒಟ್ಟು ಖರ್ಚಾದ USD ಅನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ.
- OpenAITokens: ಬಳಸಿದ ಒಟ್ಟು ಟೋಕನ್ಗಳನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ.
- AgentToolCalls: ಅತಿಯಾದ ಲೂಪ್ಗಳನ್ನು ತಡೆಯಲು ಒಟ್ಟು ಟೂಲ್ ಕಾಲ್ಗಳನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ.
ಈ ವಿಧಾನವು ಇತರ ಫ್ರೇಮ್ವರ್ಕ್ಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿದೆ. ಹೆಚ್ಚಿನ ಫ್ರೇಮ್ವರ್ಕ್ಗಳು ಭಾರೀ JSON ಸ್ಕೀಮಾಗಳು ಅಥವಾ ಲೂಸ್ ಟೈಪಿಂಗ್ ಅನ್ನು ಬಳಸುತ್ತವೆ. ಅವುಗಳಲ್ಲಿ ಹೆಚ್ಚಾಗಿ ಪ್ರಥಮ ದರ್ಜೆಯ ಬಜೆಟ್ ಪ್ರಿಮಿಟಿವ್ಗಳ ಕೊರತೆಯಿರುತ್ತದೆ. ಎಲ್ಲವನ್ನೂ ಏಕಕಾಲದಲ್ಲಿ ರದ್ದುಗೊಳಿಸಲು ಅವುಗಳಲ್ಲಿ ಏಕೀಕೃತ ವಿಧಾನವಿಲ್ಲ.
ಈ ಸಿಸ್ಟಮ್ನೊಂದಿಗೆ, ನಿಮ್ಮ ಏಜೆಂಟ್ ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ನಂತೆಯೇ ಲೈಫ್ಸೈಕಲ್ ಅನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತದೆ. ಪೇರೆಂಟ್ ಪ್ರೊಸೆಸ್ ನಿಂತರೆ, ಏಜೆಂಟ್ ಕೂಡ ನಿಲ್ಲುತ್ತದೆ. ನಿರ್ವಹಿಸಲು ಯಾವುದೇ ಎರಡನೇ ರನ್ಟೈಮ್ ಇರುವುದಿಲ್ಲ.
ನೀವು ಈವೆಂಟ್ ಲಾಗ್ ಅನ್ನು ಈ ಕೆಳಗಿನವುಗಳಿಗಾಗಿ ಬಳಸಬಹುದು:
- ವಿಫಲತೆಯ ಹೀಟ್ಮ್ಯಾಪ್ಗಳಿಗಾಗಿ (failure heatmaps) ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳನ್ನು ನಿರ್ಮಿಸಲು.
- ಟೆಸ್ಟ್ ಎನ್ವಿರಾನ್ಮೆಂಟ್ನಲ್ಲಿ ರನ್ ಅನ್ನು ಮರುಪ್ರತಿ ಮಾಡಲು.
- ಟೂಲ್ ಯಶಸ್ಸಿನ ಘಟನೆಗಳನ್ನು ನೋಡುವುದರ ಮೂಲಕ ನಿಖರವಾದ ಶುಲ್ಕಗಳನ್ನು ಆಡಿಟ್ ಮಾಡಲು.
- ಎರಡು ವಿಭಿನ್ನ ರನ್ಗಳು ಎಲ್ಲಿ ಭಿನ್ನವಾದವು ಎಂಬುದನ್ನು ನೋಡಲು ಹೋಲಿಸಲು.
ಇದು AI ಏಜೆಂಟ್ಗಳನ್ನು ಪ್ರೊಡಕ್ಷನ್ಗೆ ಅನ್ವಯವಾಗುವಂತೆ ಮತ್ತು ಸುರಕ್ಷಿತವಾಗಿರಿಸುತ್ತದೆ.
ಮೂಲ: https://github.com/WorkRuntime/workit
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi