𝗠𝗖𝗣 ನ ಕರಾಳ ರಹಸ್ಯ: ನಿಮ್ಮ ಏಜೆಂಟ್ ಟೋಕನ್ಗಳನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತಿದೆ
ನಿಮ್ಮ AI ಏಜೆಂಟ್ ಪ್ರತಿ ಬಾರಿ MCP ಸರ್ವರ್ ಅನ್ನು ಕರೆಯುವಾಗಲೂ ಒಂದು ಗುಪ್ತ ತೆರಿಗೆಯನ್ನು ಪಾವತಿಸುತ್ತದೆ. ಈ ತೆರಿಗೆ ಡಾಲರ್ಗಳಲ್ಲಿಲ್ಲ, ಬದಲಾಗಿ ಟೋಕನ್ಗಳಲ್ಲಿರುತ್ತದೆ.
ನೀವು ಏಜೆಂಟ್ಗಳನ್ನು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ (at scale) ಬಳಸುತ್ತಿದ್ದರೆ, ಈ ವೆಚ್ಚವು ವೇಗವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ. ನಾನು ನನ್ನ ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಗಮನಿಸಿದಾಗ ದೊಡ್ಡ ಮಟ್ಟದ ಏರಿಳಿತಗಳನ್ನು ಕಂಡೆ. ಸಮಸ್ಯೆ ಮಾಡೆಲ್ನ ತರ್ಕದಲ್ಲಿಲ್ಲ (reasoning), ಸಮಸ್ಯೆ ಕಾಂಟೆಕ್ಸ್ಟ್ ಓವರ್ಹೆಡ್ನಲ್ಲಿ (context overhead) ಇದೆ.
ನೀವು ಏಜೆಂಟ್ ಅನ್ನು MCP ಸರ್ವರ್ಗೆ ಸಂಪರ್ಕಿಸಿದಾಗ, ಸರ್ವರ್ ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳನ್ನು (tool definitions) ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗೆ ಕಳುಹಿಸುತ್ತದೆ. ಇವುಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಪ್ಯಾರಾಮೀಟರ್ ಮತ್ತು ವಿವರಣೆಯನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ.
ನೀವು ತಲಾ 20 ಟೂಲ್ಗಳನ್ನು ಹೊಂದಿರುವ ಐದು MCP ಸರ್ವರ್ಗಳನ್ನು ಬಳಸಿದರೆ, ಪ್ರತಿ ಹಂತಕ್ಕೂ (turn) ಸುಮಾರು 15,000 ಟೋಕನ್ಗಳು ಸೇರ್ಪಡೆಯಾಗುತ್ತವೆ. ಮಾಡೆಲ್ ಮಾತನಾಡಲು ಪ್ರಾರಂಭಿಸುವ ಮೊದಲೇ ಇದು ಸಂಭವಿಸುತ್ತದೆ.
10-ಟರ್ನ್ ಸಂಭಾಷಣೆಯ ಪರೀಕ್ಷೆಯಿಂದ ಬಂದ ದತ್ತಾಂಶ ಇಲ್ಲಿದೆ:
• MCP ಇಲ್ಲದೆ: ಪ್ರತಿ ಹಂತಕ್ಕೆ 2,400 ಟೋಕನ್ಗಳು • 3 MCP ಸರ್ವರ್ಗಳು: ಪ್ರತಿ ಹಂತಕ್ಕೆ 18,700 ಟೋಕನ್ಗಳು • 5 MCP ಸರ್ವರ್ಗಳು: ಪ್ರತಿ ಹಂತಕ್ಕೆ 31,200 ಟೋಕನ್ಗಳು
ಪ್ರಸ್ತುತ ಬೆಲೆಗಳ ಪ್ರಕಾರ, ದಿನಕ್ಕೆ 50 ಸಂಭಾಷಣೆಗಳನ್ನು ನಡೆಸುವ ಮತ್ತು 5 ಸರ್ವರ್ಗಳನ್ನು ಬಳಸುವ ಒಂದು ತಂಡವು ಕೇವಲ MCP ಓವರ್ಹೆಡ್ಗಾಗಿ ತಿಂಗಳಿಗೆ $23,400 ಖರ್ಚು ಮಾಡಬಹುದು.
ಇದು ಎರಡು ಮುಖ್ಯ ಸಮಸ್ಯೆಗಳನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ:
- ಗುಣಮಟ್ಟ ಕುಸಿಯುತ್ತದೆ. ಟೂಲ್ ಸ್ಕೀಮಾಗಳು (tool schemas) ನಿಮ್ಮ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋದಲ್ಲಿ 40% ಜಾಗವನ್ನು ಆಕ್ರಮಿಸಿಕೊಂಡಾಗ, ಮಾಡೆಲ್ಗೆ ಹಿಂದಿನ ಸಂಭಾಷಣೆಯನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳಲು ಕಡಿಮೆ ಸ್ಥಳವಿರುತ್ತದೆ. ಸ್ಥಳದ ಕೊರತೆಯಿಂದಾಗಿ ಮಾಡೆಲ್ ವಿಷಯಗಳನ್ನು ಮರೆಯಲು ಪ್ರಾರಂಭಿಸುತ್ತದೆ.
- ವೆಚ್ಚಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ. ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಈ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳಿಗಾಗಿ ನೀವು ಪೂರ್ಣ ಬೆಲೆಯನ್ನು ಪಾವತಿಸಬೇಕಾಗುತ್ತದೆ.
ಇದನ್ನು ಸರಿಪಡಿಸಲು ಇಲ್ಲಿ ಮೂರು ಮಾರ್ಗಗಳಿವೆ:
ಗೇಟ್ವೇ (Gateway) ಬಳಸಿ ಎಲ್ಲಾ ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಲೋಡ್ ಮಾಡಬೇಡಿ. ಪ್ರಸ್ತುತ ಕಾರ್ಯಕ್ಕೆ ಅಗತ್ಯವಿರುವ ಟೂಲ್ಗಳನ್ನು ಮಾತ್ರ ಬಳಸಲು ಗೇಟ್ವೇಯನ್ನು ಬಳಸಿ. ಇದು ಓವರ್ಹೆಡ್ ಅನ್ನು ಪ್ರತಿ ಕರಲ್ಗೆ 8,000 ಟೋಕನ್ಗಳಿಂದ 400 ಟೋಕನ್ಗಳಿಗೆ ಇಳಿಸಬಹುದು.
ಇಂಟೆಂಟ್ ಕ್ಲಾಸಿಫೈಯರ್ (Intent Classifier) ಬಳಸಿ ಯಾವ ಸರ್ವರ್ ಸಂಬಂಧಿತವಾಗಿದೆ ಎಂದು ನಿರ್ಧರಿಸಲು ಮೊದಲು ಒಂದು ಕಡಿಮೆ ವೆಚ್ಚದ ಮಾಡೆಲ್ ಕರಲ್ ಅನ್ನು ಚಲಾಯಿಸಿ. ಕ್ಲಾಸಿಫೈಯರ್ಗಾಗಿ ಮಾಡುವ ಸಣ್ಣ ವೆಚ್ಚವು ನಿಮ್ಮ MCP ಓವರ್ಹೆಡ್ ಅನ್ನು 60% ರಿಂದ 80% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡಬಹುದು.
ನಿಮ್ಮ ಸ್ಕೀಮಾಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಿ (Compress) MCP ಸ್ಕೀಮಾಗಳು ಹೆಚ್ಚಿನ ಪದಗಳನ್ನು ಬಳಸುತ್ತವೆ. ವಿವರಣೆಗಳನ್ನು ಕೇವಲ ಅಗತ್ಯವಿರುವ ನಾಮಪದಗಳಿಗೆ (nouns) ಸೀಮಿತಗೊಳಿಸಿ. ಉದಾಹರಣೆ ಫೀಲ್ಡ್ಗಳನ್ನು (example fields) ತೆಗೆದುಹಾಕಿ. ಪಠ್ಯವನ್ನು ಸರಳಗೊಳಿಸಿದರೆ 400-ಟೋಕನ್ ಸ್ಕೀಮಾವು 120 ಟೋಕನ್ಗಳಲ್ಲಿಯೂ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಎಂದು ನಾನು ಕಂಡುಕೊಂಡಿದ್ದೇನೆ.
ಕಾಂಟೆಕ್ಸ್ಟ್ ಅನ್ನು ಅನ್ಲಿಮಿಟೆಡ್ ಎಂದು ಪರಿಗಣಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಕಾಂಟೆಕ್ಸ್ಟ್ ಬಜೆಟ್ ಎಂಬುದು ಮೂಲಸೌಕರ್ಯವಿದ್ದಂತೆ (infrastructure). ಅದನ್ನು ನೈಜ ವೆಚ್ಚದಂತೆ ನಿರ್ವಹಿಸಿ.
ನಿಮ್ಮ ಪ್ರೊಡಕ್ಷನ್ ಏಜೆಂಟ್ಗಳಲ್ಲಿ MCP ಓವರ್ಹೆಡ್ ಅನ್ನು ನೀವು ಹೇಗೆ ನಿರ್ವಹಿಸುತ್ತೀರಿ? ಕಾಮೆಂಟ್ನಲ್ಲಿ ತಿಳಿಸಿ.
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi