ನೀವು ಒಂದು ಪದವನ್ನು ಟೈಪ್ ಮಾಡುವ ಮೊದಲೇ ನಿಮ್ಮ MCP ಸರ್ವರ್ಗಳು ಟೋಕನ್ಗಳನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತಿವೆ
ನೀವು ಎಂದಿಗೂ ಬಳಸದ ಡೇಟಾಗೆ ಹಣ ಪಾವತಿಸುತ್ತಿದ್ದೀರಿ.
ಕಳೆದ ವಾರ ನಾನು ಒಂದು ಏಜೆಂಟ್ ಸೆಷನ್ ಅನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿದೆ. ಅದರಲ್ಲಿ 47 MCP ಟೂಲ್ಗಳನ್ನು ಲೋಡ್ ಮಾಡಲಾಗಿತ್ತು. ಪ್ರತಿಯೊಂದು ಟೂಲ್ ತನ್ನ ಪೂರ್ಣ JSON schema ಅನ್ನು ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗೆ ಕಳುಹಿಸುತ್ತಿತ್ತು. ನಾನು ಒಂದು ಪದವನ್ನು ಟೈಪ್ ಮಾಡುವ ಮೊದಲೇ ಇದು ಸಂಭವಿಸಿತು.
ಪ್ರತಿ ಟೂಲ್ schema 150 ರಿಂದ 400 ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ. 47 ಟೂಲ್ಗಳು ನನಗೆ 11,000 ಟೋಕನ್ಗಳ ಹೆಚ್ಚುವರಿ ವೆಚ್ಚವನ್ನು ಉಂಟುಮಾಡಿದವು. ಮಾಡೆಲ್ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಈ ಟೋಕನ್ಗಳನ್ನು ಓದುತ್ತದೆ. ನೀವು ಕೇವಲ ಎರಡು ಟೂಲ್ಗಳನ್ನು ಬಳಸಿದರೂ ಸಹ, ಈ ಕಾಂಟೆಕ್ಸ್ಟ್ಗಾಗಿ ನೀವು ಹಣ ಪಾವತಿಸಬೇಕಾಗುತ್ತದೆ.
ಹೆಚ್ಚಿನ ಜನರು ದೊಡ್ಡ ಫೈಲ್ ಅಪ್ಲೋಡ್ಗಳ ಬಗ್ಗೆ ಚಿಂತಿಸುತ್ತಾರೆ. ಆದರೆ ಅವರು ಟೂಲ್ ಮೆನುವಿನ ವೆಚ್ಚವನ್ನು ಮರೆಯುತ್ತಾರೆ.
ನೀವು GitHub, Slack ಮತ್ತು ಡೇಟಾಬೇಸ್ಗಳಂತಹ ಸರ್ವರ್ಗಳನ್ನು ಒಂದರ ಮೇಲೊಂದು ಜೋಡಿಸಿದಾಗ, ನಿಮ್ಮ ಬಳಿ 60 ರಿಂದ 100 ಟೂಲ್ಗಳು ಇರುತ್ತವೆ. ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳು (tool definitions) ಇಡೀ ಕಾಂಟೆಕ್ಸ್ಟ್ ಬಜೆಟ್ನ 20% ರಷ್ಟು ಜಾಗವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಸೆಷನ್ಗಳನ್ನು ನಾನು ನೋಡಿದ್ದೇನೆ.
ಎಲ್ಲವನ್ನೂ ಏಕಕಾಲದಲ್ಲಿ ಲೋಡ್ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಬದಲಾಗಿ deferred loading ಬಳಸಿ.
ಇಲ್ಲಿರುವ ಮಾದರಿ ಹೀಗಿದೆ: • ಕೇವಲ ಹೆಸರು ಮತ್ತು ಸಂಕ್ಷಿಪ್ತ ವಿವರಣೆಯೊಂದಿಗೆ ಟೂಲ್ಗಳ ಪಟ್ಟಿಯನ್ನು ನೀಡಿ. • ಅಗತ್ಯವಿದ್ದಾಗ ಪೂರ್ಣ schema ಗಳನ್ನು ಪಡೆಯಲು ಒಂದು search tool ಬಳಸಿ.
ಪ್ರತಿ ಟೂಲ್ಗಾಗಿ ಬೃಹತ್ JSON ಆಬ್ಜೆಕ್ಟ್ ಅನ್ನು ಸೇರಿಸುವ ಬದಲು, ನೀವು ಸರಳವಾದ ಹೆಸರನ್ನು ನೀಡುತ್ತೀರಿ. ಮಾಡೆಲ್ಗೆ ನಿರ್ದಿಷ್ಟ ಟೂಲ್ ಅಗತ್ಯವಿದ್ದಾಗ, ಅದು search function ಅನ್ನು ಕರೆಯುತ್ತದೆ. ಆ ಫಂಕ್ಷನ್ ಹೊಂದಿಕೆಯಾಗುವ ಟೂಲ್ಗಳಿಗಾಗಿ ಮಾತ್ರ ಪೂರ್ಣ schema ಅನ್ನು ನೀಡುತ್ತದೆ.
ಇದರ ಫಲಿತಾಂಶಗಳು ಅದ್ಭುತವಾಗಿವೆ: • 80 ಟೂಲ್ಗಳ Eager loading: ~18,000 ಟೋಕನ್ಗಳು. • 80 ಟೂಲ್ಗಳ Deferred loading: ~1,000 ಟೋಕನ್ಗಳು.
ಇದು ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ದೊಡ್ಡ ವೆಚ್ಚದಿಂದ ಅತ್ಯಲ್ಪ ವೆಚ್ಚವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ.
ಹೆಚ್ಚಿನ ಸೆಷನ್ಗಳು ಲಭ್ಯವಿರುವ ಟೂಲ್ಗಳ ಒಂದು ಸಣ್ಣ ಭಾಗವನ್ನು ಮಾತ್ರ ಬಳಸುವುದರಿಂದ ಈ ತಂತ್ರವು ಕೆಲಸ ಮಾಡುತ್ತದೆ. ನೀವು ಸೆಷನ್ನಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಟೂಲ್ ಅನ್ನು ಬಳಸಿದರೆ, ವೆಚ್ಚವು ಮೊದಲಿನಂತೆಯೇ ಇರುತ್ತದೆ. ಆದರೆ ಹೆಚ್ಚಿನ ಬಳಕೆದಾರರಿಗೆ, ಇದು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಕಾಂಟೆಕ್ಸ್ಟ್ ಅನ್ನು ಉಳಿಸುತ್ತದೆ.
ಮಾಡೆಲ್ ಯಾವ ಟೂಲ್ಗಳನ್ನು ಕರೆಯಬೇಕೆಂದು ಕೇಳಬೇಡಿ. ಬದಲಾಗಿ, ಮಾಡೆಲ್ಗೆ ಡಿಫಾಲ್ಟ್ ಆಗಿ ಯಾವುದರ ಬಗ್ಗೆ ತಿಳಿದಿರಬೇಕು ಎಂದು ಕೇಳಿ.
ಹೆಚ್ಚಿನ ಕ್ಯಾಟಲಾಗ್ಗಳು ಸುಲಭ ಎಂಬ ಕಾರಣಕ್ಕೆ ಎಲ್ಲವನ್ನೂ ಏಕಕಾಲದಲ್ಲಿ ಒದಗಿಸುತ್ತವೆ. ಆದರೆ ಯಾರೂ ಓದದ ಮೆನುವಿನ ಮೇಲೆ ನಿಮ್ಮ ಬಜೆಟ್ ಅನ್ನು ವೇಗವಾಗಿ ಖರ್ಚು ಮಾಡುವ ಅತ್ಯಂತ ಸುಲಭ ಮಾರ್ಗವೂ ಇದೇ ಆಗಿದೆ.
ಸರಳವಾಗಿಡಿ. ಒಂದು ಹೆಸರು, ವಿವರಣೆ ಮತ್ತು search function ಅನ್ನು ನೀಡಿ. ನೀವು ಬಳಸುವ ಮೂರು ಟೂಲ್ಗಳಿಗಾಗಿ ಮಾತ್ರ ಹಣ ಪಾವತಿಸಿ, ನೀವು ನಿರ್ಲಕ್ಷಿಸುವ ಎಂಬೆತ್ತು ಟೂಲ್ಗಳಿಗಾಗಿ ಅಲ್ಲ.
Source: https://dev.to/enjoy_kumawat/your-mcp-servers-are-burning-tokens-before-you-type-a-word-3076
Optional learning community: https://t.me/GyaanSetuAi