Anthropic ನ ಹೊಸ ಬೆಟಾ ಹೆಡರ್ (beta header) Claude 3.7 Sonnet ಗಾಗಿ ಟೂಲ್ ಕಾಲ್‌ಗಳ (tool calls) ಟೋಕನ್ ವೆಚ್ಚವನ್ನು ಸುಮಾರು 14 ಪ್ರತಿಶತದಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಇದು AI ಏಜೆಂಟ್‌ಗಳ ಮಾಸಿಕ ಬಿಲ್‌ಗಳಲ್ಲಿ ಸಣ್ಣ ಮಟ್ಟದ ಕಡಿತ ಮತ್ತು ಸ್ವಲ್ಪ ವೇಗವನ್ನು (latency edge) ನೀಡುತ್ತದೆ.

ಟೂಲ್ ಬಳಕೆ ಏಕೆ ಹೆಚ್ಚು ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ

Claude ಜೊತೆಗೆ ಏಜೆಂಟ್ ಮಾಡುವ ಪ್ರತಿಯೊಂದು ಹಂತವು ಮೂರು ಟೋಕನ್-ಚಾಲಿತ ಹಂತಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ:

  • Tool definitions – ನೀವು ಪ್ರಾಂಪ್ಟ್‌ನ ಭಾಗವಾಗಿ ಕಳುಹಿಸುವ ಹೆಸರುಗಳು ಮತ್ತು JSON ಸ್ಕೀಮಾಗಳು.
  • Tool calls – ಮಾಡೆಲ್ ಒಂದು ಟೂಲ್ ಅನ್ನು ಬಳಸಲು ನಿರ್ಧರಿಸಿದಾಗ ಅದು ಸೃಷ್ಟಿಸುವ ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್ (structured output).
  • Tool results – ನಿಮ್ಮ ಕೋಡ್ ಮಾಡೆಲ್‌ಗೆ ಹಿಂತಿರುಗಿಸುವ ಡೇಟಾ.

ಮೊದಲ ಮತ್ತು ಮೂರನೇ ಹಂತಗಳು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಾಗಿವೆ; ಎರಡನೇ ಹಂತವು ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಾಗಿರುತ್ತದೆ. Claude ಇನ್‌ಪುಟ್‌ಗಿಂತ ಔಟ್‌ಪುಟ್‌ಗೆ ಹೆಚ್ಚು ಶುಲ್ಕ ವಿಧಿಸುವುದರಿಂದ, ಒಟ್ಟು ಟೋಕನ್ ಸಂಖ್ಯೆಯು ಸಮಾನವಾಗಿದ್ದರೂ ಸಹ, ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು ವೆಚ್ಚವನ್ನು ತಗ್ಗಿಸಬಹುದು.

ಬೆಟಾ ಹೆಡರ್ (The beta header)

Anthropic token-efficient tool use ಎಂಬ ಹೆಸರಿನ ಬೆಟಾ ಫೀಚರ್ ಅನ್ನು ಘೋಷಿಸಿದೆ. HTTP ಹೆಡರ್ 

anthropic-beta: token-efficient-tools-2025-02-19

ಇದನ್ನು ಸೇರಿಸುವುದರಿಂದ ಈ ಆಪ್ಟಿಮೈಸೇಶನ್ (optimization) ಸಕ್ರಿಯಗೊಳ್ಳುತ್ತದೆ, ಆದರೆ ಇದು Claude 3.7 Sonnet ಗೆ ಮಾಡುವ ರಿಕ್ವೆಸ್ಟ್ ಆಗಿದ್ದಾಗ ಮಾತ್ರ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಈ ಹೆಡರ್ ಅನ್ನು ಬೇರೆ ಯಾವುದೇ ಮಾಡೆಲ್‌ಗೆ ಕಳುಹಿಸಿದರೆ, ರಿಕ್ವೆಸ್ಟ್ ಯಾವುದೇ ಬದಲಾವಣೆಯಿಲ್ಲದೆ ಮುಂದುವರಿಯುತ್ತದೆ; ಯಾವುದೇ ದೋಷವಿಲ್ಲದೆ (error) ಹೆಡರ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸಲಾಗುತ್ತದೆ.

ಈ ಆಪ್ಟಿಮೈಸೇಶನ್ ಮಾಡೆಲ್‌ನ ಟೂಲ್-ಕಾಲ್ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಕಂಪ್ರೆಸ್ (compress) ಮಾಡುವ ಮೂಲಕ ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಇದು ಆ ಹಂತದ ಔಟ್‌ಪುಟ್ ಟೋಕನ್ ಸಂಖ್ಯೆಯನ್ನು ಸುಮಾರು 14 ಪ್ರತಿಶತದಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ನೀವು ವಾಸ್ತವವಾಗಿ ಎಷ್ಟು ಉಳಿತಾಯ ಮಾಡಬಹುದು

ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗಿಂತ ದುಬಾರಿಯಾಗಿವೆ, ಆದ್ದರಿಂದ ಆ ಭಾಗದಲ್ಲಿ 14 ಪ್ರತಿಶತದ ಕಡಿತವು ಒಟ್ಟು ಬಿಲ್‌ನಲ್ಲಿ ಸಮಾನುಪಾತದ ಇಳಿಕೆಯನ್ನು ತರುವುದಿಲ್ಲ. ಒಂದು ಸಾಮಾನ್ಯ ನಾಲ್ಕು-ಹಂತದ ಏಜೆಂಟ್ ಲೂಪ್‌ನಲ್ಲಿ, ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳು (tool definitions) ಹೆಚ್ಚಾಗಿ ಇನ್‌ಪುಟ್ ವೆಚ್ಚಗಳನ್ನು ಆವರಿಸುತ್ತವೆ, ಕೆಲವೊಮ್ಮೆ ಬಳಸಿದ ಟೋಕನ್‌ಗಳ ಅರ್ಧಕ್ಕಿಂತ ಹೆಚ್ಚು ಇರುತ್ತವೆ. ಅಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ, ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಮೇಲಿನ 14 ಪ್ರತಿಶತದ ಉಳಿತಾಯವು ಸಾಮಾನ್ಯವಾಗಿ ಒಟ್ಟು ಶುಲ್ಕದಲ್ಲಿ ಕೇವಲ ಸುಮಾರು 3 ಪ್ರತಿಶತದಷ್ಟು ಕಡಿತವನ್ನು ಮಾತ್ರ ನೀಡುತ್ತದೆ.

ಆದ್ದರಿಂದ, ಸುದ್ದಿಯಲ್ಲಿ ಹೇಳಲಾದ ಉಳಿತಾಯದ ಅಂಕಿಅಂಶವು ಸಣ್ಣದಾಗಿ ಕಂಡರೂ, ಈ ಬದಲಾವಣೆಯು ಯಾವುದೇ ಹೆಚ್ಚುವರಿ ವೆಚ್ಚವಿಲ್ಲದೆ ಬರುತ್ತದೆ ಮತ್ತು ಸ್ವಲ್ಪ ವೇಗವನ್ನು (latency boost) ನೀಡುತ್ತದೆ: ಕಡಿಮೆ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಎಂದರೆ ಮಾಡೆಲ್ ಜನರೇಷನ್ ಅನ್ನು ಸ್ವಲ್ಪ ವೇಗವಾಗಿ ಮುಗಿಸುತ್ತದೆ ಎಂದರ್ಥ.

ಹೆಚ್ಚಿನ ಉಳಿತಾಯಕ್ಕಾಗಿ ವಿಭಿನ್ನ ತಂತ್ರಗಳು ಬೇಕು

ವೆಚ್ಚವನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಮಾಡುವುದು ಗುರಿಯಾಗಿದ್ದರೆ, ಕೇವಲ ಈ ಹೆಡರ್ ಮಾತ್ರ ಸಾಲದು. ಮೂರು ಪ್ರಾಯೋಗಿಕ ಮಾರ್ಗಗಳು ಹೆಚ್ಚಿನ ಲಾಭವನ್ನು ನೀಡುತ್ತವೆ:

  • Prompt caching – ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಒಮ್ಮೆ ಸಂಗ್ರಹಿಸಿ ಮತ್ತು ನಂತರದ ಕರೆಗಳಲ್ಲಿ ಕ್ಯಾಶ್ ಮಾಡಿದ (cached) ಆವೃತ್ತಿಯನ್ನು ಮರುಬಳಕೆ ಮಾಡಿ. ಕ್ಯಾಶ್ ಮಾಡಿದ ರೀಡ್‌ಗಳಿಗೆ ಹೊಸ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗಿಂತ ಕಡಿಮೆ ದರದಲ್ಲಿ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ.
  • Trim the tool set – ಪ್ರಸ್ತುತ ಕಾರ್ಯಕ್ಕೆ ಅಗತ್ಯವಿರುವ ಟೂಲ್‌ಗಳನ್ನು ಮಾತ್ರ ಸೇರಿಸಿ. ಪ್ರತಿಯೊಂದು ಹೆಚ್ಚುವರಿ ಟೂಲ್ ಪ್ರತಿ ರಿಕ್ವೆಸ್ಟ್‌ಗೆ ತನ್ನ ವ್ಯಾಖ್ಯಾನವನ್ನು ಸೇರಿಸುತ್ತದೆ, ಇದರಿಂದ ಇನ್‌ಪುಟ್ ವೆಚ್ಚಗಳು ಹೆಚ್ಚಾಗುತ್ತವೆ.
  • Slim down tool results – ಮಾಡೆಲ್‌ಗೆ ನಿಜವಾಗಿಯೂ ಬೇಕಾದ ಫೀಲ್ಡ್‌ಗಳನ್ನು ಮಾತ್ರ ಹಿಂತಿರುಗಿಸಿ. ಸಂಭಾಷಣೆಗೆ ಮರಳಿ ಕಳುಹಿಸಲಾದ ದೊಡ್ಡ API ರೆಸ್ಪಾನ್ಸ್‌ಗಳು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಮತ್ತು ಸಂಭಾಷಣೆಯ ಇತಿಹಾಸ ಎರಡನ್ನೂ ಹೆಚ್ಚಿಸುತ್ತವೆ.

ಈ ಪದ್ಧತಿಗಳನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುವುದರಿಂದ, ಕೇವಲ ಬೆಟಾದಿಂದ ನೀವು ನೋಡುವ 3 ಪ್ರತಿಶತಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದಲ್ಲಿ ಒಟ್ಟು ವೆಚ್ಚವನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಮಾಡಬಹುದು.

ಗಮನಿಸಬೇಕಾದ ಅಂಶಗಳು

ಟೋಕನ್-ಎಫಿಷಿಯೆಂಟ್ ಮೋಡ್ ಯಾವಾಗ ಬೆಟಾದಿಂದ ಡಿಫಾಲ್ಟ್ ಫೀಚರ್ ಆಗಿ ಬದಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು Anthropic ಇನ್ನೂ ಸೂಚಿಸಿಲ್ಲ. Claude 3.7 Sonnet ಗಿಂತ ಹೆಚ್ಚಿನ ಮಾಡೆಲ್‌ಗಳಿಗೆ ಬೆಂಬಲ ನೀಡುವ ಅಥವಾ ಆಳವಾದ ಟೋಕನ್-ಕಂಪ್ರೆಷನ್ ತಂತ್ರಗಳನ್ನು ಪರಿಚಯಿಸುವ ಭವಿಷ್ಯದ ಪ್ರಕಟಣೆಗಳ ಮೇಲೆ ಡೆವಲಪರ್‌ಗಳು ಕಣ್ಣಿಡಬೇಕು. ಬಳಕೆಯ ಮಾದರಿಗಳು ಬದಲಾದಂತೆ, ಪ್ರತಿ-ರಿಕ್ವೆಸ್ಟ್ ಟೋಕನ್ ವಿಂಗಡಣೆಯನ್ನು (per-request token breakdown) ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ನೈಜ ಪ್ರಭಾವವನ್ನು ಅಳೆಯಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಸಾರಾಂಶ (Bottom line)

ಬೆಟಾ ಹೆಡರ್ ಎಂಬುದು ಉಚಿತ ಮತ್ತು ಕಡಿಮೆ ಶ್ರಮದ ಬದಲಾವಣೆಯಾಗಿದ್ದು, ಇದು ಟೂಲ್-ಕಾಲ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಸುಮಾರು 14 ಪ್ರತಿಶತದಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಇದರಿಂದ ಬಿಲ್‌ನಲ್ಲಿ ಸಣ್ಣ ಇಳಿಕೆ ಮತ್ತು ಸ್ವಲ್ಪ ವೇಗ ಸಿಗುತ್ತದೆ. ಈಗಾಗಲೇ ಹೆಚ್ಚಿನ ಏಜೆಂಟ್ ವೆಚ್ಚಗಳೊಂದಿಗೆ ಹೋರಾಡುತ್ತಿರುವವರಿಗೆ, ಈ ಹೆಡರ್ ಒಂದು ಉಪಯುಕ್ತ ಸಾಧನವಾಗಿದೆ, ಆದರೆ ನಿಜವಾದ ಉಳಿತಾಯವು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಕ್ಯಾಶ್ ಮಾಡುವುದು, ಟೂಲ್ ಬಳಕೆಯನ್ನು ಸೀಮಿತಗೊಳಿಸುವುದು ಮತ್ತು ಕನಿಷ್ಠ ಡೇಟಾವನ್ನು (leaner results) ಹಿಂತಿರುಗಿಸುವುದರಿಂದ ಬರುತ್ತದೆ.

ಮೂಲ: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l