Title: ಒಂದು ಟೂಲ್ ಅನ್ನು ಮರುನಾಮಕರಣ ಮಾಡಿ, ಇಡೀ ಕ್ಯಾಶ್ ಅನ್ನು ಕಳೆದುಕೊಳ್ಳಿ

Anthropic ನ ಹೊಸ ಕ್ಯಾಶ್ ಬೆಲೆ ನಿಗದಿ (pricing) ಎಂದರೆ ಕೇವಲ ಒಂದು ಅಕ್ಷರದ ಬದಲಾವಣೆ—ಒಂದು ಟೂಲ್ ಅನ್ನು ಮರುನಾಮಕರಣ ಮಾಡುವುದು ಅಥವಾ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗೆ (system prompt) ಟೈಮ್‌ಸ್ಟ್ಯಾಂಪ್ ಸೇರಿಸುವುದು—ಅಗ್ಗದ ಕ್ಯಾಶ್ ಹಿಟ್ ಅನ್ನು ಪೂರ್ಣ ಬೆಲೆಯ ಮಿಸ್ ಆಗುವಂತೆ ಮಾಡಬಹುದು, ಇದರಿಂದ ಬಿಲ್‌ಗಳು ಡಜನ್‌ಗಟ್ಟಲೆ ಹೆಚ್ಚಾಗಬಹುದು.

ಈ ಬದಲಾವಣೆಯು Anthropic ನ ಎರಡು ಹಂತದ (two-tier) ಕ್ಯಾಶ್ ರಿಯಾಯಿತಿಯಿಂದ ಉಂಟಾಗಿದೆ. ಕೆಲವು ಮಾಡೆಲ್‌ಗಳಿಗೆ ಕ್ಯಾಶ್ಡ್ ರೀಡ್ (cached read) ಕೇವಲ ಸಾಮಾನ್ಯ ಇನ್‌ಪುಟ್ ಬೆಲೆಯ 0.025 × ಮಾತ್ರವಾಗುತ್ತದೆ; ಇತರ ಮಾಡೆಲ್‌ಗಳಿಗೆ ರಿಯಾಯಿತಿ 0.1 × ಆಗಿರುತ್ತದೆ. ವಿನಂತಿಯು (request) ಈ ಮೊದಲು ಕ್ಯಾಶ್ ಮಾಡಲಾದ ಎಂಟ್ರಿಗೆ ನಿಖರವಾಗಿ ಹೊಂದಿಕೆಯಾದಾಗ ಮಾತ್ರ ಈ ರಿಯಾಯಿತಿ ಅನ್ವಯಿಸುತ್ತದೆ. ಕ್ಯಾಶ್ ಮಿಸ್ (miss) ಆದಾಗ ಮೂಲ ದರದಲ್ಲಿ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಹಿಟ್ ಮತ್ತು ಮಿಸ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವು ತೀವ್ರವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಸಣ್ಣ ಪ್ರಾಂಪ್ಟ್ ಬದಲಾವಣೆಯು ವೆಚ್ಚವನ್ನು ನಿರೀಕ್ಷಿತ ಮೊತ್ತಕ್ಕಿಂತ ನಲವತ್ತು ಪಟ್ಟು ಹೆಚ್ಚು ಮಾಡಬಹುದು.

ಈ ಬದಲಾವಣೆ ಏಕೆ ಮುಖ್ಯ

ಒಂದೇ ರೀತಿಯ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡಲು ಪ್ರೋತ್ಸಾಹಿಸಲು Anthropic ಕ್ಯಾಶ್ ಹಂತವನ್ನು ಸೇರಿಸಿದೆ, ಇದು ಒಂದೇ ಟೂಲ್ ಸೆಟ್ ಅನ್ನು ಪದೇ ಪದೇ ಬಳಸುವ ಏಜೆಂಟ್‌ಗಳಲ್ಲಿ ಕಂಡುಬರುವ ಸಾಮಾನ್ಯ ಮಾದರಿಯಾಗಿದೆ. ಇದರ ಉದ್ದೇಶ ಸರಳವಾಗಿದೆ: ಪ್ರಾಂಪ್ಟ್-ಟೂಲ್ ಸಂಯೋಜನೆಯ ಫಲಿತಾಂಶವನ್ನು ಒಮ್ಮೆ ಸಂಗ್ರಹಿಸಿ, ನಂತರದ ಕರೆಗಳಲ್ಲಿ ಅದನ್ನು ಅಗ್ಗವಾಗಿ ಪಡೆಯುವುದು. ಹೊಸ ಮಲ್ಟಿಪ್ಲೈಯರ್‌ಗಳು (multipliers) "ರಿಟ್ರಿೀವಲ್" (retrieval) ಭಾಗವನ್ನು ಹೆಚ್ಚು ಅಗ್ಗವಾಗಿಸುತ್ತವೆ, ಆದರೆ ಅವು "ಮಿಸ್" ಆಗಲು ನೀಡುವ ದಂಡವನ್ನು (penalty) ಹೆಚ್ಚು ಕಠಿಣವಾಗಿಸುತ್ತವೆ.

ಸ್ಥಿರ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ಸುತ್ತ ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಿದ ಡೆವಲಪರ್‌ಗಳು ಈಗ ಯಾವುದೇ ಬದಲಾವಣೆ—ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿರಲಿ ಅಥವಾ ಅಕಸ್ಮಾತಾಗಿರಲಿ—ಕ್ಯಾಶ್ ಚೈನ್ ಅನ್ನು ಮುರಿಯುವುದನ್ನು ನೋಡುತ್ತಿದ್ದಾರೆ. ಇದರ ಪರಿಣಾಮ ಸೇವೆಯ ಮೇಲೆ ಅಡಗಿರುವ ತೆರಿಗೆಯಂತಿದೆ: ಕಡಿಮೆ ಕ್ಯಾಶ್-ಹಿಟ್ ಅನುಪಾತವು ನೇರವಾಗಿ ಹೆಚ್ಚಿನ ಕಾರ್ಯಾಚರಣಾ ವೆಚ್ಚಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ.

ಕ್ಯಾಶ್ ಅನ್ನು ಏನನ್ನು ಮುರಿಯುತ್ತದೆ

Anthropic ನ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಒಂದು ಶ್ರೇಣಿಯನ್ನು (hierarchy) ವಿವರಿಸುತ್ತದೆ, ಅಲ್ಲಿ ಮೇಲಿನ ಹಂತಗಳಲ್ಲಿನ ಬದಲಾವಣೆಗಳು ಅವುಗಳ ಕೆಳಗಿರುವ ಎಲ್ಲವನ್ನೂ ಅಮಾನ್ಯಗೊಳಿಸುತ್ತವೆ. ಇದರ ಪ್ರಾಯೋಗಿಕ ಪರಿಣಾಮವೆಂದರೆ, ಮೇಲ್ನೋಟಕ್ಕೆ ಹಾನಿಕಾರಕವಲ್ಲದ ಎಡಿಟ್‌ಗಳು ಪೂರ್ಣ ಬೆಲೆಯ ಚಾರ್ಜ್ ಆಗುವಂತೆ ಮಾಡಬಹುದು.

  • ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳು (Tool definitions) – ಒಂದು ಟೂಲ್ ಅನ್ನು ಸೇರಿಸುವುದು, ತೆಗೆದುಹಾಕುವುದು, ಮರುನಾಮಕರಣ ಮಾಡುವುದು ಅಥವಾ ಅದರ ವಿವರಣೆಯನ್ನು ಬದಲಾಯಿಸುವುದು ಟೂಲ್‌ಗಳು, ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಎಲ್ಲಾ ಸಂದೇಶ ಇತಿಹಾಸದ ಕ್ಯಾಶ್ ಅನ್ನು ಅಳಿಸಿಹಾಕುತ್ತದೆ.
  • ವೆಬ್-ಸರ್ಚ್ ಟಾಗಲ್ (Web-search toggle) – ವೆಬ್-ಸರ್ಚ್ ಟೂಲ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವ ಬೂಲಿಯನ್ (boolean) ಅನ್ನು ಬದಲಾಯಿಸುವುದು ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಸಂದೇಶ ಕ್ಯಾಶ್ ಅನ್ನು ಕ್ಲಿಯರ್ ಮಾಡುತ್ತದೆ.
  • ಟೂಲ್-ಚಾಯ್ಸ್ ಪ್ಯಾರಾಮೀಟರ್ (Tool-choice parameter) – ಯಾವ ಟೂಲ್ ಅನ್ನು ರನ್ ಮಾಡಬೇಕೆಂದು ಆಯ್ಕೆ ಮಾಡುವ ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಬದಲಾಯಿಸುವುದು ಸಂದೇಶ ಕ್ಯಾಶ್ ಅನ್ನು ಮಾತ್ರ ಅಮಾನ್ಯಗೊಳಿಸುತ್ತದೆ.
  • ಇಮೇಜ್ ಪೇಲೋಡ್‌ಗಳು (Image payloads) – ಚಿತ್ರಗಳನ್ನು ಸೇರಿಸುವುದು ಅಥವಾ ತೆಗೆದುಹಾಕುವುದು ಕೇವಲ ಸಂದೇಶ ಕ್ಯಾಶ್ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ.

ಡೆವಲಪರ್‌ಗಳು ಅಜಾಗರೂಕತೆಯಿಂದ ಮಾಡುವ ಸಾಮಾನ್ಯ ಮಾದರಿಗಳು:

  1. ಟೂಲ್‌ಗಳ ಮರುಕ್ರಮಣ (Reordering tools) – ಕೆಲವು ಕೋಡ್‌ಬೇಸ್‌ಗಳು ಪ್ರತಿ ನಿಯೋಜನೆಯ (deployment) ಸಮಯದಲ್ಲಿ ಟೂಲ್ ಡಿಕ್ಷನರಿಗಳನ್ನು ವಿಂಗಡಿಸುತ್ತವೆ. ಹೊಸ ಕ್ರಮವು ವಿಭಿನ್ನ ಕ್ಯಾಶ್ ಕೀಯನ್ನು (cache key) ಸೃಷ್ಟಿಸುತ್ತದೆ, ಇದು ಪ್ರತಿ ಬಾರಿಯೂ ಮಿಸ್ ಆಗುವಂತೆ ಮಾಡುತ್ತದೆ.
  2. ಟೈಮ್‌ಸ್ಟ್ಯಾಂಪ್ ಮಾಡಿದ ಪ್ರಾಂಪ್ಟ್‌ಗಳು (Timestamped prompts) – ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ “generated at HH:MM:SS” ಎಂಬ ಸ್ಟ್ರಿಂಗ್ ಅನ್ನು ಸೇರಿಸುವುದು ಪ್ರತಿಯೊಂದು ವಿನಂತಿಯನ್ನು ವಿಶಿಷ್ಟವಾಗಿಸುತ್ತದೆ, ಇದು ಖಂಡಿತವಾಗಿಯೂ ಮಿಸ್ ಆಗುವಂತೆ ಮಾಡುತ್ತದೆ.
  3. ಪ್ರಾಂಪ್ಟ್ ಫ್ರಾಗ್ಮೆಂಟ್‌ಗಳ ಬದಲಾವಣೆ (Rotating prompt fragments) – ಶುಭಾಶಯ ಅಥವಾ ವರ್ಷನ್ ಬ್ಯಾನರ್ ಅನ್ನು ಬದಲಾಯಿಸುವುದು ಪ್ರಾಂಪ್ಟ್ ಹ್ಯಾಶ್ ಅನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ ಮತ್ತು ಕ್ಯಾಶ್ ಅನ್ನು ಹಾಳುಮಾಡುತ್ತದೆ.

ಅಡಗಿರುವ ವೆಚ್ಚವನ್ನು ಗುರುತಿಸುವುದು

Anthropic ನ ಬಳಕೆಯ ಲಾಗ್‌ಗಳು (usage logs) ಮೂರು ಫೀಲ್ಡ್‌ಗಳ ಮೂಲಕ ಕ್ಯಾಶ್ ಡೈನಾಮಿಕ್ಸ್ ಅನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತವೆ:

  • cache_read_input_tokens – ಕ್ಯಾಶ್ ಎಂಟ್ರಿಯಿಂದ ಓದಿದ ಟೋಕನ್‌ಗಳು.
  • cache_creation_input_tokens – ಹೊಸ ಕ್ಯಾಶ್ ಎಂಟ್ರಿಯನ್ನು ಸಂಗ್ರಹಿಸಲು ಕಾರಣವಾದ ಟೋಕನ್‌ಗಳು.
  • input_tokens – ಸಾಮಾನ್ಯ ದರದಲ್ಲಿ ಬಿಲ್ ಮಾಡಲಾದ ಟೋಕನ್‌ಗಳು (ಕ್ಯಾಶ್ಡ್ ರೀಡ್‌ಗಳ ನಂತರ ಉಳಿದವು).

cache_read_input_tokens ನಲ್ಲಿ ಇಳಿಕೆ ಮತ್ತು input_tokens ನಲ್ಲಿ ಇದ್ದಕ್ಕಿದ್ದಂತೆ ಏರಿಕೆ ಕಂಡುಬಂದರೆ, ಪ್ರಾಂಪ್ಟ್ ಸ್ಟ್ಯಾಕ್‌ನಲ್ಲಿ ಏನೋ ಬದಲಾಗಿದೆ ಎಂದು ಅರ್ಥ. ಈ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದರಿಂದ ಬಿಲ್ ಹೆಚ್ಚಾಗುವ ಮೊದಲೇ ತಂಡಗಳು ಕ್ರಮ ತೆಗೆದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ಡೆವಲಪರ್‌ಗಳ ಪ್ರತಿಕ್ರಿಯೆ

ಹೊಸ ಬೆಲೆ ನಿಗದಿ ಎದುರಿಸುತ್ತಿರುವ ಅನೇಕ ತಂಡಗಳು ಈಗ ಪ್ರಾಂಪ್ಟ್ ಸ್ಥಿರತೆಯನ್ನು (prompt stability) ಪ್ರಮುಖ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೆಟ್ರಿಕ್ ಆಗಿ ಪರಿಗಣಿಸುತ್ತಿವೆ. ಸಾಮಾನ್ಯ ತಂತ್ರಗಳು ಇಂತಿವೆ:

  • ಸ್ಥಿರ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳು (Static system prompts) – ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ವರ್ಷನ್-ಕಂಟ್ರೋಲ್ಡ್ ಫೈಲ್‌ನಲ್ಲಿ ಸಂಗ್ರಹಿಸಿ ಮತ್ತು ರನ್‌ಟೈಮ್ ಮಾರ್ಪಾಡುಗಳಿಲ್ಲದೆ ಅದನ್ನು ಬಳಸಿ.
  • ನಿರ್ಣಾಯಕ ಟೂಲ್ ಕ್ರಮ (Deterministic tool ordering) – ಡಿಕ್ಷನರಿ ಆರ್ಡರಿಂಗ್ ಅಥವಾ ಬಾಹ್ಯ ಜನರೇಟರ್‌ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗುವ ಬದಲು ಕೋಡ್‌ನಲ್ಲಿ ನೇರವಾಗಿ ಟೂಲ್ ಪಟ್ಟಿಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ.
  • ಟೈಮ್‌ಸ್ಟ್ಯಾಂಪ್ ತೆಗೆದುಹಾಕುವುದು (Timestamp removal) – ಲಾಗಿಂಗ್ ಅಥವಾ ಟೈಮಿಂಗ್ ಮಾಹಿತಿಯನ್ನು ಪ್ರಾಂಪ್ಟ್ ಸ್ಟ್ರಿಂಗ್ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರದ ಪ್ರತ್ಯೇಕ ಮೆಟಾಡಾಟಾ ಚಾನಲ್‌ಗೆ ವರ್ಗಾಯಿಸಿ.
  • ಕ್ಯಾಶ್-ಅರಿವಿನ ಪರೀಕ್ಷೆ (Cache-aware testing) – ಪೂರ್ಣ ಪ್ರಾಂಪ್ಟ್‌ನ (ಸಿಸ್ಟಮ್ + ಟೂಲ್ಸ್ + ಮೆಸೇಜ್‌ಗಳು) ಹ್ಯಾಶ್ ಬಿಲ್ಡ್‌ಗಳಾದ್ಯಂತ ಸ್ಥಿರವಾಗಿರುತ್ತದೆ ಎಂದು ಪರಿಶೀಲಿಸುವ ಯೂನಿಟ್ ಟೆಸ್ಟ್‌ಗಳನ್ನು ಸೇರಿಸಿ.

ಈ ಅಭ್ಯಾಸಗಳು ಸ್ವಲ್ಪ ಎಂಜಿನಿಯರಿಂಗ್ ಕೆಲಸವನ್ನು ಹೆಚ್ಚಿಸಬಹುದು, ಆದರೆ ಕ್ಯಾಶ್ ಮಿಸ್ ಈಗ ಪ್ರತಿನಿಧಿಸುವ "ಅಡಗಿರುವ ತೆರಿಗೆಯಿಂದ" ರಕ್ಷಣೆ ನೀಡುತ್ತವೆ.

Anthropic ನ ದೃಷ್ಟಿಕೋನ

Anthropic ವಾದಿಸುವಂತೆ, ಹೆಚ್ಚಿನ ರಿಯಾಯಿತಿಯು ಮರುಬಳಕೆಯನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತದೆ, ಇದು ಅದರ ಸರ್ವರ್‌ಗಳ ಮೇಲಿನ ಒಟ್ಟಾರೆ ಕಂಪ್ಯೂಟ್ ಲೋಡ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು. ಕ್ಯಾಶ್ಡ್ ರೀಡ್‌ಗಳನ್ನು ಅತ್ಯಂತ ಅಗ್ಗವಾಗಿಸುವ ಮೂಲಕ, ಡೆವಲಪರ್‌ಗಳು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ನಿರಂತರವಾಗಿ ಮರುರೂಪಿಸುವ ಬದಲು ಒಂದೇ ಟೂಲ್ ಸೆಟ್ ಅನ್ನು ಪದೇ ಪದೇ ಬಳಸುವ ಏಜೆಂಟ್‌ಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತಾರೆ ಎಂದು ಅವರು ಭಾವಿಸುತ್ತಾರೆ. ಇದರ ಬದಲಾಗಿ, ಮರುಬಳಕೆ ಮಾಡಲಾಗದ ಕರೆಗಳಿಗೆ ಹೆಚ್ಚಿನ ದಂಡವನ್ನು ವಿಧಿಸಲಾಗುತ್ತದೆ, ಇದು ಡೆವಲಪರ್‌ಗಳನ್ನು ಉತ್ತಮ ಪ್ರಾಂಪ್ಟ್ ಹೈಜೀನ್ (prompt hygiene) ಕಡೆಗೆ ಪ್ರೇರೇಪಿಸುತ್ತದೆ ಎಂದು ಕಂಪನಿಯು ಹೇಳುತ್ತದೆ.

ವಿಮರ್ಶಕರು ಗಮನಿಸುವುದೇನೆಂದರೆ, ಅನೇಕ ನೈಜ-ಪ್ರಪಂಚದ ಏಜೆಂಟ್‌ಗಳು ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ತಕ್ಷಣವೇ ಅಳವಡಿಸಿಕೊಳ್ಳಬೇಕಾಗುತ್ತದೆ—ಸಂದರ್ಭ (context), ಸಮಯದ ಮುದ್ರೆಗಳು (timestamps), ಅಥವಾ ಡೈನಾಮಿಕ್ ಟೂಲ್ ಆಯ್ಕೆಗಳನ್ನು ಸೇರಿಸುವುದು ಹೆಚ್ಚಾಗಿ ಅತ್ಯಗತ್ಯವಾಗಿರುತ್ತದೆ. ಅಂತಹ ಕೆಲಸದ ಒತ್ತಡದ ಸಂದರ್ಭಗಳಲ್ಲಿ (workloads), ಕ್ಯಾಶ್ ಹಿಟ್‌ಗಳ (cache hits) ಮೇಲೆ ನಿರ್ಲಕ್ಷ್ಯ ವಹಿಸಿ ಸ್ಥಿರ ದರವನ್ನು (flat rate) ವಿಧಿಸುವ ಇತರ ಸೇವಾ ಪೂರೈಕೆದಾರರಿಗೆ ಹೋಲಿಸಿದರೆ, Anthropic ನ ಹೊಸ ಬೆಲೆ ಪದ್ಧತಿಯು ಆಕರ್ಷಕವಾಗಿಲ್ಲದಿರಬಹುದು.

ಮುಂದೆ ಗಮನಿಸಬೇಕಾದವುಗಳು

  • ಬೆಲೆ ಪರಿಷ್ಕರಣೆಗಳು (Pricing revisions) – ಸಮುದಾಯದ ಪ್ರತಿಕ್ರಿಯೆಯು ಹಿಟ್-ಮಿಸ್ (hit-miss) ನಡುವಿನ ಅಂತರವು ತುಂಬಾ ಹೆಚ್ಚಿದೆ ಎಂದು ತೋರಿಸಿದರೆ, Anthropic ಮಲ್ಟಿಪ್ಲೈಯರ್‌ಗಳನ್ನು (multipliers) ಸೂಕ್ಷ್ಮವಾಗಿ ಹೊಂದಾಣಿಕೆ ಮಾಡಬಹುದು.
  • ಕ್ಯಾಶ್-ಕಂಟ್ರೋಲ್ ವೈಶಿಷ್ಟ್ಯಗಳು (Cache-control features) – ಭವಿಷ್ಯದ API ಅಪ್‌ಡೇಟ್‌ಗಳು, ಪ್ರಾಂಪ್ಟ್‌ನ ಯಾವ ಭಾಗಗಳನ್ನು ಕ್ಯಾಶ್ ಕೀ (cache key) ನಿಂದ ಹೊರತುಪಡಿಸಬೇಕು ಎಂದು ಡೆವಲಪರ್‌ಗಳು ನಿರ್ಧರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡಬಹುದು, ಇದು ಒಂದು ಮಧ್ಯಮ ಮಾರ್ಗವನ್ನು ಒದಗಿಸುತ್ತದೆ.
  • ಸ್ಪರ್ಧಿಗಳ ಪ್ರತಿಕ್ರಿಯೆಗಳು (Competitor responses) – ಇತರ LLM ಪೂರೈಕೆದಾರರು ಸ್ಪರ್ಧಾತ್ಮಕವಾಗಿರಲು ತಮ್ಮದೇ ಆದ ಕ್ಯಾಶ್ ಮಾದರಿಗಳನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡಿಕೊಳ್ಳಬಹುದು; ಅಂದರೆ, ಸ್ಥಿರ ಬೆಲೆಗಳನ್ನು ನೀಡುವ ಮೂಲಕ ಅಥವಾ ಹೆಚ್ಚು ವಿವರವಾದ (granular) ಕ್ಯಾಶ್ ನಿಯಂತ್ರಣಗಳನ್ನು ಒದಗಿಸುವ ಮೂಲಕ ಇದನ್ನು ಮಾಡಬಹುದು.

ಸಾರಾಂಶ

Anthropic ನ ಹೊಸ ಕ್ಯಾಶ್ ಬೆಲೆ ಪದ್ಧತಿಯೊಂದಿಗೆ, ಪ್ರಾಂಪ್ಟ್ ಮಿಸ್ (prompt miss) ಆಗುವ ವೆಚ್ಚವು ಕೇವಲ ಸಣ್ಣ ತೊಂದರೆಯಾಗಿ ಉಳಿಯುವುದಿಲ್ಲ; ಇದು ಯೋಜನೆಯ ಬಜೆಟ್ ಅನ್ನು ತೀವ್ರವಾಗಿ ಬದಲಾಯಿಸಬಲ್ಲ ಆರ್ಥಿಕ ಅಂಶವಾಗಿದೆ (financial lever). ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳು (system prompts), ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳು (tool definitions) ಮತ್ತು ಸಂಬಂಧಿತ ಮೆಟಾಡೇಟಾವನ್ನು (metadata) ಬದಲಾಗದಂತೆ (immutable) ಇರಿಸಿಕೊಳ್ಳುವುದು ಈಗ ದಕ್ಷ ಕೋಡ್ ಬರೆಯುವಷ್ಟೇ ಮುಖ್ಯವಾಗಿದೆ. ಪ್ರಾಂಪ್ಟ್ ಡಿಟರ್ಮಿನಿಸಂ ಅನ್ನು (prompt determinism) ಅಳೆಯಬಹುದಾದ ಮಾನದಂಡವಾಗಿ ಪರಿಗಣಿಸುವ ತಂಡಗಳು, ಅನಿರೀಕ್ಷಿತ ಬಿಲ್‌ಗಳನ್ನು ತಪ್ಪಿಸಬಹುದು ಮತ್ತು ತಮ್ಮ AI-ಏಜೆಂಟ್ ವೆಚ್ಚಗಳ ಮೇಲೆ ನಿಯಂತ್ರಣವನ್ನು ಹೊಂದಬಹುದು.