Title: ਇੱਕ ਟੂਲ ਦਾ ਨਾਮ ਬਦਲੋ, ਪੂਰਾ ਕੈਸ਼ (Cache) ਗੁਆ ਲਓ
Anthropic ਦੀ ਨਵੀਂ ਕੈਸ਼ (cache) ਕੀਮਤ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇੱਕ ਅੱਖਰ ਦਾ ਬਦਲਾਅ—ਜਿਵੇਂ ਕਿ ਕਿਸੇ ਟੂਲ ਦਾ ਨਾਮ ਬਦਲਣਾ ਜਾਂ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ (system prompt) ਵਿੱਚ ਟਾਈਮਸਟੈਂਪ (timestamp) ਜੋੜਨਾ—ਇੱਕ ਸਸਤੇ ਕੈਸ਼ ਹਿੱਟ (cache hit) ਨੂੰ ਪੂਰੀ ਕੀਮਤ ਵਾਲੇ ਮਿਸ (miss) ਵਿੱਚ ਬਦਲ ਸਕਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਬਿੱਲ ਦਸਵਾਂ-ਦਸਵਾਂ ਗੁਣਾ ਵਧ ਸਕਦਾ ਹੈ।
ਇਹ ਬਦਲਾਅ Anthropic ਦੇ ਦੋ-ਪੱਧਰੀ ਕੈਸ਼ ਡਿਸਕਾਊਂਟ (two-tier cache discount) ਕਾਰਨ ਆਇਆ ਹੈ। ਕੁਝ ਮਾਡਲਾਂ ਲਈ, ਕੈਸ਼ਡ ਰੀਡ (cached read) ਦੀ ਕੀਮਤ ਆਮ ਇਨਪੁਟ ਕੀਮਤ ਦਾ ਸਿਰਫ਼ 0.025 × ਹੁੰਦੀ ਹੈ; ਦੂਜਿਆਂ ਲਈ ਡਿਸਕਾਊਂਟ 0.1 × ਹੈ। ਇਹ ਡਿਸਕਾਊਂਟ ਉਦੋਂ ਹੀ ਲਾਗੂ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਰਿਕਵੈਸਟ (request) ਪਹਿਲਾਂ ਤੋਂ ਕੈਸ਼ ਕੀਤੇ ਗਏ ਐਂਟਰੀ ਨਾਲ ਬਿਲਕੁਲ ਮੇਲ ਖਾਂਦੀ ਹੋਵੇ। 'ਮਿਸ' (miss) ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਬੇਸ ਰੇਟ (base rate) 'ਤੇ ਬਿਲਿੰਗ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਇਸ ਲਈ ਹਿੱਟ ਅਤੇ ਮਿਸ ਵਿਚਕਾਰ ਦਾ ਅੰਤਰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਵਧ ਜਾਂਦਾ ਹੈ। ਅਸਲ ਵਿੱਚ, ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਬਦਲਾਅ ਲਾਗਤ ਨੂੰ ਉਮੀਦ ਕੀਤੇ ਮਾਲ ਦੀ ਰਕਮ ਤੋਂ ਚਾਲੀ ਗੁਣਾ ਤੱਕ ਵਧਾ ਸਕਦਾ ਹੈ।
ਇਹ ਬਦਲਾਅ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
Anthropic ਨੇ ਇੱਕੋ ਜਿਹੇ ਪ੍ਰੋਂਪਟਾਂ ਦੀ ਮੁੜ ਵਰਤੋਂ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਲਈ ਕੈਸ਼ ਪੱਧਰ (cache tier) ਜੋੜਿਆ ਹੈ, ਜੋ ਕਿ ਉਹਨਾਂ ਏਜੰਟਾਂ (agents) ਵਿੱਚ ਇੱਕ ਆਮ ਪੈਟਰਨ ਹੈ ਜੋ ਵਾਰ-ਵਾਰ ਇੱਕੋ ਟੂਲਸੈੱਟ (toolset) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਵਿਚਾਰ ਸਰਲ ਹੈ: ਪ੍ਰੋਂਪਟ-ਟੂਲ ਸੁਮੇਲ ਦੇ ਨਤੀਜੇ ਨੂੰ ਇੱਕ ਵਾਰ ਸਟੋਰ ਕਰੋ, ਫਿਰ ਬਾਅਦ ਦੀਆਂ ਕਾਲਾਂ 'ਤੇ ਇਸਨੂੰ ਸਸਤੇ ਵਿੱਚ ਪ੍ਰਾਪਤ ਕਰੋ। ਨਵੇਂ ਮਲਟੀਪਲਾਈਅਰ (multipliers) "ਰੀਟ੍ਰੀਵਲ" (retrieval) ਪਾਸ ਨੂੰ ਬਹੁਤ ਸਸਤਾ ਬਣਾਉਂਦੇ ਹਨ, ਪਰ ਉਹ "ਮਿਸ" (miss) ਲਈ ਜੁਰਮਾਨਾ ਵੀ ਬਹੁਤ ਜ਼ਿਆਦਾ ਕਰ ਦਿੰਦੇ ਹਨ।
ਜਿਹੜੇ ਡਿਵੈਲਪਰਾਂ ਨੇ ਸਥਿਰ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਏਜੰਟ ਬਣਾਏ ਹਨ, ਉਹ ਹੁਣ ਦੇਖਦੇ ਹਨ ਕਿ ਕੋਈ ਵੀ ਬਦਲਾਅ—ਚਾਹੇ ਜਾਣਬੁੱਝ ਕੇ ਕੀਤਾ ਗਿਆ ਹੋਵੇ ਜਾਂ ਅਚਾਨਕ—ਕੈਸ਼ ਚੇਨ (cache chain) ਨੂੰ ਤੋੜ ਦਿੰਦਾ ਹੈ। ਇਸਦਾ ਨਤੀਜਾ ਸੇਵਾ 'ਤੇ ਇੱਕ ਲੁਕਿਆ ਹੋਇਆ ਟੈਕਸ ਹੈ: ਘੱਟ ਕੈਸ਼-ਹਿੱਟ ਰੇਸ਼ੀਓ (cache-hit ratio) ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਉੱਚੀ ਸੰਚਾਲਨ ਲਾਗਤ (operating costs) ਵਿੱਚ ਬਦਲ ਜਾਂਦਾ ਹੈ।
ਕੈਸ਼ ਨੂੰ ਕੀ ਤੋੜਦਾ ਹੈ
Anthropic ਦਾ ਦਸਤਾਵੇਜ਼ (documentation) ਇੱਕ ਅਜਿਹੀ ਲੜੀ (hierarchy) ਦਾ ਵਰਣਨ ਕਰਦਾ ਹੈ ਜਿੱਥੇ ਉੱਚੇ ਪੱਧਰਾਂ 'ਤੇ ਕੀਤੇ ਗਏ ਬਦਲਾਅ ਉਨ੍ਹਾਂ ਦੇ ਹੇਠਾਂ ਦੀ ਹਰ ਚੀਜ਼ ਨੂੰ ਅਵੈਲਿਡ (invalidate) ਕਰ ਦਿੰਦੇ ਹਨ। ਇਸਦਾ ਵਿਵਹਾਰਕ ਨਤੀਜਾ ਇਹ ਹੈ ਕਿ ਦੇਖਣ ਵਿੱਚ ਮਾਮੂਲੀ ਲੱਗਣ ਵਾਲੇ ਸੰਸੋਧਨ ਵੀ ਪੂਰੀ ਕੀਮਤ ਦੇ ਚਾਰਜ ਵਿੱਚ ਬਦਲ ਸਕਦੇ ਹਨ।
- ਟੂਲ ਡੈਫੀਨੇਸ਼ਨ (Tool definitions) – ਕਿਸੇ ਟੂਲ ਨੂੰ ਜੋੜਨਾ, ਹਟਾਉਣਾ, ਉਸਦਾ ਨਾਮ ਬਦਲਣਾ, ਜਾਂ ਉਸਦੇ ਵਰਣਨ ਨੂੰ ਬਦਲਣਾ ਟੂਲਸ, ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਅਤੇ ਸਾਰੇ ਮੈਸੇਜ ਇਤਿਹਾਸ (message history) ਲਈ ਕੈਸ਼ ਨੂੰ ਸਾਫ਼ ਕਰ ਦਿੰਦਾ ਹੈ।
- ਵੈੱਬ-ਸਰਚ ਟੌਗਲ (Web-search toggle) – ਵੈੱਬ-ਸਰਚ ਟੂਲ ਨੂੰ ਸਮਰੱਥ ਕਰਨ ਵਾਲੇ ਬੂਲੀਅਨ (boolean) ਨੂੰ ਬਦਲਣ ਨਾਲ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਅਤੇ ਮੈਸੇਜ ਕੈਸ਼ ਸਾਫ਼ ਹੋ ਜਾਂਦਾ ਹੈ।
- ਟੂਲ-ਚੁਆਇਸ ਪੈਰਾਮੀਟਰ (Tool-choice parameter) – ਉਸ ਪੈਰਾਮੀਟਰ ਵਿੱਚ ਬਦਲਾਅ ਕਰਨਾ ਜੋ ਇਹ ਚੁਣਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਟੂਲ ਚਲਾਉਣਾ ਹੈ, ਸਿਰਫ਼ ਮੈਸੇਜ ਕੈਸ਼ ਨੂੰ ਅਵੈਲਿਡ ਕਰਦਾ ਹੈ।
- ਇਮੇਜ ਪੇਲੋਡ (Image payloads) – ਤਸਵੀਰਾਂ ਨੂੰ ਜੋੜਨਾ ਜਾਂ ਹਟਾਉਣਾ ਸਿਰਫ਼ ਮੈਸੇਜ ਕੈਸ਼ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ।
ਡਿਵੈਲਪਰਾਂ ਦੁਆਰਾ ਅਣਜਾਣੇ ਵਿੱਚ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਆਮ ਪੈਟਰਨ:
- ਟੂਲਸ ਦੀ ਰੀ-ਆਰਡਰਿੰਗ (Reordering tools) – ਕੁਝ ਕੋਡਬੇਸ (codebases) ਹਰ ਡਿਪਲਾਈਮੈਂਟ 'ਤੇ ਟੂਲ ਡਿਕਸ਼ਨਰੀਆਂ ਨੂੰ ਸੌਰਟ ਕਰਦੇ ਹਨ। ਨਵਾਂ ਕ੍ਰਮ ਇੱਕ ਵੱਖਰੀ ਕੈਸ਼ ਕੀ (cache key) ਬਣਾਉਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਹਰ ਵਾਰ 'ਮਿਸ' (miss) ਹੁੰਦੀ ਹੈ।
- ਟਾਈਮਸਟੈਂਪਡ ਪ੍ਰੋਂਪਟ (Timestamped prompts) – ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਵਿੱਚ “generated at HH:MM:SS” ਸਟ੍ਰਿੰਗ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਨਾਲ ਹਰ ਰਿਕਵੈਸਟ ਵਿਲੱਖਣ ਬਣ ਜਾਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ 'ਮਿਸ' ਹੋਣਾ ਯਕੀਨੀ ਹੋ ਜਾਂਦਾ ਹੈ।
- ਪ੍ਰੋਂਪਟ ਫਰੈਗਮੈਂਟਸ ਨੂੰ ਰੋਟੇਟ ਕਰਨਾ (Rotating prompt fragments) – ਕਿਸੇ ਸਵਾਗਤ (greeting) ਜਾਂ ਵਰਜ਼ਨ ਬੈਨਰ ਨੂੰ ਬਦਲਣ ਨਾਲ ਪ੍ਰੋਂਪਟ ਹੈਸ਼ (prompt hash) ਬਦਲ ਜਾਂਦਾ ਹੈ ਅਤੇ ਕੈਸ਼ ਟੁੱਟ ਜਾਂਦਾ ਹੈ।
ਲੁਕੀ ਹੋਈ ਲਾਗਤ ਦੀ ਪਛਾਣ ਕਰਨਾ
Anthropic ਦੇ ਵਰਤੋਂ ਲੌਗਸ (usage logs) ਤਿੰਨ ਫੀਲਡਾਂ ਰਾ
Critics note that many real-world agents need to adapt prompts on the fly—adding context, timestamps, or dynamic tool selections is often essential. For those workloads, the new pricing could make Anthropic less attractive compared with providers that charge a flat rate regardless of cache hits.
What to watch next
- Pricing revisions – Anthropic may fine-tune the multipliers if community feedback shows the hit-miss gap is too wide.
- Cache-control features – Future API updates could let developers specify which parts of a prompt should be excluded from the cache key, offering a middle ground.
- Competitor responses – Other LLM providers might adjust their own cache models to stay competitive, either by offering flatter pricing or by exposing more granular cache controls.
Takeaway
With Anthropic’s new cache pricing, the cost of a prompt miss is no longer a marginal inconvenience; it’s a financial lever that can swing a project’s budget dramatically. Keeping system prompts, tool definitions, and related metadata immutable is now as important as writing efficient code. Teams that treat prompt determinism as a measurable metric will avoid surprise bills and stay in control of their AI-agent expenses.