Tiêu đề: Đổi tên một công cụ, mất toàn bộ cache

Chính sách giá cache mới của Anthropic có nghĩa là chỉ một thay đổi nhỏ về ký tự—như đổi tên một công cụ hoặc thêm dấu thời gian vào system prompt—cũng có thể biến một lượt cache hit giá rẻ thành một lượt cache miss giá gốc, khiến hóa đơn tăng lên gấp hàng chục lần.

Sự thay đổi này đến từ chính sách chiết khấu cache hai tầng của Anthropic. Đối với một số mô hình, một lượt đọc từ cache chỉ tốn 0,025 × giá đầu vào thông thường; đối với các mô hình khác, mức chiết khấu là 0,1 ×. Chiết khấu này chỉ áp dụng khi yêu cầu khớp chính xác với một mục đã được lưu trong cache trước đó. Các trường hợp miss sẽ bị tính theo giá cơ bản, do đó khoảng cách giữa hit và miss trở nên cực kỳ lớn. Trong thực tế, một thay đổi nhỏ trong prompt có thể đẩy chi phí lên tới gấp bốn mươi lần so với mức dự kiến.

Tại sao sự thay đổi này lại quan trọng

Anthropic đã thêm tầng cache để khuyến khích việc tái sử dụng các prompt giống hệt nhau, một mô hình phổ biến trong các agent thường xuyên gọi cùng một bộ công cụ. Ý tưởng rất đơn giản: lưu kết quả của một tổ hợp prompt-công cụ một lần, sau đó truy xuất lại một cách rẻ tiền trong các lần gọi sau. Các hệ số nhân mới giúp việc "truy xuất" rẻ hơn nhiều, nhưng chúng cũng khiến hình phạt cho một lượt "miss" trở nên nặng nề hơn nhiều.

Các nhà phát triển đã xây dựng các agent dựa trên các system prompt ổn định giờ đây thấy rằng bất kỳ sự sai lệch nào—dù là cố ý hay vô tình—cũng làm đứt gãy chuỗi cache. Kết quả là một loại "thuế ẩn" đối với dịch vụ: tỷ lệ cache hit thấp hơn sẽ trực tiếp dẫn đến chi phí vận hành cao hơn.

Điều gì làm mất cache

Tài liệu của Anthropic mô tả một hệ thống phân cấp, nơi các thay đổi ở cấp cao hơn sẽ làm mất hiệu lực của tất cả các thành phần bên dưới chúng. Kết quả thực tế là những chỉnh sửa tưởng chừng vô hại có thể dẫn đến việc bị tính phí toàn bộ.

  • Định nghĩa công cụ (Tool definitions) – Thêm, xóa, đổi tên một công cụ, hoặc thay đổi mô tả của nó sẽ xóa sạch cache của các công cụ, system prompt và toàn bộ lịch sử tin nhắn.
  • Nút chuyển đổi tìm kiếm web (Web-search toggle) – Thay đổi giá trị boolean để bật/tắt công cụ tìm kiếm web sẽ xóa sạch system prompt và cache tin nhắn.
  • Tham số lựa chọn công cụ (Tool-choice parameter) – Điều chỉnh tham số để chọn công cụ nào sẽ chạy chỉ làm mất hiệu lực cache tin nhắn.
  • Dữ liệu hình ảnh (Image payloads) – Thêm hoặc xóa hình ảnh chỉ ảnh hưởng đến cache tin nhắn.

Các mô hình phổ biến mà nhà phát triển vô tình kích hoạt:

  1. Sắp xếp lại thứ tự công cụ – Một số mã nguồn tự động sắp xếp các từ điển công cụ (tool dictionaries) trong mỗi lần triển khai. Thứ tự mới sẽ tạo ra một khóa cache (cache key) khác, khiến việc miss cache xảy ra mọi lúc.
  2. Prompt có dấu thời gian – Việc chèn một chuỗi "được tạo lúc HH:MM:SS" vào system prompt sẽ khiến mỗi yêu cầu trở nên duy nhất, đảm bảo luôn bị miss cache.
  3. Thay đổi các đoạn prompt – Việc thay đổi một lời chào hoặc một biểu ngữ phiên bản sẽ làm thay đổi mã băm (hash) của prompt và phá vỡ cache.

Nhận diện chi phí ẩn

Nhật ký sử dụng (usage logs) của Anthropic hiển thị động lực của cache thông qua ba trường:

  • cache_read_input_tokens – Số token được đọc từ một mục trong cache.
  • cache_creation_input_tokens – Số token khiến một mục cache mới được lưu trữ.
  • input_tokens – Số token bị tính theo giá thông thường (phần còn lại sau khi trừ đi các token đã đọc từ cache).

Sự gia tăng đột ngột của input_tokens đi kèm với sự sụt giảm của cache_read_input_tokens là dấu hiệu cho thấy có thứ gì đó trong cấu trúc prompt đã thay đổi. Việc theo dõi các chỉ số này cho phép các nhóm phản ứng trước khi hóa đơn tăng vọt.

Phản ứng của nhà phát triển

Đối mặt với thực tế giá cả mới, nhiều nhóm hiện coi sự ổn định của prompt là một chỉ số hiệu suất quan trọng. Các chiến lược phổ biến bao gồm:

  • System prompt tĩnh – Lưu trữ prompt trong một tệp được quản lý phiên bản (version-controlled) và đưa vào mà không có các sửa đổi trong thời gian chạy (runtime).
  • Thứ tự công cụ xác định (Deterministic tool ordering) – Định nghĩa danh sách công cụ trực tiếp trong mã thay vì dựa vào thứ tự của từ điển hoặc các trình tạo bên ngoài.
  • Loại bỏ dấu thời gian – Chuyển thông tin nhật ký hoặc thời gian sang một kênh metadata riêng biệt mà không ảnh hưởng đến chuỗi prompt.
  • Kiểm thử nhận biết cache (Cache-aware testing) – Thêm các bài kiểm thử đơn vị (unit tests) để xác minh rằng mã băm của toàn bộ prompt (system + tools + messages) vẫn không đổi qua các bản build.

Những thực hành này làm tăng thêm một chút chi phí kỹ thuật nhưng giúp bảo vệ trước "thuế ẩn" mà một lượt miss cache hiện đang đại diện.

Quan điểm của Anthropic

Anthropic lập luận rằng mức chiết khấu sâu hơn sẽ khuyến khích việc tái sử dụng, điều này có thể giảm tải tính toán tổng thể trên máy chủ của họ. Bằng cách làm cho việc đọc từ cache rẻ hơn đáng kể, họ hy vọng các nhà phát triển sẽ thiết kế các agent gọi cùng một bộ công cụ lặp đi lặp lại thay vì liên tục thay đổi cấu trúc prompt. Sự đánh đổi là hình phạt cao hơn cho các lượt gọi không thể tái sử dụng, điều mà công ty cho rằng sẽ thúc đẩy các nhà phát triển hướng tới việc duy trì "vệ sinh prompt" (prompt hygiene) tốt hơn.

Critics note that many real-world agents need to adapt prompts on the fly—adding context, timestamps, or dynamic tool selections is often essential. For those workloads, the new pricing could make Anthropic less attractive compared with providers that charge a flat rate regardless of cache hits.

What to watch next

  • Pricing revisions – Anthropic may fine-tune the multipliers if community feedback shows the hit-miss gap is too wide.
  • Cache-control features – Future API updates could let developers specify which parts of a prompt should be excluded from the cache key, offering a middle ground.
  • Competitor responses – Other LLM providers might adjust their own cache models to stay competitive, either by offering flatter pricing or by exposing more granular cache controls.

Takeaway

With Anthropic’s new cache pricing, the cost of a prompt miss is no longer a marginal inconvenience; it’s a financial lever that can swing a project’s budget dramatically. Keeping system prompts, tool definitions, and related metadata immutable is now as important as writing efficient code. Teams that treat prompt determinism as a measurable metric will avoid surprise bills and stay in control of their AI-agent expenses.