Các nhà phát triển Claude Code giờ đây có thể kiểm soát tình trạng hóa đơn tăng đột biến bằng cách áp dụng ba mô hình cụ thể giúp ngăn chặn sự phình to lượng token trước khi nó ảnh hưởng đến hóa đơn. Một hướng dẫn gần đây trên một trang web dành cho nhà phát triển đã trình bày về việc thiết lập ngân sách token cứng, cơ chế prompt caching có kỷ luật và một trình quản lý ngữ cảnh nhận biết chi phí, cho thấy cách để giữ cho chi tiêu hàng tháng không bị tăng gấp đôi một cách âm thầm.

Tại sao sự gia tăng token lại quan trọng

Giá của Claude Code tuân theo số lượng token — các đoạn văn bản — được gửi đến và trả về từ mô hình. Bảng điều khiển thanh toán chia việc sử dụng thành các token "input" (đầu vào) và "cached" (đã lưu đệm), nhưng nó không bao giờ hiển thị quỹ đạo token nội bộ của một phiên làm việc. Trong thực tế, các nhà phát triển thường thấy chi tiêu token của họ tăng gấp đôi qua từng tháng mà không hề thay đổi một dòng code nào. Nguyên nhân ẩn giấu chính là sự lạm phát ngữ cảnh: lịch sử trò chuyện có thể phình to từ vài nghìn token lên đến hàng trăm nghìn token, và các lỗi không tìm thấy trong bộ nhớ đệm (cache misses) có thể xảy ra giữa phiên, buộc mô hình phải tính toán lại những phần việc lẽ ra đã có thể tái sử dụng.

Khi sự leo thang chi phí diễn ra âm thầm, các nhóm chỉ cuống cuồng hành động sau khi hóa đơn đã gửi đến, dẫn đến việc phải cắt giảm hoặc tái cấu trúc hệ thống dưới áp lực lớn. Bản hướng dẫn lập luận rằng giải pháp đáng tin cậy duy nhất là chuyển từ giám sát thụ động sang kiểm soát chủ động ngay tại ranh giới API.

1. Thiết lập ngân sách token cứng

Một cảnh báo mềm chỉ đơn thuần ghi lại việc vượt mức vẫn cho phép yêu cầu tiếp tục thực hiện, dẫn đến việc vượt quá ngân sách. Ngược lại, một ngân sách cứng sẽ từ chối hoặc cắt giảm yêu cầu trước khi bất kỳ lệnh gọi API nào được thực hiện.

  • Ước tính trước – chạy một thuật toán heuristic nhanh trên payload đang chờ xử lý để dự đoán số lượng token.
  • Cắt tỉa các tin nhắn cũ nhất – giữ lại các đoạn hội thoại gần đây nhất trong khi loại bỏ phần đầu của cuộc trò chuyện.
  • Hiệu ứng ngắt mạch (Circuit-breaker) – một khi số lượng token dự kiến chạm ngưỡng trần đã thiết lập, hãy dừng lệnh gọi hoặc rút ngắn ngữ cảnh để bảo vệ số credit đã được phân bổ.

Sự đánh đổi ở đây là mất đi ngữ cảnh dài hạn. Các nhóm phải quyết định xem bao nhiêu lịch sử là thiết yếu cho trải nghiệm người dùng và thực thi giới hạn đó một cách nhất quán.

2. Tối ưu hóa prompt caching

Claude Code có thể lưu trữ đệm (cache) phần "prefix" (tiền tố) của một prompt — thường là system prompt và bất kỳ hướng dẫn tĩnh nào — để các lệnh gọi tiếp theo có thể tái sử dụng phần đó thay vì phải tính toán lại. Khi cơ chế cache hoạt động hiệu quả, hướng dẫn lưu ý rằng chi phí có thể giảm tới 90%.

  • Ổn định system prompt – không bao giờ thay đổi system prompt trong suốt một phiên làm việc; bất kỳ thay đổi nào cũng sẽ làm mất hiệu lực của cache.
  • Mảng tin nhắn chỉ cho phép thêm vào (Append-only) – tránh việc sắp xếp lại hoặc chỉnh sửa các tin nhắn trước đó. Cache dựa trên một chuỗi đơn điệu và có thể dự đoán được.
  • Theo dõi tỷ lệ trúng (hit rate) – thiết lập công cụ trong ứng dụng để ghi lại tỷ lệ cache hit so với cache miss. Sự sụt giảm đột ngột báo hiệu rằng phần tiền tố không còn ổn định, thường là do những thay đổi vô ý trong prompt.

Các nhà phát triển phải cân bằng giữa sự tiện lợi của các prompt động và hình phạt về chi phí khi làm mất tính ổn định của cache.

3. Xây dựng trình quản lý ngữ cảnh nhận biết chi phí

Việc để ngữ cảnh phát triển không kiểm soát chắc chắn sẽ dẫn đến việc vượt quá lượng token. Một trình quản lý chuyên dụng có thể theo dõi tổng số token theo từng phiên và can thiệp khi vượt quá các ngưỡng cho phép.

  • Theo dõi token theo từng phiên – duy trì số lượng chạy của cả token đầu vào và đầu ra.
  • Tóm tắt khi cần thiết – một khi đạt đến giới hạn đã định trước, hãy đưa phần cũ hơn của cuộc hội thoại qua một bộ tóm tắt, sau đó thay thế các tin nhắn thô bằng bản tóm tắt súc tích.
  • Duy trì tính liên tục – bản tóm tắt giữ lại các thông tin thiết yếu trong khi giải phóng một lượng lớn token cho các đoạn hội thoại mới.

Việc tóm tắt có rủi ro làm mất đi các sắc thái tinh tế, đặc biệt là trong các cuộc thảo luận kỹ thuật hoặc pháp lý. Các nhóm nên kiểm tra chất lượng tóm tắt với các kịch bản thực tế trước khi áp dụng nó làm mặc định cho môi trường production.

Các công cụ đo lường mà bảng điều khiển bỏ lỡ

Chế độ xem thanh toán tích hợp chỉ tổng hợp mức sử dụng của tất cả người dùng và các mô hình, nhưng nó không bao giờ hiển thị đường cong tăng trưởng theo từng phiên. Hướng dẫn khuyến nghị thêm các nhật ký (logs) tùy chỉnh để ghi lại:

  • Số lượng token bắt đầu so với kết thúc cho mỗi phiên
  • Tỷ lệ cache hit
  • Tỷ lệ lựa chọn mô hình (ví dụ: Standard so với Extended Thinking)
  • Chi phí xử lý trước (pre-processing overhead) như ước tính số lượng token

Các chỉ số này cung cấp cho các nhà phát triển một bức tranh thời gian thực về việc token đang được tiêu thụ ở đâu và tại sao, cho phép thực hiện các điều chỉnh nhanh chóng trước khi chi phí vượt khỏi tầm kiểm soát.

Bài học rút ra: Đừng đợi đến hóa đơn tiếp theo mới phát hiện ra việc sử dụng token mất kiểm soát. Bằng cách ước tính số lượng token, thực thi các giới hạn cứng, giữ cho prompt ổn định với cache và tóm tắt các đoạn hội thoại cũ, các nhóm có thể giữ cho chi phí Claude Code luôn có thể dự đoán được và phù hợp với các mục tiêu kinh doanh.