Chúng tôi đã đặt hạn mức tín dụng 100 USD cho đội ngũ AI gồm mười tác nhân (agent) và cơ chế kiểm soát (throttle) đã kích hoạt ngay trong ngày hôm đó, chặn mọi tác vụ mới cho đến khi chúng tôi nâng mức trần lên. Sự cố này cho thấy vòng lặp kiểm soát đã tham gia ngay lập tức khi ngân sách bị vượt quá.

Tại sao hạn mức tín dụng lại quan trọng đối với các đội ngũ AI

Việc vận hành mười tác nhân tự trị trên một máy chủ duy nhất tạo ra một luồng gọi API liên tục, mỗi lần gọi đều được tính phí dựa trên số lượng token tiêu thụ. Các nhật ký (logs) truyền thống chỉ ghi lại những gì các tác nhân đã làm—truy vấn, phản hồi, dấu thời gian—nhưng chúng không cho biết những hành động đó tốn bao nhiêu chi phí. Khi một đội ngũ mở rộng quy mô, hóa đơn vô hình đó có thể bùng nổ, làm cạn kiệt ngân sách trước khi bất kỳ ai kịp nhận ra.

Biến nhật ký thành sổ cái

Bước đầu tiên của chúng tôi là ngừng coi nhật ký là văn bản thuần túy và bắt đầu coi chúng như một sổ cái tài chính. Mỗi chu kỳ của tác nhân—tác vụ → đang thực hiện → hoàn thành—giờ đây tạo ra ba bút toán:

  • Tiền – một giá trị USD ước tính được tính từ số lượng token của yêu cầu.
  • Cam kết – các tác vụ đang mở đại diện cho một khoản nợ tiềm tàng, tức là công việc sẽ được tính phí sau khi hoàn thành.
  • Lao động – các đơn vị công việc thực tế mà tác nhân đã thực hiện.

Thay vì dùng lệnh grep để tìm từ “error” trong tệp nhật ký, giờ đây chúng tôi có thể thực hiện một truy vấn tài chính thực thụ: “Hiển thị tất cả các cam kết có tổng số tiền vượt quá 100 USD.” Sổ cái giúp chi phí ẩn trở nên hữu hình và có thể tìm kiếm được.

Hệ thống kiểm soát vòng lặp kín

Cơ chế hạn mức tín dụng tuân theo một vòng lặp bốn bước chạy liên tục:

  1. Đo lường – mỗi lượt của tác nhân sẽ thêm một dòng vào nhật ký chi tiêu, ghi lại lượng token sử dụng và số tiền USD tương ứng.
  2. Định giá – hệ thống chuyển đổi số lượng token sang USD bằng cách sử dụng tỷ giá hiện tại.
  3. Cảnh báo – một bộ giám sát theo dõi ngân sách lũy tiến. Trạng thái của nó chuyển từ none (không cảnh báo) sang warn (sắp đến hạn mức) đến cap (đã chạm hạn mức).
  4. Kiểm soát (Throttle) – cổng kiểm soát đọc trạng thái hiện tại và chặn mọi việc điều phối tác vụ mới khi trạng thái cap đang hoạt động.

Cửa sổ ngân sách là một khoảng thời gian năm giờ lũy tiến, nghĩa là hệ thống luôn xem xét mức chi tiêu trong năm giờ gần nhất, chứ không phải một khối thời gian cố định theo lịch. Điều này giúp vòng lặp phản ứng kịp thời với các đợt hoạt động tăng đột biến và ngăn chặn một đợt tăng vọt duy nhất làm khóa toàn bộ đội ngũ vô thời hạn.

Một bảng điều khiển chỉ đơn thuần hiển thị mức chi tiêu thì chỉ là kể chuyện; chính cơ chế kiểm soát đọc con số đó và dừng việc điều phối mới là sự kiểm soát thực sự.

Khả năng phục hồi ngay từ khâu thiết kế

Một hệ thống kiểm soát chi tiêu mà trở thành điểm yếu duy nhất (single point of failure) sẽ phản tác dụng. Chúng tôi đã xây dựng ba biện pháp bảo vệ:

  • Fails open (Mở khi lỗi) – nếu công cụ ngân sách bị lỗi, các tác nhân vẫn tiếp tục chạy. Chi tiêu có thể không được kiểm soát, nhưng đội ngũ vẫn duy trì hoạt động.
  • Bỏ qua thủ công (Manual bypass) – người vận hành có thể ghi đè cơ chế kiểm soát thông qua một kênh ưu tiên, cho phép các công việc quan trọng tiếp tục ngay cả khi đã chạm hạn mức.
  • Tự động tiếp tục (Auto-resume) – khi cửa sổ lũy tiến trượt về phía trước, các khoản chi cũ sẽ được loại bỏ khỏi tính toán. Khi tổng chi phí giảm xuống dưới hạn mức, cổng sẽ tự động mở lại mà không cần sự can thiệp của con người.

Thử nghiệm: Hạn mức 100 USD so với mức chi tiêu hiện tại 156 USD

Chúng tôi đã triển khai hệ thống với hạn mức 100 USD trong khi các hoạt động gần đây của đội ngũ đã tích lũy mức chi tiêu là 156 USD. Cơ chế kiểm soát đã kích hoạt ngay lập tức, tạm dừng tất cả các tác vụ mới. Khi chúng tôi nâng mức trần lên 200 USD, cổng đã mở lại và công việc được tiếp tục mà không cần thêm các bước thủ công nào khác.

Thí nghiệm đã xác nhận hai điều:

  1. Vòng lặp kiểm soát phản ứng trong thời gian thực; không có độ trễ giữa việc phát hiện vi phạm và thực thi.
  2. Người vận hành có thể điều chỉnh hạn mức ngay lập tức, ngăn chặn thời gian ngừng hoạt động không cần thiết cho các công việc có độ ưu tiên thấp.

Bài học rút ra: Việc coi nhật ký tác nhân như một sổ cái tài chính và tích hợp cơ chế kiểm soát ngân sách lũy tiến vào quy trình điều phối sẽ mang lại cho bạn một rào chắn tức thì và có thể thực thi để chống chi tiêu quá mức. Đó là một phương thức kiểm soát rẻ tiền, có khả năng phục hồi cao và hiệu quả ngay hôm nay; các chính sách tinh vi hơn có thể được thêm vào sau, nhưng vòng lặp cơ bản nên là tuyến phòng thủ đầu tiên cho bất kỳ đội ngũ tác nhân AI nào.