Một phân tích chi phí mới cho thấy việc tự vận hành (self-hosting) một mô hình ngôn ngữ lớn chỉ mang lại hiệu quả kinh tế hơn so với các API thương mại khi một doanh nghiệp xử lý khoảng 5 triệu đến 10 triệu token đầu vào mỗi tháng. Đối với bất kỳ ai đang lập ngân sách cho các dịch vụ AI, điểm hòa vốn sẽ quyết định liệu sức hấp dẫn của các trọng số mở (open weights) "miễn phí" có thực sự chuyển hóa thành khoản tiết kiệm thực tế hay không.

Mô hình API

Các nhà cung cấp API tính phí theo từng token và đảm nhận toàn bộ phần cứng, điện năng cũng như hệ thống làm mát. Các mức giá công khai hiện tại là:

  • Claude Sonnet 5 – $2 mỗi triệu token đầu vào
  • GPT-5.6 – khoảng $1 mỗi triệu token đầu vào
  • Meta Muse Spark – $1.25 mỗi triệu token đầu vào, $4.25 mỗi triệu token đầu ra

Mô hình này hoạt động theo hình thức dùng bao nhiêu trả bấy nhiêu (pay-as-you-go). Khi lưu lượng truy cập giảm về mức không, hóa đơn cũng về mức không. Người dùng cũng tránh được những rắc rối liên quan đến lỗi GPU, cập nhật firmware và lập kế hoạch năng lực hệ thống.

Mô hình Tự vận hành (Self-Hosting)

Việc chạy một mô hình trọng số mở trên phần cứng riêng có nghĩa là bạn phải chịu chi phí tính toán bất kể mức độ sử dụng. Một chiếc NVIDIA H100—lựa chọn phổ biến để suy luận (inference) LLM—có giá:

  • $2 – $3 mỗi giờ trên các dịch vụ đám mây GPU thông thường
  • $7 – $12 mỗi giờ trên các nền tảng đám mây lớn (AWS, Azure)

Điều đó tương đương với khoảng $1,800 – $2,000 mỗi tháng để vận hành liên tục một chiếc H100. Giá phần cứng chỉ là phần hiển thị rõ ràng nhất trên hóa đơn.

Điểm giao thoa của các con số

Phân tích cho thấy việc tự vận hành sẽ trở nên rẻ hơn so với các API cao cấp khi khối lượng token đầu vào hàng tháng đạt mức từ 5 triệu đến 10 triệu. Dưới ngưỡng đó, mức giá API theo từng token sẽ chiếm ưu thế. Ở mức khối lượng từ 100 triệu token mỗi tháng trở lên, đường chi phí chỉ tính riêng phần cứng sẽ nằm dưới đường chi phí API, khiến việc tự vận hành trông có vẻ hấp dẫn trên lý thuyết.

Các chi phí vận hành ẩn

Thuê GPU chỉ chiếm khoảng 30% chi phí thực tế để vận hành một mô hình trong môi trường thực tế (production). Phần còn lại đến từ:

  • Mạng và lưu trữ – các kết nối băng thông cao và ổ đĩa tốc độ nhanh giúp duy trì độ trễ thấp.
  • Tính dự phòng và giám sát – việc triển khai nhiều thực thể (instances), kiểm tra sức khỏe hệ thống (health checks) và các luồng cảnh báo làm tăng cả chi phí phần mềm lẫn phần cứng.
  • Nhân lực kỹ thuật – để duy trì một mô hình trực tuyến một cách đáng tin cậy thường đòi hỏi từ 1.5 đến 2 kỹ sư toàn thời gian. Với mức lương thị trường, điều này sẽ cộng thêm $270,000 – $550,000 vào chi phí hàng năm.

Khi cộng thêm các lớp chi phí này, khoản tiết kiệm rõ rệt từ riêng phần cứng sẽ nhanh chóng tan biến.

Ai nên cân nhắc việc tự vận hành

Việc tự vận hành chỉ hợp lý trong các điều kiện cụ thể:

  • Khối lượng cực lớn và ổn định – tổ chức phải thường xuyên vượt ngưỡng 5 triệu token, nếu không, giá API theo từng token vẫn sẽ thấp hơn.
  • Các ràng buộc về quy định hoặc quyền riêng tư dữ liệu – một số lĩnh vực cấm gửi dữ liệu độc quyền hoặc dữ liệu cá nhân đến các điểm cuối (endpoints) của bên thứ ba.
  • Tùy chỉnh chuyên biệt hoặc đảm bảo độ trễ – khi một mô hình cần được tinh chỉnh (fine-tuned) trên dữ liệu nội bộ hoặc phải đưa ra phản hồi trong dưới một giây, việc sở hữu toàn bộ hệ thống có thể được coi là hợp lý.

Nếu không có áp lực nào trong số này, chi phí ẩn về nhân sự và cơ sở hạ tầng thường sẽ lớn hơn khoản tiết kiệm từ phần cứng.

Chiến lược kết hợp (Hybrid)

Hầu hết các đội ngũ khi đạt đến quy mô mà việc tự vận hành trở nên khả thi vẫn duy trì một cách tiếp cận hỗn hợp:

  1. Bắt đầu với API – chúng rẻ, dễ tích hợp và hoàn hảo để thử nghiệm hoặc cho các khối lượng công việc thấp.
  2. Chuyển đổi các luồng dữ liệu lớn – một khi số lượng token liên tục vượt qua điểm hòa vốn, hãy chuyển các luồng đó sang một cụm máy chủ (cluster) nội bộ.
  3. Duy trì một mạng lưới an toàn – giữ các yêu cầu thỉnh thoảng hoặc đột biến trên API để tránh việc phải cung cấp quá mức (over-provisioning) các tài nguyên tại chỗ (on-prem).

Hãy tính toán lượng token thường xuyên, sau đó cộng thêm các chi phí vận hành mà giá phần cứng thuần túy thường bỏ qua. Những quyết định dựa trên bức tranh toàn cảnh đó sẽ ít có khả năng bị lung lay bởi những quan niệm sai lầm.

Bài học rút ra

Nếu sản phẩm AI của bạn xử lý ít hơn vài triệu token mỗi tháng, lộ trình đơn giản và rẻ nhất vẫn là gọi API. Chỉ khi nhu cầu cao và duy trì liên tục, các yêu cầu tuân thủ nghiêm ngặt hoặc nhu cầu về độ trễ tùy chỉnh phát sinh, việc tự vận hành mới trở nên khả thi về mặt tài chính—và ngay cả khi đó, chi phí ẩn về con người và cơ sở hạ tầng vẫn phải được tính đến trước khi bạn tuyên bố chiến thắng trước điện toán đám mây.