Nếu bạn phát hành một sản phẩm được vận hành bởi các mô hình ngôn ngữ lớn, biên lợi nhuận của bạn chỉ ổn định tương đương với biểu giá của nhà cung cấp. Cả Novita và StreamLake gần đây đều đã cập nhật giá mô hình, và điều đó có nghĩa là kinh tế đơn vị của bạn đã thay đổi, dù bạn có nhận ra hay không. Đây không phải là những đợt bảo trì định kỳ. Khi các nhà cung cấp suy luận thay đổi mức giá trên mỗi token, chi phí để phân loại một phiếu hỗ trợ, tóm tắt một tài liệu hoặc tạo một gợi ý mã nguồn sẽ thay đổi chỉ sau một đêm. Những nhà phát triển coi giá API là một yếu tố nền tĩnh thường chỉ phát hiện ra vấn đề khi hóa đơn hàng tháng gửi đến.
Tại sao một sự thay đổi giá âm thầm có thể làm phá sản ngân sách
Hầu hết các đội ngũ kỹ thuật chọn một nhà cung cấp suy luận, chạy một vài bài kiểm tra độ trễ (latency benchmarks), rồi tiếp tục công việc. Các mẫu prompt được đưa vào hệ thống quản lý phiên bản, mã nguồn phía client được đưa vào vận hành, và đội ngũ tài chính nhận được một bản ước tính hàng tháng sơ bộ. Quy trình đó sẽ hoạt động tốt cho đến khi nó không còn nữa. Token là một tài nguyên tiêu hao. Hóa đơn của bạn sẽ tăng theo mức độ chấp nhận của người dùng, độ dài ngữ cảnh và hành vi thử lại. Một đợt tăng giá trông có vẻ nhỏ trên bảng tính có thể xóa sạch biên lợi nhuận của một tính năng có lưu lượng lớn.
Tác động phụ thuộc hoàn toàn vào hình thái sử dụng của bạn. Một đội ngũ gửi các prompt phân loại ngắn có thể hấp thụ sự điều chỉnh giá mà không cần phải cấu trúc lại bất cứ thứ gì. Một đội ngũ xử lý các cửa sổ ngữ cảnh dài hoặc chạy các tác vụ hàng loạt trên hàng ngàn trang có thể thấy tốc độ đốt tiền tăng vọt nhanh chóng. Cùng một tỷ lệ phần trăm thay đổi sẽ có tác động khác nhau tùy thuộc vào việc lượt gọi trung bình của bạn là hai trăm token hay hai mươi nghìn token. Đó chính là lý do tại sao các bản cập nhật từ Novita và StreamLake cần được xem xét kỹ lưỡng. Bạn cần biết liệu chi phí trung bình trên mỗi người dùng có lệch khỏi dự tính của mình hay không, và liệu đã đến lúc phải điều hướng lại lưu lượng truy cập hay chưa.
Bản cập nhật giá của Novita
Novita gần đây đã điều chỉnh giá các mô hình của mình. Nền tảng này cung cấp quyền truy cập vào một loạt các mô hình ngôn ngữ, và bất kỳ thay đổi nào ở đó đều ảnh hưởng trực tiếp đến chi phí vận hành của các đội ngũ đang sử dụng nó như một lớp suy luận chính. Vì Novita lưu trữ nhiều mô hình, bản cập nhật có thể không đồng nhất trong toàn bộ danh mục. Một nhóm mô hình có thể giữ nguyên giá trong khi nhóm khác lại thay đổi. Sự chi tiết đó quan trọng hơn những gì một thông báo chung chung gợi ý.
Nếu bạn điều hướng toàn bộ lưu lượng qua một ID mô hình duy nhất, mức chi tiêu dự kiến mới của bạn sẽ rất dễ tính toán. Nếu bạn sử dụng danh mục của Novita một cách linh hoạt, điều hướng các prompt phức tạp đến các mô hình lớn hơn và các prompt đơn giản đến các mô hình nhỏ hơn, chi phí trung bình hỗn hợp của bạn có thể đã thay đổi theo những cách mà không một cảnh báo đơn lẻ nào giải thích được. Cách duy nhất để biết là trích xuất nhật ký sử dụng, nhóm chúng theo mô hình và nhân số lượng token thực tế với biểu giá mới. Đừng tin vào trí nhớ của bạn về việc giá cho mỗi triệu token trước đây là bao nhiêu. Hãy ghi chép lại. Lưu giữ hồ sơ lịch sử. Hãy biến nó thành một phần trong chu kỳ đánh giá hàng quý để lần thay đổi tiếp theo không khiến bạn bất ngờ.
Bản cập nhật giá của StreamLake
StreamLake cũng đã thực hiện một bản cập nhật giá cho các mô hình của mình. Đối với các đội ngũ đã tích hợp với stack của họ, bất kỳ sự điều chỉnh nào về tỷ lệ token cũng làm thay đổi các phép tính về phân tích nội dung, backend chuyển soạn, các tính năng generative, hoặc bất kỳ khối lượng công việc ngôn ngữ nào khác chạy qua nền tảng. Quy mô tuyệt đối của sự điều chỉnh chỉ là thứ yếu so với hiệu ứng cộng dồn. Ngay cả một mức tăng khiêm tốn trên mỗi token cũng sẽ tích tụ lại khi bạn xử lý hàng triệu token mỗi ngày trên nhiều môi trường khác nhau.
Câu hỏi thực sự không phải là mức giá mới là bao nhiêu, mà là mức giá mới đó ảnh hưởng thế nào đến biên lợi nhuận gộp trên mỗi tính năng. Nếu StreamLake vận hành một công cụ tóm tắt hướng tới khách hàng hoặc một lớp kiểm duyệt nội bộ, giá vốn hàng bán của bạn vừa mới thay đổi. Bạn nên tách biệt rõ ràng khoản chi tiêu đó trong các công cụ quan sát của mình. Hãy gắn thẻ các lệnh gọi API đó theo nhà cung cấp và theo tính năng để khi hóa đơn gửi đến, bạn có thể phân bổ chính xác. Nếu một trường hợp sử dụng trở nên không có lãi, bạn cần có sẵn dữ liệu để quyết định xem nên giới hạn nó, hạ cấp xuống mô hình nhỏ hơn, hay chấp nhận tổn thất như một chi phí chiến lược.
Cách kiểm toán chi phí suy luận của bạn
Chấp nhận