Ngăn chặn sự tăng vọt chi phí LLM trước khi nhận hóa đơn

Bạn sử dụng OTel và OpenInference. Bạn thấy số lượng token. Nhưng bạn không biết nhóm nào đang tiêu tiền.

Hãy sử dụng ba thuộc tính sau.

  • team.id: Gắn thẻ các span tại gateway. Điều này giúp hiển thị chi phí theo từng nhóm.
  • feature.id: Gắn thẻ tính năng. Điều này giúp xác định tính năng nào đang tăng vọt.
  • llm.model: Phân loại các mô hình rẻ và đắt tiền.

Chạy một truy vấn hàng ngày trong Grafana. Xem xét bách phân vị thứ 95 của output token. Nhóm theo team, feature và model.

Thiết lập cảnh báo khi mức trung bình 7 ngày tăng gấp đôi. Điều này đã giúp phát hiện một vòng lặp thử lại vào quý trước. Dashboard chính đã bỏ lỡ nó. Tổng chi tiêu vẫn nằm trong ngân sách, nhưng có một nhóm đã tiêu gấp đôi.

Bỏ qua user.id để bảo vệ quyền riêng tư. Bỏ qua request.id để giữ cho dữ liệu gọn nhẹ.

Source: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n Optional learning community: https://t.me/GyaanSetuAi