پیش از صدور صورتحساب، از جهش هزینههای LLM جلوگیری کنید
شما از OTel و OpenInference استفاده میکنید. تعداد توکنها را میبینید، اما نمیبینید که کدام تیم هزینه میکند.
از این سه ویژگی استفاده کنید:
team.id: Spanها را در سطح gateway برچسبگذاری کنید. این کار هزینه را به تفکیک تیم نشان میدهد.feature.id: ویژگی (feature) را برچسبگذاری کنید. این کار نشان میدهد کدام ویژگی باعث جهش هزینه شده است.llm.model: مدلهای ارزان را از مدلهای گرانقیمت جدا کنید.
یک پرسوجوی (query) روزانه در Grafana اجرا کنید. به صدک ۹۵ام (95th percentile) توکنهای خروجی نگاه کنید. دادهها را بر اساس تیم، ویژگی و مدل گروهبندی کنید.
برای جهش ۲ برابری در میانگین ۷ روزه، یک هشدار (alert) تنظیم کنید. این کار در فصل گذشته باعث شناسایی یک حلقه retry شد. داشبورد اصلی متوجه آن نشد. کل هزینهها زیر سقف بودجه باقی ماند، اما هزینه یک تیم دو برابر شد.
برای حفظ حریم خصوصی، از user.id صرفنظر کنید. برای کوچک نگه داشتن حجم دادهها، از request.id صرفنظر کنید.
منبع: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n جامعه یادگیری اختیاری: https://t.me/GyaanSetuAi