Faturalandırma Öncesi LLM Maliyet Sıçramalarını Durdurun
OTel ve OpenInference kullanıyorsunuz. Token sayılarını görüyorsunuz. Hangi ekibin para harcadığını görmüyorsunuz.
Şu üç özniteliği kullanın.
- team.id: Span'ları gateway'de etiketleyin. Bu, ekip bazlı maliyeti gösterir.
- feature.id: Özelliği etiketleyin. Bu, hangi özelliğin maliyet sıçraması yaptığını gösterir.
- llm.model: Ucuz modelleri pahalı olanlardan ayırın.
Grafana'da günlük bir sorgu çalıştırın. Çıktı token'larının 95. yüzdelik dilimine bakın. Ekip, özellik ve modele göre gruplandırın.
7 günlük ortalamada 2 katlık bir artış için bir uyarı (alert) ayarlayın. Bu yöntem, geçen çeyrekte bir yeniden deneme döngüsünü yakaladı. Ana dashboard bunu kaçırmıştı. Toplam harcama bütçe dahilinde kaldı. Bir ekip iki katı harcama yaptı.
Gizlilik için user.id'yi atlayın. Veriyi küçük tutmak için request.id'yi atlayın.
Kaynak: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi