Stoppen Sie LLM-Kostenanstiege vor der Abrechnung
Sie nutzen OTel und OpenInference. Sie sehen die Token-Anzahl. Sie sehen jedoch nicht, welches Team Geld ausgibt.
Nutzen Sie diese drei Attribute.
- team.id: Taggen Sie Spans am Gateway. Dies zeigt die Kosten pro Team.
- feature.id: Taggen Sie das Feature. Dies zeigt, welches Feature die Kosten in die Höhe treibt.
- llm.model: Trennen Sie günstige Modelle von teuren Modellen.
Führen Sie eine tägliche Abfrage in Grafana aus. Betrachten Sie das 95. Perzentil der Output-Token. Gruppieren Sie nach Team, Feature und Modell.
Richten Sie einen Alert für einen 2-fachen Anstieg des 7-Tage-Durchschnitts ein. Dies hat im letzten Quartal eine Retry-Schleife erkannt. Das Haupt-Dashboard hat sie übersehen. Die Gesamtausgaben blieben unter dem Budget. Ein Team hat das Doppelte ausgegeben.
Lassen Sie user.id aus Datenschutzgründen weg. Lassen Sie request.id weg, um die Datenmenge gering zu halten.
Quelle: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n Optionale Lern-Community: https://t.me/GyaanSetuAi