बिलिंग येण्यापूर्वीच LLM खर्चातील वाढ रोखा
तुम्ही OTel आणि OpenInference वापरता. तुम्हाला टोकन काउंट्स दिसतात. पण कोणता विभाग (team) किती खर्च करत आहे, हे तुम्हाला दिसत नाही.
या तीन ॲट्रिब्युट्सचा (attributes) वापर करा.
- team.id: गेटवेवर स्पॅन्सना (spans) टॅग करा. यामुळे टीमनुसार खर्च समजतो.
- feature.id: फीचरला टॅग करा. यामुळे कोणत्या फीचरमुळे खर्च वाढतोय हे समजते.
- llm.model: स्वस्त मॉडेल्सना महागड्या मॉडेल्सपासून वेगळे करा.
Grafana मध्ये दररोज एक क्वेरी (query) चालवा. आउटपुट टोकन्सच्या (output tokens) 95th percentile कडे लक्ष द्या. टीम, फीचर आणि मॉडेलनुसार ग्रुप करा.
७-दिवसांच्या सरासरीमध्ये (7-day average) २ पटीने वाढ झाल्यास अलर्ट सेट करा. गेल्या तिमाहीत यामुळे एका 'रिट्राय लूप' (retry loop) चा शोध लागला. मुख्य डॅशबोर्डने ते पकडले नाही. एकूण खर्च बजेटमध्येच होता, पण एका टीमचा खर्च दुप्पट झाला होता.
गोपनीयतेसाठी (privacy) user.id वगळा. डेटा कमी ठेवण्यासाठी request.id वगळा.
Source: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi