பில்லிங் செய்வதற்கு முன்பே LLM செலவு அதிகரிப்பதைத் தடுத்தல்
நீங்கள் OTel மற்றும் OpenInference பயன்படுத்துகிறீர்கள். நீங்கள் டோக்கன் எண்ணிக்கையைப் பார்க்கிறீர்கள். ஆனால் எந்தக் குழு பணத்தைச் செலவிடுகிறது என்பதைப் பார்க்க முடிவதில்லை.
இந்த மூன்று பண்புகளைப் (attributes) பயன்படுத்துங்கள்.
- team.id: கேட்வேயில் (gateway) spans-களைக் குறியிடுங்கள் (Tag). இது குழு வாரியான செலவைக் காட்டும்.
- feature.id: அம்சத்தைக் (feature) குறியிடுங்கள். எந்த அம்சம் செலவை அதிகரிக்கிறது என்பதைக் காட்டும்.
- llm.model: மலிவான மாடல்களையும் விலையுயர்ந்த மாடல்களையும் தனித்தனியாகப் பிரிக்கலாம்.
Grafana-வில் தினமும் ஒரு வினவலை (query) இயக்கவும். அவுட்புட் டோக்கன்களின் (output tokens) 95வது சதவீதத்தைப் (95th percentile) பார்க்கவும். குழு, அம்சம் மற்றும் மாடல் வாரியாகப் பிரிக்கவும் (Group).
7 நாள் சராசரியில் 2 மடங்கு உயர்வு ஏற்பட்டால் ஒரு எச்சரிக்கையை (alert) அமைக்கவும். கடந்த காலாண்டில் ஒரு 'retry loop' சிக்கலை இது கண்டறிந்தது. முக்கிய டேஷ்போர்டு (dashboard) அதைத் தவறவிட்டது. மொத்தச் செலவு பட்ஜெட்டிற்குள் இருந்தது, ஆனால் ஒரு குழு மட்டும் இரண்டு மடங்கு அதிகமாகச் செலவிட்டது.
தனியுரிமைக்காக (privacy) user.id-ஐத் தவிர்க்கவும். தரவின் அளவைக் குறைக்க request.id-ஐத் தவிர்க்கவும்.
Source: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n Optional learning community: https://t.me/GyaanSetuAi