𝗦𝘁𝗼𝗽 𝗟𝗟𝗠 𝗖𝗼𝘀𝘁 𝗦𝗽𝗶𝗸𝗲𝘀 𝗕𝗲𝗳𝗼𝗿𝗲 𝗕𝗶𝗹𝗹𝗶𝗻𝗴
നിങ്ങൾ OTel-ഉം OpenInference-ഉം ഉപയോഗിക്കുന്നുണ്ടാകാം. നിങ്ങൾക്ക് ടോക്കൺ എണ്ണങ്ങൾ കാണാൻ സാധിക്കും. എന്നാൽ ഏത് ടീമാണ് പണം ചെലവാക്കുന്നത് എന്ന് നിങ്ങൾക്ക് കാണാൻ കഴിയില്ല.
ഈ മൂന്ന് അറ്റ്രിബ്യൂട്ടുകൾ ഉപയോഗിക്കുക.
- team.id: ഗേറ്റ്വേയിൽ സ്പാനുകൾ (spans) ടാഗ് ചെയ്യുക. ഇത് ടീം തിരിച്ച് ചിലവ് കാണിക്കുന്നു.
- feature.id: ഫീച്ചർ ടാഗ് ചെയ്യുക. ഏത് ഫീച്ചറിലാണ് ചിലവ് കൂടുന്നത് എന്ന് ഇത് കാണിക്കുന്നു.
- llm.model: കുറഞ്ഞ ചിലവുള്ള മോഡലുകളെയും ഉയർന്ന ചിലവുള്ളവയെയും വേർതിരിക്കുക.
Grafana-യിൽ ദിവസേന ഒരു ക്വറി (query) റൺ ചെയ്യുക. ഔട്ട്പുട്ട് ടോക്കണുകളുടെ 95th percentile പരിശോധിക്കുക. ടീം, ഫീച്ചർ, മോഡൽ എന്നിവയുടെ അടിസ്ഥാനത്തിൽ ഗ്രൂപ്പ് ചെയ്യുക.
7 ദിവസത്തെ ശരാശരിയുടെ ഇരട്ടി (2x) വർദ്ധനവ് ഉണ്ടായാൽ ഒരു അലേർട്ട് (alert) സെറ്റ് ചെയ്യുക. കഴിഞ്ഞ പാദത്തിൽ ഒരു റീട്രൈ ലൂപ്പ് (retry loop) കണ്ടെത്താൻ ഇത് സഹായിച്ചു. പ്രധാന ഡാഷ്ബോർഡിൽ ഇത് ശ്രദ്ധിക്കപ്പെട്ടില്ല. ആകെ ചിലവ് ബജറ്റിനുള്ളിൽ തന്നെയായിരുന്നു, എന്നാൽ ഒരു ടീം ഇരട്ടി തുക ചെലവാക്കിയിരുന്നു.
സ്വകാര്യതയ്ക്കായി user.id ഒഴിവാക്കുക. ഡാറ്റയുടെ വലിപ്പം കുറയ്ക്കാൻ request.id ഒഴിവാക്കുക.
Source: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n Optional learning community: https://t.me/GyaanSetuAi