বিলিং হওয়ার আগেই LLM খরচের আকস্মিক বৃদ্ধি রোধ করুন
আপনি OTel এবং OpenInference ব্যবহার করেন। আপনি টোকেন সংখ্যা দেখতে পান। কিন্তু কোন টিম কত টাকা খরচ করছে তা দেখতে পান না।
এই তিনটি অ্যাট্রিবিউট ব্যবহার করুন।
- team.id: গেটওয়েতে স্প্যানগুলো (spans) ট্যাগ করুন। এটি টিম অনুযায়ী খরচ দেখায়।
- feature.id: ফিচারটি ট্যাগ করুন। এটি দেখায় কোন ফিচারের কারণে খরচ বাড়ছে।
- llm.model: সস্তা মডেলগুলোকে দামী মডেলগুলো থেকে আলাদা করুন।
Grafana-তে প্রতিদিন একটি কুয়েরি (query) চালান। আউটপুট টোকেনের 95th percentile দেখুন। টিম, ফিচার এবং মডেল অনুযায়ী গ্রুপ করুন।
৭ দিনের গড় খরচের তুলনায় ২ গুণ বৃদ্ধি পেলে একটি অ্যালার্ট (alert) সেট করুন। গত প্রান্তিকে এটি একটি রিট্রাই লুপ (retry loop) শনাক্ত করতে সাহায্য করেছিল। মূল ড্যাশবোর্ড এটি ধরতে পারেনি। মোট খরচ বাজেটের মধ্যেই ছিল, কিন্তু একটি টিম দ্বিগুণ খরচ করে ফেলেছিল।
প্রাইভেসির জন্য user.id বাদ দিন। ডেটার আকার ছোট রাখতে request.id বাদ দিন।
Source: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n Optional learning community: https://t.me/GyaanSetuAi