بلنگ سے پہلے LLM لاگت میں اچانک اضافے کو روکیں
آپ OTel اور OpenInference استعمال کرتے ہیں۔ آپ ٹوکن کی تعداد دیکھتے ہیں۔ لیکن آپ کو یہ نظر نہیں آتا کہ کون سی ٹیم رقم خرچ کر رہی ہے۔
ان تین ایٹریبیوٹس (attributes) کا استعمال کریں:
team.id: گیٹ وے پر spans کو ٹیگ کریں۔ یہ ٹیم کے لحاظ سے لاگت دکھاتا ہے۔feature.id: فیچر کو ٹیگ کریں۔ اس سے پتہ چلتا ہے کہ کس فیچر میں اضافہ ہو رہا ہے۔llm.model: سستے ماڈلز کو مہنگے ماڈلز سے الگ کریں۔
Grafana میں روزانہ ایک کوئری (query) چلائیں۔ آؤٹ پٹ ٹوکنز کے 95th percentile کو دیکھیں۔ ٹیم، فیچر اور ماڈل کے لحاظ سے گروپ بنائیں۔
7 روزہ اوسط (average) میں 2x اضافے کے لیے الرٹ سیٹ کریں۔ اس طریقے سے گزشتہ سہ ماہی میں ایک retry loop پکڑا گیا تھا۔ مین ڈیش بورڈ اسے نظر انداز کر گیا تھا۔ کل خرچ بجٹ کے اندر رہا، لیکن ایک ٹیم نے دگنا خرچ کر دیا تھا۔
پرائیویسی کے لیے user.id کو چھوڑ دیں۔ ڈیٹا کو چھوٹا رکھنے کے لیے request.id کو چھوڑ دیں۔
Source: https://dev.to/jasmine_park_dev/span-attributes-that-catch-llm-cost-regressions-before-billing-does-472n Optional learning community: https://t.me/GyaanSetuAi