LiteLLM बनाम Bifrost: मैंने दोनों का प्रोडक्शन में परीक्षण किया
मैंने दो सप्ताह तक LiteLLM और Bifrost को साथ-साथ चलाया।
मैंने एक ही ट्रैफिक, एक ही मॉडल्स और एक ही इंफ्रास्ट्रक्चर का उपयोग किया। मुझे अपनी टीम के लिए एक गेटवे चुनना था। मैं मार्केटिंग दावों के बजाय वास्तविक डेटा चाहता था।
यहाँ मेरे निष्कर्ष दिए गए हैं।
टेस्ट सेटअप
मैंने 4 vCPUs और 8GB RAM वाले c5.xlarge इंस्टेंस का उपयोग किया। मैंने छोटे टेस्ट इंस्टेंस का उपयोग नहीं किया। मैंने अपने एजेंट प्लेटफॉर्म से प्रति सेकंड 200 से 400 अनुरोधों (requests) की दर से वास्तविक यूजर रिक्वेस्ट का उपयोग किया।
प्रोवाइडर कवरेज
- LiteLLM 100 से अधिक प्रोवाइडर्स को सपोर्ट करता है।
- Bifrost लगभग 23 प्रोवाइडर्स को सपोर्ट करता है।
LiteLLM एक सरल कॉन्फ़िगरेशन का उपयोग करके OpenAI, Anthropic, Bedrock, Vertex, Groq और Deepseek को हैंडल करता है। Bifrost में हमारे कुछ आवश्यक प्रोवाइडर्स की कमी थी। इस वजह से यह हमारे लिए एक 'डीलब्रेकर' (dealbreaker) साबित हुआ।
परफॉरमेंस
Go का उपयोग करने के कारण Bifrost रॉ गेटवे ओवरहेड (raw gateway overhead) पर तेज़ है। मैंने लगभग 0.08ms का ओवरहेड मापा। LiteLLM के Python प्रॉक्सी ने प्रति अनुरोध लगभग 7ms से 8ms जोड़ दिए।
हालाँकि, एक LLM कॉल में 500ms से 30 सेकंड तक का समय लगता है। मॉडल रिस्पॉन्स टाइम की तुलना में 7ms की देरी लगभग अदृश्य है।
इसके अलावा, LiteLLM ने हाल ही में एक Rust-आधारित गेटवे रिलीज़ किया है। यह ओवरहेड को घटाकर 0.05ms कर देता है। इससे परफॉरमेंस का अंतर लगभग खत्म हो जाता है।
खर्च की ट्रैकिंग (Spend Tracking)
यहीं पर LiteLLM बाजी मार लेता है। यह हर की (key) और हर टीम के खर्च को स्वचालित रूप से ट्रैक करता है।
- आपको प्रति-की (per-key) बजट मिलता है।
- आपको प्रति-टीम बजट मिलता है।
- आपको दैनिक खर्च रिपोर्ट मिलती है।
Bifrost में बजट सीमाएँ हैं, लेकिन LiteLLM विस्तृत लागत एट्रिब्यूशन (cost attribution) प्रदान करता है। जब आप महीने में 10 मिलियन कॉल चलाते हैं, तो आपका CTO ठीक यही पूछेगा कि प्रत्येक टीम ने प्रत्येक मॉडल पर कितना खर्च किया। LiteLLM आपको तुरंत उसका उत्तर दे देता है।
राउटिंग रणनीतियाँ (Routing Strategies)
LiteLLM पाँच राउटिंग रणनीतियाँ प्रदान करता है:
- सिंपल शफल (Simple shuffle)
- लीस्ट बिजी (Least busy)
- लेटेंसी-आधारित (Latency-based)
- लागत-आधारित (Cost-based)
- उपयोग-आधारित (Usage-based)
Bifrost में वेटेड (weighted) और एडेप्टिव राउटिंग है, लेकिन इसमें लागत-आधारित राउटिंग की कमी है। LiteLLM किसी अनुरोध के लिए स्वचालित रूप से सबसे सस्ता मॉडल चुन सकता है।
निष्कर्ष (Verdict)
मैंने LiteLLM को चुना।
प्रोवाइडर लिस्ट और खर्च की ट्रैकिंग मुख्य कारण थे। Bifrost केवल OpenAI या Anthropic का उपयोग करने वाली छोटी टीमों के लिए बेहतरीन इंजीनियरिंग है। लेकिन स्केल और विविधता के लिए, LiteLLM अधिक व्यावहारिक है।
Optional learning community: https://t.me/GyaanSetuAi