𝗠𝗶𝘀𝘁𝗿𝗮𝗹 𝗟𝗮𝗿𝗴𝗲 𝘃𝘀 𝗠𝗶𝘀𝘁𝗿𝗮𝗹 𝗠𝗲𝗱𝗶𝘂𝗺: 𝗖𝗧𝗢 𝗡𝗼𝘁𝗲𝘀 𝗙𝗿𝗼𝗺 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻
तीन महीने पहले, मैंने एक LLM फीचर लॉन्च किया। फिर बिल आया।
मुझे एहसास हुआ कि मैंने एक गलती कर दी थी। मैंने Mistral Large का उपयोग किया जबकि मुझे Mistral Medium का उपयोग करना चाहिए था। इसकी वजह से हमें ज़रूरत से लगभग 4 गुना ज़्यादा खर्च करना पड़ा।
यदि आप एक स्टार्टअप चलाते हैं, तो आप केवल अंदाज़े (vibes) के आधार पर आर्किटेक्चर संबंधी निर्णय नहीं ले सकते। आपको उन्हें ROI के आधार पर लेना चाहिए।
गलती सरल है। मुझे लगा कि बड़े मॉडल्स हमेशा बेहतर होते हैं। मैं गलत था।
अब मैं LLM लागतों को इस तरह मैनेज करता हूँ:
- कार्य की जटिलता को वर्गीकृत करें
- सरल वर्गीकरण (classification) या निष्कर्षण (extraction) के लिए छोटे मॉडल्स का उपयोग करें।
- केवल मल्टी-स्टेप रीजनिंग (multi-step reasoning) के लिए बड़े मॉडल्स का उपयोग करें।
- टोकन वॉल्यूम का अनुमान लगाएं
- अपने लॉग्स (logs) देखें।
- अपनी ग्रोथ का अनुमान लगाएं।
- डिप्लॉय करने से पहले गणित (math) कर लें।
- वास्तविक इवैल्यूएशन (evals) के साथ मापें
- अपने अंतर्ज्ञान (gut feeling) पर भरोसा न करें।
- दोनों मॉडल्स के माध्यम से टेस्ट सेट चलाएं।
- उन मेट्रिक्स की तुलना करें जो आपके प्रोडक्ट के लिए महत्वपूर्ण हैं।
मेरे 70% कार्यों के लिए, Mistral Medium पर्याप्त है। यह सपोर्ट टिकट वर्गीकरण को बखूबी संभाल लेता है। इसकी लागत Large की तुलना में एक तिहाई है। मैं Large को हाई-लेवल रीजनिंग कार्यों के लिए सुरक्षित रखता हूँ।
मैं वेंडर लॉक-इन (vendor lock-in) से भी बचता हूँ। मैं कई मॉडल्स तक पहुँचने के लिए एक यूनिफाइड एंडपॉइंट (unified endpoint) का उपयोग करता हूँ। यदि कोई प्रदाता कीमतें बढ़ाता है, तो मैं मिनटों में मॉडल बदल देता हूँ। यह मेरे रनवे (runway) की रक्षा करता है।
CTOs के लिए मेरी सलाह:
- बिल कम करने के लिए आक्रामक रूप से कैश (cache) का उपयोग करें।
- यूजर अनुभव को बेहतर बनाने के लिए रिस्पॉन्स को स्ट्रीम (stream) करें।
- फॉलबैक लॉजिक (fallback logic) बनाएं ताकि आपका सिस्टम ऑनलाइन रहे।
- प्रॉम्प्ट को ऑप्टिमाइज़ करने से पहले मॉडल चुनें।
- हर कार्य के लिए कॉन्टेक्स्ट विंडो (context window) की आवश्यकताओं की जाँच करें।
उन कार्यों के लिए बड़े हथौड़े (sledgehammer) का उपयोग करना बंद करें जिनमें छोटे हथौड़े की आवश्यकता होती है। दक्षता (Efficiency) प्रतिस्पर्धात्मक लाभ पैदा करती है। यह आपको अपने उपयोगकर्ताओं को बेहतर सुविधाएँ और कम कीमतें देने की अनुमति देती है।
स्रोत: https://dev.to/gentlenode/mistral-large-vs-mistral-medium-cto-notes-from-production-280f