अब किसी को आपके 70B पैरामीटर मॉडल की ज़रूरत नहीं है
AI की दुनिया पहले केवल स्केल (scale) पर ध्यान केंद्रित करती थी।
लोग बड़े मॉडल्स, बड़े कॉन्टेक्स्ट विंडोज़ (context windows) और बड़े बेंचमार्क के पीछे भागते थे। यदि आपका मॉडल विशाल नहीं था, तो आप इस खेल में शामिल ही नहीं थे।
वह युग समाप्त हो रहा है।
विशाल मॉडल्स प्रभावशाली होते हैं। लेकिन अधिकांश लोगों को इतनी अधिक शक्ति की आवश्यकता नहीं होती है। कार डैशबोर्ड असिस्टेंट को कविताएँ लिखने की आवश्यकता नहीं है। उसे बस "AC कम कर दो" को समझना है और बिना बैटरी खत्म किए काम करना है।
पाँच मुख्य कारणों से छोटे, विशिष्ट (specialized) मॉडल्स अब हावी हो रहे हैं:
- ऑन-डिवाइस उपयोग: अब फोन में छोटे मॉडल्स को स्थानीय रूप से (locally) चलाने के लिए हार्डवेयर उपलब्ध है। आपका असिस्टेंट बिना इंटरनेट के किसी टनल या उड़ान के दौरान भी काम कर सकता है।
- गोपनीयता और नियमन: अस्पताल और लॉ फर्म संवेदनशील डेटा किसी थर्ड-पार्टी API को नहीं भेज सकते। लोकल हार्डवेयर पर छोटा मॉडल चलाने से डेटा संस्थान के भीतर ही सुरक्षित रहता है।
- कम लेटेंसी (Low latency): एक सेल्फ-ड्राइविंग कार यह तय करने के लिए क्लाउड सर्वर का इंतज़ार नहीं कर सकती कि कोई आकृति पैदल यात्री है या नहीं। मॉडल वहीं होना चाहिए जहाँ निर्णय लिया जाना है।
- कम लागत: एक विशाल मॉडल पर लाखों रिक्वेस्ट चलाना आपके प्रॉफिट मार्जिन को खत्म कर देता है। एक ट्यून्ड (tuned) छोटा मॉडल अक्सर सस्ता और अधिक टिकाऊ होता है।
- खराब कनेक्टिविटी: दुनिया के कई हिस्सों में इंटरनेट निरंतर उपलब्ध नहीं है। छोटे मॉडल्स उत्पादों को ऑफलाइन काम करने की अनुमति देते हैं।
आप तीन मुख्य तरीकों का उपयोग करके मॉडल्स को छोटा बना सकते हैं:
- क्वांटाइजेशन (Quantization): जगह बचाने के लिए मॉडल वेट्स (weights) की सटीकता (precision) को कम करना।
- प्रूनिंग (Pruning): उन अनावश्यक कनेक्शनों को हटाना जो कोई मूल्य नहीं जोड़ते।
- नॉलेज डिस्टिलेशन (Knowledge distillation): एक बड़े मॉडल का उपयोग करके एक छोटे मॉडल को यह सिखाना कि उसके तर्क (reasoning) की नकल कैसे की जाए।
यह बदलाव आवश्यक कौशल (skill set) को बदल देता है।
एक विशाल मॉडल को प्रॉम्प्ट (prompting) करना एक कौशल है। एक विशिष्ट मॉडल को चुनना, फाइन-ट्यून करना और तैनात (deploy) करना एक अलग इंजीनियरिंग चुनौती है। यह गति, लागत और सटीकता के बीच संतुलन (tradeoffs) बनाने के बारे में है।
एक ऐसा विशाल टूल बनाने की कोशिश करना बंद करें जो सब कुछ खराब तरीके से करता हो। इसके बजाय कई छोटे टूल बनाएं जो एक काम को अच्छी तरह से करते हों।
छोटा मॉडल कोई डाउनग्रेड नहीं है। यह काम के लिए एक बेहतर टूल है।
स्रोत: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi