Gemma 2 आर्किटेक्चर: कमी मॉडेलमधून अधिक कार्यक्षमता

Google ने Gemma 2 लाँच केले आहे. उच्च कार्यक्षमता मिळवण्यासाठी तुम्हाला प्रचंड आकाराच्या मॉडेलची गरज नसते, हे हे मॉडेल सिद्ध करते. 27B मॉडेल आपल्या आकाराच्या दुप्पट असलेल्या मॉडेल्सना टक्कर देते.

याचे रहस्य त्याच्या आर्किटेक्चरमध्ये दडलेले आहे.

Gemma 2 मध्ये हायब्रिड अटेंशन (hybrid attention) पद्धतीचा वापर केला जातो. स्टँडर्ड अटेंशन संथ आणि जड असते. Gemma 2 दोन प्रकारच्या अटेंशनमध्ये स्विच करून ही समस्या सोडवते:

• लोकल स्लाइडिंग विंडो अटेंशन (Local sliding window attention): हे 4096 टोकन विंडोवर लक्ष केंद्रित करते. हे तात्काळ संदर्भावर (immediate context) वेगाने प्रक्रिया करते. • ग्लोबल अटेंशन (Global attention): हे संपूर्ण 8192 टोकन संदर्भाचा विचार करते.

हे मिश्रण तुम्हाला उच्च संगणकीय खर्च (computational cost) न करता कार्यक्षमता आणि सखोल संदर्भ प्रदान करते.

ही मॉडेल्स Grouped-Query Attention (GQA) चा देखील वापर करतात. यामुळे अनेक क्वेरी हेड्स (query heads) एकच की (key) आणि व्हॅल्यू (value) सेट शेअर करू शकतात. यामुळे मेमरीचा वापर कमी होतो आणि मजकूर निर्मितीचा (text generation) वेग वाढतो. 9B आणि 27B मॉडेल्स GQA वापरतात. 2B मॉडेल अधिक वेगवान आवृत्ती वापरते ज्याला Multi-Query Attention (MQA) म्हणतात.

प्रशिक्षण पद्धतींमध्येही बदल झाले आहेत. 2B आणि 9B मॉडेल्सनी नॉलेज डिस्टिलेशन (knowledge distillation) चा वापर केला आहे. त्यांनी एका मोठ्या 'टीचर मॉडेल'कडून शिकले आहे. यामुळे त्यांना स्टँडर्ड ट्रेनिंगपेक्षा जटिल पॅटर्न अधिक चांगल्या प्रकारे समजण्यास मदत होते.

याचा तुमच्यासाठी अर्थ काय:

• कमी खर्च: तुम्ही Gemma 2 27B एका सिंगल NVIDIA H100 GPU वर चालवू शकता. • उत्तम उपलब्धता: लहान मॉडेल्स ग्राहक हार्डवेअर (consumer hardware) आणि मोबाईल उपकरणांवर काम करतात. • सोपे टेस्टिंग: तुम्ही Ollama वापरून instruction-tuned मॉडेल्स स्थानिक पातळीवर (locally) चालवू शकता.

उद्योग आता बदलत आहे. आपण केवळ अधिक पॅरामीटर्स जोडण्यापासून दूर जात आहोत. आता लक्ष 'प्रति पॅरामीटर बुद्धिमत्ता' (intelligence per parameter) यावर केंद्रित आहे. यामुळे उच्च-गुणवत्तेचा AI सर्वांसाठी अधिक शाश्वत आणि व्यावहारिक बनतो.

स्रोत: https://dev.to/albertomontagnese/gemma-2s-architecture-more-performance-from-less-model-3moc

पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi