Subquadratic का दावा: LLM के क्वाड्रेटिक बॉटलनेक को हल करने में बड़ी सफलता

AI उद्योग में मियामी स्थित स्टार्टअप Subquadratic को लेकर काफी चर्चा है, जिसका दावा है कि उन्होंने उस गणितीय सीमा को हल कर लिया है जिसने लगभग एक दशक से Large Language Models (LLMs) को सीमित कर रखा था। हालांकि शुरुआत में संदेह अधिक था, लेकिन हालिया स्वतंत्र सत्यापन से पता चलता है कि उनका नया "SubQ" आर्किटेक्चर जनरेटिव AI के प्रतिमान (paradigm) को मौलिक रूप से बदल सकता है।

समस्या: Dense Attention की क्वाड्रेटिक लागत

Subquadratic के दावे के महत्व को समझने के लिए, 2017 में Google द्वारा पेश किए गए "Transformer" आर्किटेक्चर को समझना आवश्यक है। अधिकांश आधुनिक LLMs dense attention नामक एक तंत्र पर निर्भर करते हैं। इस प्रक्रिया में, संदर्भ (context) को समझने के लिए एक अनुक्रम (sequence) में प्रत्येक टोकन (शब्द या शब्द का हिस्सा) को अन्य प्रत्येक टोकन से गुणा किया जाता है।

इससे एक भारी कम्प्यूटेशनल बोझ पैदा होता है जिसे क्वाड्रेटिक एक्सपेंशन (quadratic expansion) के रूप में जाना जाता है। यदि आप किसी टेक्स्ट की लंबाई दोगुनी करते हैं, तो कम्प्यूटेशनल आवश्यकताएं लगभग चार गुना बढ़ जाती हैं। 10,000 शब्दों के दस्तावेज़ के लिए, मॉडल को लगभग 5 करोड़ व्यक्तिगत गुणा करने पड़ते हैं। यही अक्षमता मुख्य कारण है कि LLMs को "पावर हॉग्स" (power hogs) के रूप में जाना जाता है, क्योंकि लंबे संदर्भों को प्रोसेस करने के लिए उन्हें अत्यधिक ऊर्जा और महंगे हार्डवेयर की आवश्यकता होती है।

समाधान: Sparse Attention के साथ स्केलिंग

Subquadratic का SubQ मॉडल dense attention को छोड़कर sparse attention को अपनाने का लक्ष्य रखता है। इसका मूल दर्शन यह है कि किसी दस्तावेज़ को समझने के लिए शब्दों के बीच का हर संबंध महत्वपूर्ण नहीं होता है। प्रत्येक टोकन को अन्य प्रत्येक टोकन से गुणा करने के बजाय, sparse attention गणना के लिए केवल सबसे प्रासंगिक संबंधों का चयन करता है।

हालांकि "sparse attention" कोई नया विचार नहीं है, लेकिन पिछले प्रयास dense-attention मॉडलों में पाए जाने वाले उच्च स्तर के तर्क (reasoning) और बारीकियों (nuance) को बनाए रखने में संघर्ष करते रहे हैं। Subquadratic का दावा है कि उन्होंने इस अंतर को पाट दिया है, और एक ऐसा मॉडल बनाया है जो पारंपरिक बुद्धिमत्ता की हानि के बिना sparse attention की दक्षता प्रदान करता है।

दावों का सत्यापन: Appen के परिणाम

शुरुआती संदेह के बाद—जहाँ कुछ आलोचकों ने अपुष्ट दावों की तुलना "AI Theranos" से भी की थी—Subquadratic ने एक प्रमुख AI मूल्यांकन फर्म Appen से प्राप्त तीसरे पक्ष के बेंचमार्क जारी किए हैं। Appen के स्वतंत्र परीक्षण के परिणामों ने SubQ आर्किटेक्चर को प्रमाणित किया है, और इन निष्कर्षों को "चौंकाने वाला" और एक संभावित "गेम चेंजर" बताया है।

स्टार्टअप के अनुसार, SubQ कई परिवर्तनकारी तकनीकी लाभ प्रदान करता है:

• Context Window: SubQ अधिकांश वर्तमान मॉडलों की तुलना में एक बार में 12 गुना अधिक टेक्स्ट प्रोसेस कर सकता है, जो इसे संपूर्ण कोडबेस या विशाल दस्तावेज़ पुस्तकालयों का विश्लेषण करने के लिए आदर्श बनाता है।
• Performance: लीन आर्किटेक्चर के बावजूद, SubQ कोडिंग जैसे महत्वपूर्ण कार्यों पर OpenAI, Google DeepMind, और Anthropic जैसे उद्योग जगत के दिग्गजों के प्रदर्शन के बराबर है।
• Efficiency: यह मॉडल मौजूदा ट्रांसफॉर्मर-आधारित मॉडलों की तुलना में काफी तेज़, सस्ता और अधिक ऊर्जा-कुशल है।

ट्रांसफॉर्मर्स से परे एक नया युग?

Subquadratic केवल वर्तमान मॉडलों को अनुकूलित करने की कोशिश नहीं कर रहा है; वे उद्योग के बुनियादी आर्किटेक्चर को बदलने की दिशा में देख रहे हैं। CEO Justin Dangel ने कहा है कि कंपनी का मानना है कि ट्रांसफॉर्मर्स पर आधारित निर्माण का युग समाप्त होने की ओर बढ़ सकता है। यदि SubQ बड़े पैमाने पर अपनी प्रभावकारिता साबित करना जारी रखता है, तो डेंस (dense) से स्पार्स अटेंशन (sparse attention) की ओर संक्रमण AI आर्किटेक्चर में ट्रांसफॉर्मर के आविष्कार के बाद से सबसे महत्वपूर्ण बदलाव हो सकता है।

मुख्य बातें

• Quadratic Barrier को तोड़ना: SubQ पारंपरिक डेंस अटेंशन द्वारा आवश्यक गणना (computation) में होने वाली घातीय वृद्धि से बचने के लिए स्पार्स अटेंशन का उपयोग करता है।
• बेहतर कॉन्टेक्स्ट हैंडलिंग: यह मॉडल एक बार में 12 गुना अधिक डेटा प्रोसेस कर सकता है, जिससे बड़े पैमाने के डेटासेट और लंबे कोड का गहन विश्लेषण संभव हो पाता है।
• सत्यापित दक्षता: Appen द्वारा किए गए स्वतंत्र परीक्षण इस बात की पुष्टि करते हैं कि SubQ बहुत कम लागत और ऊर्जा में उच्च-स्तरीय प्रदर्शन (OpenAI और Google के बराबर) प्राप्त करता है।