LongStraw ने घोषणा की है कि उसकी branch-replay तकनीक केवल आठ H20 GPUs का उपयोग करके reinforcement-learning (RL) पोस्ट-ट्रेनिंग के लिए 2.1 मिलियन टोकन पोजीशन को प्रोसेस कर सकती है, जिससे हार्डवेयर बिल में एक क्रम (order of magnitude) की भारी कमी आती है। यह दावा महत्वपूर्ण है क्योंकि लॉन्ग-कॉन्टेक्स्ट मॉडल को प्रशिक्षित करने के लिए पारंपरिक रूप से दर्जनों हाई-एंड GPUs की आवश्यकता होती है, जो अधिकांश रिसर्च लैब और स्टार्टअप्स के लिए एक बाधा है।

लॉन्ग-कॉन्टेक्स्ट RL महंगा क्यों है

लार्ज लैंग्वेज मॉडल्स की RL-आधारित फाइन-ट्यूनिंग में आमतौर पर ऐसे रोलआउट्स चलाए जाते हैं जो एक ही प्रॉम्प्ट के लिए कई वैकल्पिक completions जेनरेट करते हैं। प्रत्येक रोलआउट को बैक-प्रोपगेट किया जाना चाहिए, इसलिए कंप्यूट लागत प्रोसेस किए गए टोकन पोजीशन की कुल संख्या के साथ बढ़ती है। वर्तमान पाइपलाइन्स, जिनका लक्ष्य मिलियन-टोकन कॉन्टेक्स्ट प्राप्त करना है, उन्हें अक्सर एक उचित समय सीमा में पूरा करने के लिए 64 से 128 GPUs की आवश्यकता होती है। उस हार्डवेयर की लागत, साथ ही बिजली और कूलिंग की मांग, यह सीमित करती है कि विशेषज्ञ कॉन्टेक्स्ट की लंबाई को कितना आगे बढ़ा सकते हैं।

branch replay वर्कलोड को कैसे कम करता है

LongStraw का दृष्टिकोण ट्रांसफॉर्मर जनरेशन के बारे में दो अवलोकनों पर आधारित है:

  • रोलआउट्स में प्रॉम्प्ट और प्रतिक्रिया का शुरुआती हिस्सा समान होता है।
  • प्रत्येक प्रतिक्रिया के केवल अलग (divergent) हिस्से को ही वास्तव में नई गणना (fresh computation) की आवश्यकता होती है।

सिस्टम एक आर्किटेक्चर-अवेयर एक्जीक्यूशन स्टैक बनाता है जो शेयर्ड प्रीफिक्स के लिए एक्टिवेशन को रिकॉर्ड करता है। जब एक नई ब्रांच का पता लगाया जाता है, तो यह उसे फिर से गणना करने के बजाय कैश्ड प्रीफिक्स को रीप्ले करता है, और फिर केवल नए सेगमेंट पर ही बैकवर्ड पास चलाता है। व्यवहार में इसका मतलब है कि बैकवर्ड पास बहुत कम टोकन पोजीशन को छूता है, जिससे रॉ कंप्यूट में 8 से 16 गुना की कमी आती है।

तत्काल प्रभाव

  • आठ H20 GPUs पर 2.1 M टोकन पोजीशन प्रोसेस की गईं, जो एक ऐसा हार्डवेयर बजट है जो सामान्यतः उस वर्कलोड के एक छोटे से हिस्से को ही सपोर्ट कर पाता।
  • लॉन्ग-कॉन्टेक्स्ट RL की बाधा (bottleneck) को सीधे लक्षित करना, जहाँ कॉन्टेक्स्ट बढ़ने के साथ मेमोरी और कंप्यूट लागत तेजी से बढ़ती है।
  • लैब GPU आवंटन को बदल सकती हैं: वही हार्डवेयर, जो मुख्य रूप से एक इन्फरेंस एक्सेलेरेटर है, अब ट्रेनिंग के लिए उपयोग किया जा सकता है, हालांकि अन्य कार्डों पर परिणाम भिन्न हो सकते हैं।

खुले प्रश्न और सीमाएं

घोषणा में ट्रेनिंग स्पीड के आंकड़े और कन्वर्जेंस कर्व्स को छोड़ दिया गया है, इसलिए हमें यह नहीं पता कि कंप्यूट में की गई कटौती से वॉल-क्लॉक टाइम कम होगा या केवल GPU ऑक्यूपेंसी कम होगी। इस पद्धति का वर्णन ऑटोरिग्रेसिव सैंपलिंग के लिए किया गया है; नॉन-ऑटोरिग्रेसिव या हाइब्रिड रणनीतियों के साथ इसका व्यवहार अभी भी अनटेस्टेड है। चूंकि H20 मुख्य रूप से एक इन्फरेंस एक्सेलेरेटर है, इसलिए H100 या B200 जैसे अधिक सामान्य ट्रेनिंग कार्डों पर प्रदर्शन भिन्न हो सकता है।

स्वतंत्र बेंचमार्क ने अभी तक LongStraw के आंकड़ों की पुष्टि नहीं की है। थर्ड-पार्टी सत्यापन के बिना, समुदाय को इन परिणामों को आशाजनक लेकिन अनंतिम (provisional) मानना चाहिए।

क्या दांव पर है

यदि branch-replay का विचार Direct Preference Optimization (DPO) या Proximal Policy Optimization (PPO) जैसे अन्य RL फाइन-ट्यूनिंग एल्गोरिदम तक विस्तारित होता है, तो लॉन्ग-कॉन्टेक्स्ट मॉडल के लिए लागत की बाधा समाप्त हो सकती है।

क्या नज़र रखें

  • विभिन्न GPU आर्किटेक्चर पर थर्ड-पार्टी रेप्लिकेशन के प्रयास।
  • बेसलाइन पाइपलाइन्स की तुलना में ट्रेनिंग थ्रूपुट और अंतिम मॉडल गुणवत्ता पर LongStraw से अपडेट।