शोधकर्ताओं ने दिखाया है कि लीनियरली स्केलेबल लॉन्ग-कॉन्टेक्स्ट ट्रांसफॉर्मर्स (linearly scalable long-context transformers), प्रोटीन अनुक्रमों (protein sequences) पर मास्कड लैंग्वेज मॉडल्स (masked language models) को बिना उस मेमोरी विस्फोट (memory blow-up) के प्रशिक्षित कर सकते हैं जो मानक ट्रांसफॉर्मर्स को पंगु बना देता है। मेमोरी लागत को क्वाड्रेटिक (quadratic) से लीनियर (linear) में बदलकर, यह विधि वैज्ञानिकों को पहले की तुलना में कहीं अधिक लंबे प्रोटीन के साथ काम करने की अनुमति देती है, जो एक ऐसा कदम है जो दवा की खोज (drug discovery) और बायोटेक अनुसंधान को गति दे सकता है।
मानक ट्रांसफॉर्मर्स एक सीमा पर क्यों पहुँच जाते हैं
प्रोटीन डेटाबेस में ऐसे अनुक्रम होते हैं जो अक्सर हजारों अमीनो एसिड तक फैले होते हैं। पारंपरिक ट्रांसफॉर्मर मॉडल प्रत्येक स्थिति के जोड़े के बीच अटेंशन (attention) की गणना करते हैं, एक ऐसी प्रक्रिया जो अनुक्रम की लंबाई के वर्ग (square) के साथ बढ़ती है। जैसे-जैसे अनुक्रम बढ़ता है, मेमोरी का उपयोग तेजी से बढ़ता है, जिससे शोधकर्ताओं को प्रोटीन को छोटा करने या उन्हें टुकड़ों में विभाजित करने के लिए मजबूर होना पड़ता है। संदर्भ (context) की कमी मॉडल की उन संरचनात्मक मोटिफ्स (structural motifs) को सीखने की क्षमता में बाधा डालती है जो एक श्रृंखला के बड़े हिस्सों में फैले होते हैं।
लीनियर-स्केल की बड़ी सफलता
नया दृष्टिकोण फुल सेल्फ-अटेंशन (full self-attention) को एक ऐसे डिज़ाइन से बदल देता है जिसकी मेमोरी अनुक्रम की लंबाई के साथ केवल लीनियर रूप से बढ़ती है। व्यवहार में, मॉडल एक ही बार में पूरे प्रोटीन को ग्रहण कर सकता है, जिससे लंबी दूरी के इंटरैक्शन (long-range interactions) सुरक्षित रहते हैं जो फोल्डिंग और कार्य के लिए महत्वपूर्ण हैं। क्योंकि एल्गोरिदम को बहुत कम मेमोरी संसाधनों की आवश्यकता होती है, इसलिए बड़े प्रोटीन कॉर्पोरा (protein corpora) पर प्रशिक्षण सस्ता और तेज़ हो जाता है, जिससे समृद्ध मास्कड-लैंग्वेज-मॉडल (MLM) उद्देश्यों के द्वार खुल जाते हैं जो पूरी श्रृंखला में अमीनो एसिड को मास्क और प्रेडिक्ट करते हैं।
जीव विज्ञान के लिए इसका क्या अर्थ है
लंबे, अटूट प्रोटीन प्रतिनिधित्व मॉडल की त्रि-आयामी संरचना (three-dimensional structure), सक्रिय साइटों (active sites) और विकासवादी पैटर्न (evolutionary patterns) की समझ में सुधार करते हैं। शोधकर्ता अब विशाल, अनक्यूरेटेड (uncurated) अनुक्रम संग्रहों पर प्री-ट्रेन कर सकते हैं और म्यूटेशन-प्रभाव भविष्यवाणी (mutation-effect prediction) या एंटीबॉडी डिज़ाइन जैसे विशिष्ट कार्यों के लिए फाइन-ट्यून कर सकते हैं। कम कम्प्यूटेशनल लोड छोटे लैब के लिए मामूली हार्डवेयर पर अत्याधुनिक (state-of-the-art) मॉडल चलाने की बाधा को भी कम करता है।
सावधानियां और खुले प्रश्न
लीनियर-स्केल अटेंशन अक्सर अनुमानों (approximations)—जैसे स्लाइडिंग विंडोज़ (sliding windows), लो-रैंक फैक्टराइजेशन (low-rank factorizations), या स्पार्स पैटर्न (sparse patterns)—पर निर्भर करता है, जो दूर के अवशेषों (residues) के बीच सूक्ष्म इंटरैक्शन को छोड़ सकते हैं। शुरुआती प्रयोग मेमोरी की बचत और प्रेडिक्टिव सटीकता के बीच एक मामूली ट्रेड-ऑफ (trade-off) का सुझाव देते हैं, विशेष रूप से उन कार्यों पर जिनमें सटीक लॉन्ग-रेंज कपलिंग की आवश्यकता होती है। नया आर्किटेक्चर कार्यान्वयन की जटिलता भी बढ़ाता है, जो मजबूत लाइब्रेरी आने तक इसके अपनाने की गति को धीमा कर सकता है।
आगे क्या देखने की आवश्यकता है
समुदाय बेंचमार्क परिणामों पर नज़र रखेगा जो मानक डेटासेट पर पारंपरिक मॉडलों के मुकाबले लीनियर-स्केल ट्रांसफॉर्मर के प्रोटीन-MLM प्रदर्शन की तुलना करेंगे। मौजूदा बायो-इंफॉर्मेटिक्स पाइपलाइनों (bio-informatics pipelines) में एकीकरण और ओपन-सोर्स रिलीज़ यह निर्धारित करेंगे कि यह तकनीक कितनी तेज़ी से फैलती है। यदि सटीकता का अंतर कम हो जाता है, तो यह विधि बड़े पैमाने पर प्रोटीन लैंग्वेज मॉडलिंग के लिए डिफ़ॉल्ट बन सकती है, जिससे यह बदल जाएगा कि कम्प्यूटेशनल बायोलॉजी प्रोटीन फोल्डिंग की समस्या से कैसे निपटती है।
निष्कर्ष: मेमोरी की मांग को क्वाड्रेटिक से लीनियर में घटाकर, लॉन्ग-कॉन्टेक्स्ट ट्रांसफॉर्मर्स पूर्ण-लंबाई वाले प्रोटीन अनुक्रमों को मास्कड लैंग्वेज मॉडलिंग के लिए सुलभ बनाते हैं, जो कम्प्यूटेशनल लागत को नियंत्रण में रखते हुए समृद्ध जैविक अंतर्दृष्टि का वादा करते हैं।