સંશોધકોએ દર્શાવ્યું છે કે રેખીય રીતે સ્કેલેબલ (linearly scalable) લોંગ-કોન્ટેક્સ્ટ ટ્રાન્સફોર્મર્સ, સ્ટાન્ડર્ડ ટ્રાન્સફોર્મર્સને નબળા પાડતા મેમરીના મોટા વધારા વગર પ્રોટીન સિક્વન્સ પર માસ્ક્ડ લેંગ્વેજ મોડલ્સને તાલીમ આપી શકે છે. મેમરી ખર્ચને ક્વાડ્રેટિક (quadratic) થી રેખીય (linear) માં બદલીને, આ પદ્ધતિ વૈજ્ઞાનિકોને અગાઉ શક્યતા કરતા ઘણા લાંબા પ્રોટીન સાથે કામ કરવાની મંજૂરી આપે છે, જે એક એવું પગલું છે જે દવાઓની શોધ અને બાયોટેક સંશોધનને વેગ આપી શકે છે.
શા માટે સ્ટાન્ડર્ડ ટ્રાન્સફોર્મર્સ મર્યાદાનો સામનો કરે છે
પ્રોટીન ડેટાબેઝમાં એવી સિક્વન્સ હોય છે જે ઘણીવાર હજારો અમીનો એસિડ્સ સુધી વિસ્તરેલી હોય છે. પરંપરાગત ટ્રાન્સફોર્મર મોડલ્સ દરેક પોઝિશનની જોડી વચ્ચે એટેન્શન (attention) ની ગણતરી કરે છે, જે પ્રક્રિયા સિક્વન્સની લંબાઈના વર્ગ સાથે વધતી જાય છે. જેમ સિક્વન્સ વધે છે, તેમ મેમરીનો વપરાશ ઝડપથી વધે છે, જેના કારણે પ્રેક્ટિશનરો પ્રોટીનને ટૂંકા કરવા અથવા તેને ટુકડાઓમાં વિભાજિત કરવા માટે મજબૂર બને છે. સંદર્ભ (context) ગુમાવવાથી મોડેલની ચેઇનના મોટા ભાગોમાં ફેલાયેલા સ્ટ્રક્ચરલ મોટિફ્સ શીખવાની ક્ષમતા અવરોધાય છે.
રેખીય-સ્કેલ (linear-scale) બ્રેકથ્રુ
નવો અભિગમ સંપૂર્ણ સેલ્ફ-એટેન્શનને એવા ડિઝાઇન સાથે બદલે છે જેની મેમરી સિક્વન્સની લંબાઈ સાથે માત્ર રેખીય રીતે વધે છે. વ્યવહારમાં, મોડેલ એક જ પાસમાં આખા પ્રોટીનને ગ્રહણ કરી શકે છે, જે ફોલ્ડિંગ અને કાર્ય માટે નિર્ણાયક એવી લાંબા અંતરની આંતરક્રિયાઓને જાળવી રાખે છે. કારણ કે અલ્ગોરિધમને મેમરીના ઘણા ઓછા સંસાધનોની જરૂર પડે છે, તેથી મોટા પ્રોટીન કોર્પોરા પર તાલીમ સસ્તી અને ઝડપી બને છે, જે સમગ્ર ચેઇન પર અમીનો એસિડ્સને માસ્ક અને આગાહી કરતા વધુ સમૃદ્ધ માસ્ક્ડ-લેંગ્વેજ-મોડલ (MLM) ઉદ્દેશ્યો માટેના દ્વાર ખોલે છે.
જીવવિજ્ઞાન માટે આનો અર્થ શું છે
લાંબા, અખંડ પ્રોટીન પ્રતિનિધિત્વ મોડેલની ત્રિ-પરિમાણીય માળખું, એક્ટિવ સાઇટ્સ અને ઉત્ક્રાંતિના પેટર્ન પરની પકડ સુધારે છે. સંશોધકો હવે વિશાળ, અનક્યુરેટેડ સિક્વન્સ કલેક્શન પર પ્રી-ટ્રેન કરી શકે છે અને મ્યુટેશન-અસરની આગાહી અથવા એન્ટિબોડી ડિઝાઇન જેવા વિશિષ્ટ કાર્યો માટે ફાઇન-ટ્યુન કરી શકે છે. ઘટાડેલ કમ્પ્યુટેશનલ લોડ નાના લેબ્સ માટે સામાન્ય હાર્ડવેર પર સ્ટેટ-ઓફ-ધ-આર્ટ મોડલ્સ ચલાવવાની અવરોધ પણ ઘટાડે છે.
સાવચેતીઓ અને ખુલ્લા પ્રશ્નો
રેખીય-સ્કેલ એટેન્શન ઘણીવાર અંદાજો (approximations) — સ્લાઇડિંગ વિન્ડોઝ, લો-રેન્ક ફેક્ટરાઇઝેશન અથવા સ્પાર્સ પેટર્ન — પર આધાર રાખે છે જે દૂરના રેસિડ્યુઝ વચ્ચેની સૂક્ષ્મ આંતરક્રિયાઓને ચૂકી શકે છે. પ્રારંભિક પ્રયોગો મેમરી બચત અને આગાહીની ચોકસાઈ વચ્ચે મધ્યમ સંતુલન (trade-off) સૂચવે છે, ખાસ કરીને એવા કાર્યો પર જે ચોક્કસ લાંબા અંતરના કપલિંગની માંગ કરે છે. નવું આર્કિટેક્ચર અમલીકરણની જટિલતા પણ ઉમેરે છે, જે મજબૂત લાઇબ્રેરીઓ ન આવે ત્યાં સુધી સ્વીકૃતિને ધીમી કરી શકે છે.
આગળ શું જોવું
સમુદાય સ્ટાન્ડર્ડ ડેટાસેટ્સ પર પરંપરાગત મોડલ્સ સામે રેખીય-સ્કેલ ટ્રાન્સફોર્મરના પ્રોટીન-MLM પ્રદર્શનની તુલના કરતા બેન્ચમાર્ક પરિણામો પર નજર રાખશે. હાલના બાયો-ઇન્ફોર્મેટિક્સ પાઇપલાઇન્સમાં એકીકરણ અને ઓપન-સોર્સ રિલીઝ નક્કી કરશે કે આ તકનીક કેટલી ઝડપથી ફેલાશે. જો ચોકસાઈનું અંતર ઘટશે, તો આ પદ્ધતિ મોટા પાયે પ્રોટીન લેંગ્વેજ મોડેલિંગ માટે ડિફોલ્ટ બની શકે છે, જે કમ્પ્યુટેશનલ બાયોલોજી પ્રોટીન ફોલ્ડિંગ સમસ્યાનો કેવી રીતે સામનો કરે છે તેને નવું રૂપ આપશે.
મુખ્ય વાત: મેમરીની જરૂરિયાતોને ક્વાડ્રેટિકથી રેખીયમાં ઘટાડીને, લોંગ-કોન્ટેક્સ્ટ ટ્રાન્સફોર્મર્સ સંપૂર્ણ લંબાઈના પ્રોટીન સિક્વન્સને માસ્ક્ડ લેંગ્વેજ મોડેલિંગ માટે વ્યવહારુ બનાવે છે, જે કમ્પ્યુટેશનલ ખર્ચને નિયંત્રણમાં રાખીને વધુ ઊંડા જૈવિક આંતરદૃષ્ટિ આપવાનું વચન આપે છે.