സാധാരണ ട്രാൻസ്ഫോർമറുകളെ തളർത്തുന്ന മെമ്മറി വർദ്ധനവ് (memory blow-up) ഇല്ലാതെ തന്നെ പ്രോട്ടീൻ സീക്വൻസുകളിൽ മാസ്ക്ഡ് ലാംഗ്വേജ് മോഡലുകൾ (masked language models) പരിശീലിപ്പിക്കാൻ ലീനിയർലി സ്കെയിലബിൾ ലോംഗ്-കോൺടെക്സ്റ്റ് ട്രാൻസ്ഫോർമറുകൾക്ക് (linearly scalable long-context transformers) കഴിയുമെന്ന് ഗവേഷകർ തെളിയിച്ചു. മെമ്മറി ചെലവ് ക്വാഡ്രാറ്റിക് (quadratic) എന്നതിൽ നിന്ന് ലീനിയർ (linear) എന്നതിലേക്ക് മാറ്റുന്നതിലൂടെ, മുമ്പത്തേക്കാൾ വളരെ നീളമുള്ള പ്രോട്ടീനുകളുമായി ശാസ്ത്രജ്ഞർക്ക് പ്രവർത്തിക്കാൻ ഈ രീതി സഹായിക്കുന്നു. ഇത് മരുന്ന് കണ്ടുപിടുത്തവും (drug discovery) ബയോടെക് ഗവേഷണവും വേഗത്തിലാക്കാൻ സഹായിക്കുന്ന ഒരു ചുവടുവെപ്പാണ്.
എന്തുകൊണ്ടാണ് സാധാരണ ട്രാൻസ്ഫോർമറുകൾ പരിമിതികളിൽ അകപ്പെടുന്നത്
പ്രോട്ടീൻ ഡാറ്റാബേസുകളിൽ ആയിരക്കണക്കിന് അമിനോ ആസിഡുകൾ (amino acids) ഉൾപ്പെടുന്ന സീക്വൻസുകൾ ഉണ്ടാകാറുണ്ട്. പരമ്പരാഗത ട്രാൻസ്ഫോർമർ മോഡലുകൾ ഓരോ സ്ഥാനങ്ങൾക്കിടയിലുമുള്ള അറ്റൻഷൻ (attention) കണക്കാക്കുന്നു, ഇത് സീക്വൻസ് ദൈർഘ്യത്തിന്റെ വർഗ്ഗത്തിനനുസരിച്ച് (square) വർദ്ധിക്കുന്ന ഒരു പ്രക്രിയയാണ്. സീക്വൻസ് വലുതാകുമ്പോൾ മെമ്മറി ഉപയോഗം കുതിച്ചുയരുകയും, പ്രോട്ടീനുകളെ മുറിച്ചുകളയാനോ (truncate) ഭാഗങ്ങളായി തിരിക്കാനോ ഗവേഷകരെ നിർബന്ധിതരാക്കുകയും ചെയ്യുന്നു. ഇത് സന്ദർഭത്തിന്റെ (context) നഷ്ടമുണ്ടാക്കുകയും, ഒരു ചെയിനിന്റെ വലിയ ഭാഗങ്ങളിലായി വ്യാപിച്ചുകിടക്കുന്ന സ്ട്രക്ചറൽ മോട്ടീഫുകൾ (structural motifs) പഠിക്കാനുള്ള മോഡലിന്റെ കഴിവിനെ തടസ്സപ്പെടുത്തുകയും ചെയ്യുന്നു.
ലീനിയർ-സ്കെയിൽ കുതിച്ചുചാട്ടം
പുതിയ സമീപനം ഫുൾ സെൽഫ്-അറ്റൻഷന് (full self-attention) പകരം സീക്വൻസ് ദൈർഘ്യത്തിനനുസരിച്ച് ലീനിയർ ആയി മാത്രം മെമ്മറി വർദ്ധിക്കുന്ന ഒരു ഡിസൈൻ ഉപയോഗിക്കുന്നു. പ്രായോഗികമായി പറഞ്ഞാൽ, മോഡലിന് ഒരു പ്രോട്ടീനെ മുഴുവനായി ഒറ്റ പാസ്സിൽ ഉൾക്കൊള്ളാൻ കഴിയും, ഇത് പ്രോട്ടീൻ ഫോൾഡിംഗിനും (folding) പ്രവർത്തനത്തിനും നിർണ്ണായകമായ ലോങ്ങ്-റേഞ്ച് ഇന്ററാക്ഷനുകൾ (long-range interactions) നിലനിർത്തുന്നു. ഈ അൽഗോരിതത്തിന് വളരെ കുറഞ്ഞ മെമ്മറി മാത്രം ആവശ്യമുള്ളതിനാൽ, വലിയ പ്രോട്ടീൻ കോർപ്പസുകളിൽ (protein corpora) പരിശീലനം നൽകുന്നത് കുറഞ്ഞ ചിലവിലും വേഗത്തിലും സാധ്യമാകും. ഇത് മുഴുവൻ ചെയിനിലും അമിനോ ആസിഡുകളെ മാസ്ക് ചെയ്യാനും പ്രവചിക്കാനും കഴിയുന്ന കൂടുതൽ മികച്ച മാസ്ക്ഡ്-ലാംഗ്വേജ്-മോഡൽ (MLM) ലക്ഷ്യങ്ങളിലേക്ക് വഴിതുറക്കുന്നു.
ഇത് ജീവശാസ്ത്രത്തിൽ എന്ത് മാറ്റം വരുത്തും
കൂടുതൽ നീളമുള്ളതും മുറിയാത്തതുമായ പ്രോട്ടീൻ പ്രതിനിധീകരണം (representations) മോഡലിന് ത്രീ-ഡൈമൻഷണൽ സ്ട്രക്ചർ, ആക്റ്റീവ് സൈറ്റുകൾ, പരിണാമ പാറ്റേണുകൾ എന്നിവ മനസ്സിലാക്കാൻ സഹായിക്കുന്നു. ഗവേഷകർക്ക് ഇപ്പോൾ വലിയ അളവിലുള്ള സീക്വൻസ് ശേഖരങ്ങളിൽ പ്രീ-ട്രെയിനിംഗ് നടത്താനും മ്യൂട്ടേഷൻ-ഇഫക്റ്റ് പ്രെഡിക്ഷൻ (mutation-effect prediction) അല്ലെങ്കിൽ ആന്റിബോഡി ഡിസൈൻ പോലുള്ള പ്രത്യേക ജോലികൾക്കായി ഫൈൻ-ട്യൂൺ ചെയ്യാനും കഴിയും. കുറഞ്ഞ കമ്പ്യൂട്ടേഷണൽ ലോഡ് (computational load) ചെറിയ ലാബുകൾക്കും സാധാരണ ഹാർഡ്വെയറിൽ അത്യാധുനിക മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ അവസരമൊരുക്കുന്നു.
പരിമിതികളും തുറന്ന ചോദ്യങ്ങളും
ലീനിയർ-സ്കെയിൽ അറ്റൻഷൻ പലപ്പോഴും അപ്രോക്സിമേഷനുകളെ (approximations)—സ്ലൈഡിംഗ് വിൻഡോകൾ, ലോ-റാങ്ക് ഫാക്ടറൈസേഷനുകൾ അല്ലെങ്കിൽ സ്പാർസ് പാറ്റേണുകൾ—ആശ്രയിക്കുന്നു, ഇത് അകലെയുള്ള റെസിഡ്യൂകൾക്കിടയിലുള്ള (residues) സൂക്ഷ്മമായ ഇടപെടലുകൾ വിട്ടുപോയേക്കാം. മെമ്മറി ലാഭവും പ്രവചന കൃത്യതയും തമ്മിൽ ചെറിയൊരു വിട്ടുവീഴ്ച (trade-off) ഉണ്ടായേക്കാമെന്ന് ആദ്യകാല പരീക്ഷണങ്ങൾ സൂചിപ്പിക്കുന്നു, പ്രത്യേകിച്ച് കൃത്യമായ ലോങ്ങ്-റേഞ്ച് കപ്ലിംഗ് ആവശ്യമായ ജോലികളിൽ. പുതിയ ആർക്കിടെക്ചർ നടപ്പിലാക്കുന്നതിലെ സങ്കീർണ്ണതയും (implementation complexity) ശക്തമായ ലൈബ്രറികൾ വരുന്നത് വരെ ഇതിന്റെ ഉപയോഗം സാവധാനത്തിലാക്കിയേക്കാം.
ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ
സ്റ്റാൻഡേർഡ് ഡാറ്റാസെറ്റുകളിൽ പരമ്പരാഗത മോഡലുകളുമായി താരതമ്യം ചെയ്യുമ്പോൾ ലീനിയർ-സ്കെയിൽ ട്രാൻസ്ഫോർമറിന്റെ പ്രോട്ടീൻ-MLM പ്രകടനം എങ്ങനെയുണ്ടെന്ന് ഗവേഷകർ നിരീക്ഷിക്കും. നിലവിലുള്ള ബയോ-ഇൻഫോർമാറ്റിക്സ് പൈപ്പ്ലൈനുകളിലേക്കുള്ള (bio-informatics pipelines) സംയോജനവും ഓപ്പൺ സോഴ്സ് റിലീസുകളും ഈ സാങ്കേതികവിദ്യ എത്ര വേഗത്തിൽ വ്യാപിക്കുമെന്ന് തീരുമാനിക്കും. കൃത്യതയിലെ വ്യത്യാസം കുറയുകയാണെങ്കിൽ, വലിയ തോതിലുള്ള പ്രോട്ടീൻ ലാംഗ്വേജ് മോഡലിംഗിനായി ഈ രീതി ഒരു ഡിഫോൾട്ട് ആയി മാറിയേക്കാം, ഇത് കമ്പ്യൂട്ടേഷണൽ ബയോളജി പ്രോട്ടീൻ ഫോൾഡിംഗ് പ്രശ്നത്തെ സമീപിക്കുന്ന രീതിയെ തന്നെ മാറ്റിമറിക്കും.
ചുരുക്കത്തിൽ: മെമ്മറി ആവശ്യകത ക്വാഡ്രാറ്റിക് എന്നതിൽ നിന്ന് ലീനിയർ എന്നതിലേക്ക് കുറയ്ക്കുന്നതിലൂടെ, ലോംഗ്-കോൺടെക്സ്റ്റ് ട്രാൻസ്ഫോർമറുകൾ മുഴുവൻ നീളമുള്ള പ്രോട്ടീൻ സീക്വൻസുകളെ മാസ്ക്ഡ് ലാംഗ്വേജ് മോഡലിംഗിന് അനുയോജ്യമാക്കുന്നു. ഇത് കമ്പ്യൂട്ടേഷണൽ ചിലവ് നിയന്ത്രിച്ചുകൊണ്ട് തന്നെ കൂടുതൽ ആഴത്തിലുള്ള ജീവശാസ്ത്രപരമായ ഉൾക്കാഴ്ചകൾ വാഗ്ദാനം ചെയ്യുന്നു.