சாதாரண டிரான்ஸ்பார்மர்களை முடக்கும் நினைவகப் பெருக்கமின்றி (memory blow-up), நேரியல் அளவீடு செய்யக்கூடிய நீண்ட சூழல் டிரான்ஸ்பார்மர்கள் (linearly scalable long-context transformers), புரதத் தொடர்களில் மறைக்கப்பட்ட மொழி மாதிரிகளுக்கு (masked language models) பயிற்சி அளிக்க முடியும் என்பதை ஆராய்ச்சியாளர்கள் நிரூபித்துள்ளனர். நினைவகச் செலவை இருபடி (quadratic) அளவிலிருந்து நேரியல் (linear) அளவாக மாற்றுவதன் மூலம், இந்த முறை விஞ்ஞானிகள் முன்னெப்போதையும் விட நீண்ட புரதத் தொடர்களுடன் பணிபுரிய அனுமதிக்கிறது; இது மருந்து கண்டுபிடிப்பு மற்றும் உயிரித் தொழில்நுட்ப ஆராய்ச்சியை விரைவுபடுத்தும் ஒரு படியாகும்.
ஏன் சாதாரண டிரான்ஸ்பார்மர்கள் ஒரு தடையைச் சந்திக்கின்றன
புரதத் தரவுத்தளங்களில் ஆயிரக்கணக்கான அமினோ அமிலங்கள் கொண்ட தொடர்கள் உள்ளன. வழக்கமான டிரான்ஸ்பார்மர் மாதிரிகள் ஒவ்வொரு இடத்திற்கும் இடையிலான கவனத்தை (attention) கணக்கிடுகின்றன, இந்த செயல்முறை தொடரின் நீளத்தின் வர்க்கத்தைப் (square) பொறுத்து வளர்கிறது. தொடர் வளர வளர, நினைவகப் பயன்பாடு விண்ணைத் தொடும் அளவிற்கு அதிகரிக்கிறது, இது ஆராய்ச்சியாளர்களை புரதங்களை வெட்டுகுறைக்க அல்லது துண்டுகளாகப் பிரிக்க நிர்ப்பந்திக்கிறது. இந்தச் சூழல் இழப்பு, ஒரு சங்கிலியின் பெரிய பகுதிகளை உள்ளடக்கிய கட்டமைப்பு உருவங்களைக் (structural motifs) கற்றுக்கொள்ளும் மாதிரியின் திறனைத் தடுக்கிறது.
நேரியல் அளவிலான முன்னேற்றம்
புதிய அணுகுமுறை, முழுமையான சுய-கவனத்திற்குப் (full self-attention) பதிலாக, தொடரின் நீளத்திற்கு ஏற்ப நினைவகம் நேரியல் முறையில் மட்டுமே வளரும் வகையில் வடிவமைக்கப்பட்டுள்ளது. நடைமுறையில், இந்த மாதிரி ஒரு முழு புரதத்தையும் ஒரே முறையில் உள்வாங்க முடியும், இது புரத மடிப்பு (folding) மற்றும் செயல்பாட்டிற்கு முக்கியமான நீண்ட தூரத் தொடர்புகளைப் பாதுகாக்கிறது. இந்த அல்காரிதத்திற்கு மிகக் குறைந்த நினைவக வளங்களே தேவைப்படுவதால், பெரிய புரதத் தொகுப்புகளில் பயிற்சி அளிப்பது மலிவானதாகவும் வேகமானதாகவும் மாறுகிறது. இது முழு சங்கிலியிலும் உள்ள அமினோ அமிலங்களை மறைத்து மற்றும் கணிக்கும் செழுமையான மறைக்கப்பட்ட மொழி மாதிரி (MLM) குறிக்கோள்களுக்கு வழிவகுக்கிறது.
இது உயிரியலுக்கு எதைக் குறிக்கிறது
நீளமான, துண்டிக்கப்படாத புரதத் பிரதிநிதித்துவங்கள், முப்பரிமாண அமைப்பு, செயல்பாட்டுத் தளங்கள் மற்றும் பரிணாம முறைகள் குறித்த மாதிரியின் புரிதலை மேம்படுத்துகின்றன. ஆராய்ச்சியாளர்கள் இப்போது மிகப்பெரிய, முறைப்படுத்தப்படாத தொடர் தொகுப்புகளில் முன்-பயிற்சி (pre-train) அளிக்க முடியும் மற்றும் திடீர் மாற்ற விளைவு கணிப்பு (mutation-effect prediction) அல்லது ஆன்டிபாடி வடிவமைப்பு போன்ற குறிப்பிட்ட பணிகளுக்காக நுட்பமாகச் சரிசெய்ய (fine-tune) முடியும். குறைக்கப்பட்ட கணக்கீட்டுச் சுமை, சிறிய ஆய்வகங்கள் சாதாரண வன்பொருள்களில் (hardware) நவீன மாதிரிகளை இயக்குவதற்கான தடையையும் குறைக்கிறது.
எச்சரிக்கைகள் மற்றும் திறந்த கேள்விகள்
நேரியல் அளவிலான கவனம் பெரும்பாலும் தோராயமான முறைகளை (approximations)—ஸ்லைடிங் விண்டோக்கள், குறைந்த தரவரிசை காரணிப்படுத்தல் அல்லது சிதறிய முறைகள்—சார்ந்திருக்கிறது, இவை தொலைதூர எச்சங்களின் (residues) இடையிலான நுட்பமான தொடர்புகளைத் தவறவிடக்கூடும். ஆரம்பக்கட்ட சோதனைகள், நினைவகச் சேமிப்பு மற்றும் முன்கணிப்புத் துல்லியம் ஆகியவற்றிற்கு இடையே ஒரு மிதமான சமநிலை (trade-off) இருப்பதை உணர்த்துகின்றன, குறிப்பாகத் துல்லியமான நீண்ட தூர இணைப்பைக் கோரும் பணிகளில் இது அதிகம். புதிய கட்டமைப்பு செயலாக்கச் சிக்கலையும் (implementation complexity) சேர்க்கிறது, இது வலுவான நூலகங்கள் (libraries) உருவாகும் வரை அதன் பயன்பாட்டைத் தாமதப்படுத்தக்கூடும்.
அடுத்து எதைக் கவனிக்க வேண்டும்
தரநிலைத் தரவுத்தொகுப்புகளில் பாரம்பரிய மாதிரிகளுடன் ஒப்பிடும்போது, நேரியல் அளவிலான டிரான்ஸ்பார்மரின் புரத-MLM செயல்திறன் குறித்த தரநிலை முடிவுகளை (benchmark results) சமூகம் எதிர்பார்த்துக் காத்திருக்கிறது. தற்போதுள்ள உயிரி-தகவல் தொழில்நுட்பப் பாதைகளில் (bio-informatics pipelines) ஒருங்கிணைப்பு மற்றும் திறந்த மூல வெளியீடுகள் இந்தத் தொழில்நுட்பம் எவ்வளவு விரைவாகப் பரவும் என்பதைத் தீர்மானிக்கும். துல்லியம் இடைவெளி குறையும் பட்சத்தில், இந்த முறை பெரிய அளவிலான புரத மொழி மாதிரியாக்கத்திற்கான இயல்பான முறையாக மாறி, கணக்கீட்டு உயிரியல் புரத மடிப்புப் பிரச்சனையைத் கையாளும் முறையை மறுவடிவமைக்கக்கூடும்.
முக்கியக் கருத்து: நினைவகத் தேவையை இருபடி அளவிலிருந்து நேரியல் அளவாகக் குறைப்பதன் மூலம், நீண்ட சூழல் டிரான்ஸ்பார்மர்கள் முழு நீள புரதத் தொடர்களை மறைக்கப்பட்ட மொழி மாதிரியாக்கத்திற்கு (masked language modeling) ஏற்றதாக மாற்றுகின்றன; இது கணக்கீட்டுச் செலவைக் கட்டுக்குள் வைத்திருக்கும் அதே வேளையில், செழுமையான உயிரியல் நுண்ணறிவுகளை வழங்கும் வாக்குறுதியையும் அளிக்கிறது.