தலைப்பு: Adjoint Matching: Generative Models-ஐ நுணுக்கமாகச் சீரமைத்தல் (Fine-tuning)
Adjoint Matching கணக்கீட்டுச் செலவைக் (compute bill) வெகுவாகக் குறைப்பதோடு, diffusion மற்றும் flow generators-களை நுணுக்கமாகச் சீரமைக்கும் (fine-tuning) முறையை நிலைப்படுத்துகிறது. இந்த நுட்பம், மாதிரித் தகவமைப்பு (model adaptation) முறையை ஒரு 'memory-less stochastic optimal-control' சிக்கலாக மாற்றுகிறது; இதன் மூலம் ஆராய்ச்சியாளர்கள் மிகக் குறைந்த வளங்களைக் கொண்டு அதே அளவிலான துல்லியத்தைப் பெற முடிகிறது.
Diffusion மற்றும் flow மாதிரிகளை நுணுக்கமாகச் சீரமைப்பது நீண்டகாலமாக ஒரு தடையாக இருந்து வருகிறது. தற்போதுள்ள முறைகள் ஆயிரக்கணக்கான மாதிரி நிலைகள் (sampling steps) வழியாக back-propagate செய்வதால், நினைவகப் பயன்பாடு (memory use) அதிகரித்து பயிற்சியை (training) நிலையற்றதாக மாற்றுகின்றன. இந்தச் சுழற்சிகள் அதிகச் செலவு பிடிக்கும் என்பதால், குழுக்கள் பெரும்பாலும் தரவுத்தொகுப்புகளைக் குறைக்கவோ அல்லது குறைவான முடிவுகளுடன் சமரசம் செய்துகொள்ளவோ வேண்டியுள்ளது.
ஒவ்வொரு மாற்றத்தையும் (update), உருவாக்கும் செயல்முறையை (generative process) ஒரு இலக்கு விநியோகத்தை (target distribution) நோக்கித் தள்ளும் ஒரு கட்டுப்பாட்டுச் சிக்னலாக (control signal) கருதுவதன் மூலம் Adjoint Matching இந்தப் பிரச்சனைகளைத் தவிர்க்கிறது. இதன் கட்டுப்பாட்டு விதி (control law) 'memory-less' ஆக இருப்பதால்—அதாவது அதன் முடிவு தற்போதைய நிலையை மட்டுமே சார்ந்து இருப்பதால்—இது இடைநிலைச் செயல்பாடுகளை (intermediate activations) சேமிப்பதைத் தவிர்க்கிறது. இதன் விளைவாக உருவாகும் “adjoint” கணக்கீடு, அதிகச் செலவு பிடிக்கும் backward pass-க்கு மாற்றாக, மாதிரியின் இயக்கவியலை (dynamics) மதிக்கும் ஒரு இலகுவான stochastic optimizer-ஐப் பயன்படுத்துகிறது.
இதன் பயன் இரட்டைப்படியானது. முதலாவதாக, கணக்கீட்டுத் தேவை (compute demand) வியத்தகு முறையில் குறைகிறது; முன்பு பல GPU கிளஸ்டர்கள் தேவைப்பட்ட பெரிய diffusion மாதிரிகளை, இப்போது சாதாரண வன்பொருள்களிலேயே (modest hardware) நுணுக்கமாகச் சீரமைக்க முடியும். இரண்டாவதாக, control-theoretic சூத்திரம் loss surface-ஐ மென்மையாக்குகிறது, இதன் மூலம் வழக்கமான gradient-based fine-tuning முறைகளில் ஏற்படும் அலைவுகள் (oscillations) மற்றும் விலகல்களை (divergence) குறைக்கிறது. ஆரம்பகால சோதனைகள், இத்துறையில் பொதுவாகப் பயன்படுத்தப்படும் gradient-explosion நுட்பங்கள் இல்லாமலேயே நிலையான ஒரு முடிவை (stable convergence) எட்ட முடியும் என்பதைக் காட்டுகின்றன.
AI மூலம் இயங்கும் உள்ளடக்கத் தயாரிப்பாளர்கள் (content generators) எவருக்கும், இந்த அணுகுமுறை குறிப்பிட்ட துறை சார்ந்த நிபுணத்துவத்தைப் பெற ஒரு மலிவான வழியை வழங்குகிறது. செலவு காரணமாக அதிநவீன (state-of-the-art) உருவாக்கிகளைப் பயன்படுத்தத் தயங்கிய நிறுவனங்கள், இப்போது பட்ஜெட்டை அதிகரிக்காமல்—மருத்துவப் படங்கள் முதல் பிராண்ட் சார்ந்த கலைப்படைப்புகள் வரை—குறிப்பிட்ட தரவுத்தொகுப்புகளைக் கொண்டு சோதனைகளை மேற்கொள்ள முடியும்.
இருப்பினும், இந்த முறை இன்னும் ஆராய்ச்சி நிலையிலேயே இருப்பதாகச் சந்தேகப்படுபவர்கள் குறிப்பிடுகின்றனர். 'Memory-less' அனுமானம் திறமையானதாக இருந்தாலும், சில உருவாக்கும் பணிகளுக்குத் தேவையான நீண்ட காலத் தொடர்புகளை (long-range dependencies) கண்டறியும் திறனைக் குறைக்கலாம். மேலும், stochastic control solver தனக்கென சில hyper-parameters-களைக் கொண்டுள்ளது; அவற்றைச் சரியாகக் கையாளாவிட்டால், அவற்றைத் திருத்தவே சேமிக்கப்பட்ட கணக்கீட்டுத் திறன் செலவாகிவிடக்கூடும்.
அடுத்து கவனிக்க வேண்டியவை: பல்வேறு மாதிரி அளவுகள் மற்றும் தரவுத் துறைகளில், Adjoint Matching-ஐத் தரமான fine-tuning முறைகளுடன் ஒப்பிடும் benchmarks. திறந்த மூல (Open-source) செயலாக்கங்கள், வளங்களின் பயன்பாடு “வியத்தகு முறையில் குறைந்துள்ளது” என்ற கூற்றைச் சமூகத்தினர் சோதித்துப் பார்க்க உதவும். இந்த நுட்பம் விரிவுபடுத்தப்படக் கூடியதாக இருந்தால், அது generative AI-ன் பொருளாதாரக் கட்டமைப்பை மாற்றியமைத்து, உயர்தரமான, தனிப்பயனாக்கப்பட்ட மாதிரிகளை அதிகப்படியான டெவலப்பர்களுக்குக் கிடைக்கச் செய்யும்.