உங்கள் 70B பாராமீட்டர் மாடலை இனி யாரும் விரும்புவதில்லை

AI உலகம் முன்பு அளவீட்டில் (scale) மட்டுமே கவனம் செலுத்தியது.

மக்கள் பெரிய மாடல்கள், பெரிய context windows மற்றும் பெரிய benchmarks ஆகியவற்றின் பின்னால் ஓடிக்கொண்டிருந்தனர். உங்கள் மாடல் மிகப்பெரியதாக இல்லையென்றால், நீங்கள் போட்டியில் இல்லை என்று அர்த்தம்.

அந்த காலம் முடிவுக்கு வருகிறது.

பிரம்மாண்டமான மாடல்கள் வியக்கத்தக்கவை. ஆனால் பெரும்பாலான மக்களுக்கு அவ்வளவு அதிக ஆற்றல் தேவையில்லை. ஒரு காரின் டேஷ்போர்டு உதவியாளர் கவிதைகள் எழுத வேண்டிய அவசியமில்லை. "ஏசியின் வெப்பத்தைக் குறைக்கவும்" என்பதைப் புரிந்துகொண்டு, பேட்டரியை அதிகம் செலவழிக்காமல் இயங்கினால் போதுமானது.

ஐந்து முக்கிய காரணங்களுக்காகச் சிறிய, பிரத்யேக மாடல்கள் (specialized models) ஆதிக்கம் செலுத்தி வருகின்றன:

  • சாதனத்திலேயே பயன்படுத்துதல் (On-device use): சிறிய மாடல்களை உள்ளூரிலேயே (locally) இயக்குவதற்குத் தேவையான வன்பொருள் (hardware) இப்போது போன்களில் உள்ளது. இணையம் இல்லாத சுரங்கப்பாதைகளிலோ அல்லது விமானத்திலோ கூட உங்கள் உதவியாளர் செயல்படுவார்.
  • தனியுரிமை மற்றும் விதிமுறைகள் (Privacy and regulation): மருத்துவமனைகள் மற்றும் சட்ட நிறுவனங்களால் முக்கியமான தரவுகளை மூன்றாம் தரப்பு API-க்கு அனுப்ப முடியாது. உள்ளூர் வன்பொருளில் ஒரு சிறிய மாடலை இயக்குவது தரவுகளை அந்த நிறுவனத்திற்குள்ளேயே பாதுகாப்பாக வைத்திருக்கும்.
  • குறைந்த தாமதம் (Low latency): ஒரு தானியங்கி கார் (self-driving car), ஒரு உருவம் பாதசாரியா என்பதைத் தீர்மானிக்க கிளவுட் சர்வர் (cloud server) பதிலளிக்கும் வரை காத்திருக்க முடியாது. முடிவெடுக்கும் இடத்திலேயே அந்த மாடல் இருக்க வேண்டும்.
  • குறைந்த செலவு (Lower costs): ஒரு பிரம்மாண்டமான மாடலில் மில்லியன் கணக்கான கோரிக்கைகளை (requests) இயக்குவது உங்கள் லாபத்தைக் குறைக்கும். சரியாகச் செதுக்கப்பட்ட (tuned) ஒரு சிறிய மாடல் பெரும்பாலும் மலிவானது மற்றும் நிலையானது.
  • மோசமான இணைய இணைப்பு (Poor connectivity): உலகின் பல பகுதிகளில் இணையம் எப்போதும் கிடைப்பதில்லை. சிறிய மாடல்கள் தயாரிப்புகளை ஆஃப்லைனில் (offline) இயங்க அனுமதிக்கின்றன.

மூன்று முக்கிய முறைகளைப் பயன்படுத்தி மாடல்களைச் சிறியதாக்கலாம்:

  • Quantization: இடத்தைச் சேமிக்க மாடல் எடைகளின் (weights) துல்லியத்தைக் குறைத்தல்.
  • Pruning: மதிப்பைக் கூட்டாத தேவையற்ற இணைப்புகளை நீக்குதல்.
  • Knowledge distillation: ஒரு பெரிய மாடல் தனது தர்க்கரீதியான சிந்தனையை (reasoning) ஒரு சிறிய மாடல் எவ்வாறு பின்பற்றுவது என்பதைக் கற்பிக்கப் பயன்படுத்துதல்.

இந்த மாற்றம் தேவையான திறன்களையும் (skill set) மாற்றுகிறது.

ஒரு பிரம்மாண்டமான மாடலுக்கு ப்ராம்ப்ட் (Prompting) கொடுப்பது ஒரு திறமை. ஆனால் ஒரு பிரத்யேக மாடலைத் தேர்ந்தெடுத்து, அதைச் செம்மைப்படுத்தி (fine-tuning), பயன்பாட்டிற்குத் தயார் செய்வது (deploying) என்பது முற்றிலும் மாறுபட்ட ஒரு பொறியியல் சவாலாகும். இது வேகம், செலவு மற்றும் துல்லியம் ஆகியவற்றிற்கு இடையே சரியான சமநிலையை (tradeoffs) ஏற்படுத்துவதைப் பற்றியது.

எல்லாவற்றையும் மோசமாகச் செய்யும் ஒரு பிரம்மாண்டமான கருவியைக் கட்ட முயல்வதை நிறுத்துங்கள். ஒரு வேலையைச் சிறப்பாகச் செய்யும் பல சிறிய கருவிகளைக் கட்டுங்கள்.

ஒரு சிறிய மாடல் என்பது தரக்குறைவு அல்ல. அது அந்த வேலைக்குச் சிறந்த கருவி.

Source: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Optional learning community: https://t.me/GyaanSetuAi