டீப் நியூரல் நெட்வொர்க்குகளில் முக்கியமான கற்றல் காலங்கள்
டீப் நியூரல் நெட்வொர்க்குகள் சீரான வேகத்தில் கற்றுக்கொள்வதில்லை.
அவை குறிப்பிட்ட நிலைகளைப் பின்பற்றுகின்றன. சில கட்டங்களில் மாடல் எடைகள் (model weights) வேகமாக மாறுகின்றன. மற்ற கட்டங்களில் முன்னேற்றம் மிகக் குறைவாகவே இருக்கும்.
ஆராய்ச்சியாளர்கள் இவற்றை 'முக்கியமான கற்றல் காலங்கள்' (Critical Learning Periods) என்று அழைக்கிறார்கள்.
இந்தக் காலங்களைப் புரிந்துகொள்வது மாடல்களைச் சிறப்பாகப் பயிற்றுவிக்க உதவும்.
முக்கியக் கருத்துக்கள்:
- கற்றல் திடீர் மாற்றங்களுடன் (bursts) நிகழ்கிறது.
- சில லேயர்கள் மற்றவற்றை விட வேகமாகப் புதுப்பிக்கப்படுகின்றன.
- பயிற்சியின் நேரத்தைத் திட்டமிடுவது கணக்கீட்டுச் செலவுகளை (compute costs) மிச்சப்படுத்த உதவும்.
- இந்த நிலைகளைக் கண்டறிவது பயிற்சியின் தோல்விகளை முன்கூட்டியே கண்டறிய உதவும்.
இந்தக் காலங்களைக் கண்டறிய உங்கள் லாஸ் கர்வ்ஸ்களை (loss curves) நீங்கள் கண்காணிக்க வேண்டும்.
அவற்றின் உச்சக்கட்ட கற்றல் நிலையைத் தாண்டிவிட்ட பயிற்சி ஓட்டங்களில் (training runs) நேரத்தை வீணாக்குவதை நிறுத்துங்கள்.
Source: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi