डीप न्यूरल नेटवर्क्समधील क्रिटिकल लर्निंग पिरियड्स
डीप न्यूरल नेटवर्क्स एका स्थिर वेगाने शिकत नाहीत.
ते विशिष्ट टप्प्यांचे अनुसरण करतात. काही टप्प्यांमध्ये मॉडेलचे वेट्स (weights) वेगाने बदलतात, तर इतर टप्प्यांमध्ये प्रगती खूप कमी दिसून येते.
संशोधक याला 'क्रिटिकल लर्निंग पिरियड्स' (Critical Learning Periods) म्हणतात.
हे टप्पे समजून घेतल्यास तुम्हाला मॉडेल्स अधिक चांगल्या प्रकारे प्रशिक्षित करण्यास मदत होते.
मुख्य निष्कर्ष:
- शिकण्याची प्रक्रिया वेगाच्या लहरींमध्ये (bursts) घडते.
- काही लेयर्स इतर लेयर्सच्या तुलनेत वेगाने अपडेट होतात.
- ट्रेनिंगची वेळ योग्य असल्यास कॉम्प्युट खर्च (compute costs) वाचू शकतो.
- हे टप्पे ओळखल्यामुळे ट्रेनिंगमधील त्रुटी लवकर ओळखण्यास मदत होते.
हे टप्पे शोधण्यासाठी तुम्ही तुमच्या लॉस कर्व्हज (loss curves) वर लक्ष ठेवले पाहिजे.
ज्या ट्रेनिंग रनचा मुख्य शिकण्याचा टप्पा (peak learning phase) निघून गेला आहे, त्यावर वेळ वाया घालवणे थांबवा.
स्रोत: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi