ಡೀಪ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ಗಳಲ್ಲಿನ ನಿರ್ಣಾಯಕ ಕಲಿಕೆಯ ಅವಧಿಗಳು
ಡೀಪ್ ನ್ಯೂರಲ್ ನೆಟ್ವರ್ಕ್ಗಳು ಸ್ಥಿರವಾದ ವೇಗದಲ್ಲಿ ಕಲಿಯುವುದಿಲ್ಲ.
ಅವು ನಿರ್ದಿಷ್ಟ ಹಂತಗಳನ್ನು ಅನುಸರಿಸುತ್ತವೆ. ಕೆಲವು ಹಂತಗಳು ಮಾಡೆಲ್ ತೂಕಗಳನ್ನು (model weights) ವೇಗವಾಗಿ ಬದಲಾಯಿಸುತ್ತವೆ. ಇತರ ಹಂತಗಳು ಕಡಿಮೆ ಪ್ರಗತಿಯನ್ನು ತೋರಿಸುತ್ತವೆ.
ಸಂಶೋಧಕರು ಇವುಗಳನ್ನು 'ನಿರ್ಣಾಯಕ ಕಲಿಕೆಯ ಅವಧಿಗಳು' (Critical Learning Periods) ಎಂದು ಕರೆಯುತ್ತಾರೆ.
ಈ ಅವಧಿಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಮಾಡೆಲ್ಗಳನ್ನು ಉತ್ತಮವಾಗಿ ತರಬೇತುಗೊಳಿಸಲು ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಪ್ರಮುಖ ಅಂಶಗಳು:
- ಕಲಿಕೆಯು ಅಲೆಗಳ ರೂಪದಲ್ಲಿ (bursts) ನಡೆಯುತ್ತದೆ.
- ಕೆಲವು ಪದರಗಳು (layers) ಇತರ ಪದರಗಳಿಗಿಂತ ವೇಗವಾಗಿ ಅಪ್ಡೇಟ್ ಆಗುತ್ತವೆ.
- ತರಬೇತಿಯ ಸಮಯವನ್ನು ಸರಿಯಾಗಿ ನಿರ್ಧರಿಸುವುದು ಕಂಪ್ಯೂಟ್ ವೆಚ್ಚಗಳನ್ನು ಉಳಿಸಬಹುದು.
- ಈ ಹಂತಗಳನ್ನು ಗುರುತಿಸುವುದು ತರಬೇತಿಯ ವೈಫಲ್ಯಗಳನ್ನು ಮೊದಲೇ ಪತ್ತೆಹಚ್ಚಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಈ ಸಮಯದ ಕಿಟಕಿಗಳನ್ನು (windows) ಪತ್ತೆಹಚ್ಚಲು ನೀವು ನಿಮ್ಮ ಲಾಸ್ ಕರ್ವ್ಗಳನ್ನು (loss curves) ಟ್ರ್ಯಾಕ್ ಮಾಡಬೇಕು.
ತಮ್ಮ ಗರಿಷ್ಠ ಕಲಿಕೆಯ ಹಂತವನ್ನು ಈಗಾಗಲೇ ದಾಟಿಹೋದ ತರಬೇತಿ ಪ್ರಕ್ರಿಯೆಗಳ ಮೇಲೆ ಸಮಯ ವ್ಯರ್ಥ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ.
ಮೂಲ: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi