ਡੀਪ ਨਿਊਰਲ ਨੈੱਟਵਰਕਸ ਵਿੱਚ ਕ੍ਰਿਟੀਕਲ ਲਰਨਿੰਗ ਪੀਰੀਅਡਸ
ਡੀਪ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਇੱਕ ਨਿਰੰਤਰ ਗਤੀ ਨਾਲ ਨਹੀਂ ਸਿੱਖਦੇ।
ਉਹ ਖਾਸ ਪੜਾਵਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ। ਕੁਝ ਪੜਾਅ ਮਾਡਲ ਵੇਟਸ (weights) ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਬਦਲਦੇ ਹਨ। ਹੋਰ ਪੜਾਵਾਂ ਵਿੱਚ ਬਹੁਤ ਘੱਟ ਤਰੱਕੀ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ।
ਖੋਜਕਰਤਾ ਇਹਨਾਂ ਨੂੰ ਕ੍ਰਿਟੀਕਲ ਲਰਨਿੰਗ ਪੀਰੀਅਡਸ ਕਹਿੰਦੇ ਹਨ।
ਇਹਨਾਂ ਮਿਆਦਾਂ ਨੂੰ ਸਮਝਣ ਨਾਲ ਤੁਹਾਨੂੰ ਮਾਡਲਾਂ ਨੂੰ ਬਿਹਤਰ ਤਰੀਕੇ ਨਾਲ ਟ੍ਰੇਨ ਕਰਨ ਵਿੱਚ ਮਦਦ ਮਿਲਦੀ ਹੈ।
ਮੁੱਖ ਗੱਲਾਂ:
- ਸਿੱਖਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਝਟਕਿਆਂ (bursts) ਵਿੱਚ ਹੁੰਦੀ ਹੈ।
- ਕੁਝ ਲੇਅਰਾਂ ਦੂਜੀਆਂ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਅਪਡੇਟ ਹੁੰਦੀਆਂ ਹਨ।
- ਆਪਣੀ ਟ੍ਰੇਨਿੰਗ ਦੇ ਸਮੇਂ ਦੀ ਸਹੀ ਯੋਜਨਾ ਬਣਾ ਕੇ ਤੁਸੀਂ ਕੰਪਿਊਟਿੰਗ ਲਾਗਤਾਂ ਬਚਾ ਸਕਦੇ ਹੋ।
- ਇਹਨਾਂ ਪੜਾਵਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਨਾਲ ਤੁਹਾਨੂੰ ਟ੍ਰੇਨਿੰਗ ਦੀਆਂ ਅਸਫਲਤਾਵਾਂ ਦਾ ਜਲਦੀ ਪਤਾ ਲੱਗ ਸਕਦਾ ਹੈ।
ਇਹਨਾਂ ਸਮੇਂ (windows) ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਤੁਹਾਨੂੰ ਆਪਣੇ ਲੌਸ ਕਰਵਜ਼ (loss curves) ਨੂੰ ਟ੍ਰੈਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।
ਉਹਨਾਂ ਟ੍ਰੇਨਿੰਗ ਰਨਾਂ 'ਤੇ ਸਮਾਂ ਬਰਬਾਦ ਕਰਨਾ ਬੰਦ ਕਰੋ ਜੋ ਪਹਿਲਾਂ ਹੀ ਆਪਣੇ ਸਿੱਖਣ ਦੇ ਸਿਖਰਲੇ ਪੜਾਅ ਨੂੰ ਪਾਰ ਕਰ ਚੁੱਕੇ ਹਨ।
ਸਰੋਤ: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi