Критичні періоди навчання у глибоких нейронних мережах
Глибокі нейронні мережі не навчаються з постійною швидкістю.
Вони проходять через певні етапи. На одних фазах ваги моделі змінюються швидко. На інших — прогрес майже непомітний.
Дослідники називають це критичними періодами навчання.
Розуміння цих періодів допоможе вам краще навчати моделі.
Ключові висновки:
- Навчання відбувається стрибкоподібно.
- Певні шари оновлюються швидше за інші.
- Правильний таймінг навчання може заощадити витрати на обчислення.
- Визначення цих етапів допомагає вчасно помітити помилки навчання.
Вам слід відстежувати криві втрат, щоб знайти ці вікна.
Припиніть витрачати час на запуски навчання, які вже пройшли свою фазу пікового навчання.
Джерело: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi