Periodos Críticos de Aprendizaje en Redes Neuronales Profundas
Las redes neuronales profundas no aprenden a una velocidad constante.
Siguen etapas específicas. Algunas fases cambian los pesos del modelo rápidamente. Otras fases muestran poco progreso.
Los investigadores llaman a esto Periodos Críticos de Aprendizaje.
Comprender estos periodos te ayuda a entrenar modelos de mejor manera.
Puntos clave:
- El aprendizaje ocurre en ráfagas.
- Ciertas capas se actualizan más rápido que otras.
- Gestionar los tiempos de tu entrenamiento puede ahorrar costos de cómputo.
- Identificar estas etapas te ayuda a detectar fallos de entrenamiento de forma temprana.
Deberías realizar un seguimiento de tus curvas de pérdida para encontrar estas ventanas.
Deja de perder el tiempo en ejecuciones de entrenamiento que ya han pasado su fase de aprendizaje máximo.
Fuente: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi