𝗣𝗲𝗿𝗶𝗼𝗱𝗶 𝗖𝗿𝗶𝘁𝗶𝗰𝗶 𝗱𝗶 𝗔𝗽𝗽𝗿𝗲𝗻𝗱𝗶𝘀𝘁𝗮𝗺𝗼 𝗻𝗲𝗹𝗹𝗲 𝗥𝗲𝘁𝗶 𝗡𝗲𝘂𝗿𝗮𝗹𝗶 𝗣𝗿𝗼𝗳𝗼𝗻𝗱𝗲

Le reti neurali profonde non apprendono a una velocità costante.

Seguono fasi specifiche. Alcune fasi modificano rapidamente i pesi del modello. Altre fasi mostrano pochi progressi.

I ricercatori chiamano questi momenti Periodi Critici di Apprendimento.

Comprendere questi periodi ti aiuta ad addestrare meglio i modelli.

Punti chiave:

  • L'apprendimento avviene a raffiche.
  • Alcuni strati si aggiornano più velocemente di altri.
  • Gestire i tempi dell'addestramento può far risparmiare sui costi di calcolo.
  • Identificare queste fasi ti aiuta a individuare tempestivamente eventuali fallimenti dell'addestramento.

Dovresti monitorare le tue curve di perdita per individuare queste finestre temporali.

Smetti di sprecare tempo in sessioni di addestramento che hanno già superato la loro fase di apprendimento ottimale.

Fonte: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg

Community di apprendimento opzionale: https://t.me/GyaanSetuAi