𝗖𝗿𝗶𝘁𝗶𝗰𝗮𝗹 𝗟𝗲𝗮𝗿𝗻𝗶𝗻𝗴 𝗣𝗲𝗿𝗶𝗼𝗱𝘀 𝗶𝗻 𝗗𝗲𝗲𝗽 𝗡𝗲𝘂𝗿𝗮𝗹 𝗡𝗲𝘁𝘄𝗼𝗿𝗸𝘀

Deep neural networks tidak belajar dengan kecepatan yang konstan.

Mereka mengikuti tahapan tertentu. Beberapa fase mengubah bobot model secara cepat. Fase lainnya menunjukkan sedikit kemajuan.

Para peneliti menyebut ini sebagai Critical Learning Periods.

Memahami periode-periode ini membantu Anda melatih model dengan lebih baik.

Poin-poin utama:

  • Pembelajaran terjadi dalam lonjakan.
  • Lapisan tertentu diperbarui lebih cepat daripada yang lain.
  • Mengatur waktu pelatihan Anda dapat menghemat biaya komputasi.
  • Mengidentifikasi tahapan-tahapan ini membantu Anda mendeteksi kegagalan pelatihan lebih dini.

Anda harus memantau kurva loss Anda untuk menemukan jendela waktu ini.

Berhentilah membuang waktu pada proses pelatihan yang telah melewati fase pembelajaran puncaknya.

Sumber: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi