Các Giai đoạn Học tập Quan trọng trong Mạng Thần kinh Sâu
Các mạng thần kinh sâu không học với tốc độ không đổi.
Chúng tuân theo các giai đoạn cụ thể. Một số giai đoạn thay đổi trọng số mô hình một cách nhanh chóng. Các giai đoạn khác cho thấy rất ít sự tiến triển.
Các nhà nghiên cứu gọi đây là các Giai đoạn Học tập Quan trọng (Critical Learning Periods).
Hiểu được các giai đoạn này giúp bạn huấn luyện các mô hình tốt hơn.
Các điểm chính cần lưu ý:
- Việc học diễn ra theo từng đợt.
- Một số lớp nhất định cập nhật nhanh hơn các lớp khác.
- Việc căn chỉnh thời gian huấn luyện có thể tiết kiệm chi phí tính toán.
- Xác định các giai đoạn này giúp bạn sớm phát hiện các lỗi huấn luyện.
Bạn nên theo dõi các đường cong mất mát (loss curves) để tìm ra các khoảng thời gian này.
Đừng lãng phí thời gian vào các lượt huấn luyện đã vượt qua giai đoạn học tập đỉnh cao.
Nguồn: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi