𝗖𝗿𝗶𝘁𝗶𝗰𝗮𝗹 𝗟𝗲𝗮𝗿𝗻𝗶𝗻𝗴 𝗣𝗲𝗿𝗶𝗼𝗱𝘀 𝗶𝗻 𝗗𝗲𝗲𝗽 𝗡𝗲𝘂𝗿𝗮𝗹 𝗡𝗲𝘁𝘄𝗼𝗿𝗸𝘀
Deep neural networks ไม่ได้เรียนรู้ด้วยความเร็วที่คงที่
พวกมันดำเนินไปตามขั้นตอนที่เฉพาะเจาะจง บางช่วงเวลาค่าน้ำหนัก (weights) ของโมเดลจะเปลี่ยนแปลงอย่างรวดเร็ว ในขณะที่บางช่วงเวลาอาจมีความคืบหน้าน้อยมาก
นักวิจัยเรียกสิ่งนี้ว่า Critical Learning Periods
การทำความเข้าใจช่วงเวลาเหล่านี้จะช่วยให้คุณฝึกฝนโมเดลได้ดียิ่งขึ้น
ประเด็นสำคัญ:
- การเรียนรู้เกิดขึ้นเป็นช่วงๆ (bursts)
- เลเยอร์บางส่วนอัปเดตเร็วกว่าเลเยอร์อื่นๆ
- การกำหนดจังหวะเวลาในการฝึกฝนสามารถช่วยประหยัดต้นทุนการประมวลผลได้
- การระบุขั้นตอนเหล่านี้จะช่วยให้คุณตรวจพบความล้มเหลวในการฝึกฝนได้ตั้งแต่เนิ่นๆ
คุณควรติดตามกราฟ loss curves เพื่อหาช่วงเวลาเหล่านี้
เลิกเสียเวลากับการรันการฝึกฝนที่ผ่านพ้นช่วงการเรียนรู้สูงสุดไปแล้ว
ที่มา: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
ชุมชนการเรียนรู้เพิ่มเติม: https://t.me/GyaanSetuAi