תקופות למידה קריטיות ברשתות עצביות עמוקות
רשתות עצביות עמוקות אינן לומדות במהירות קבועה.
הן עוקבות אחר שלבים ספציפיים. חלק מהשלבים משנים את משקולות המודל במהירות. שלבים אחרים מראים התקדמות מועטה.
חוקרים מכנים זאת תקופות למידה קריטיות (Critical Learning Periods).
הבנת התקופות הללו עוזרת לכם לאמן מודלים בצורה טובה יותר.
נקודות מפתח:
- הלמידה מתרחשת בפרצים.
- שכבות מסוימות מתעדכנות מהר יותר מאחרות.
- תזמון האימון יכול לחסוך בעלויות מחשוב.
- זיהוי השלבים הללו עוזר לזהות כשלים באימון בשלב מוקדם.
כדאי לעקוב אחר עקומות ההפסד (loss curves) שלכם כדי למצוא את החלונות הללו.
הפסיקו לבזבז זמן על הרצות אימון שכבר עברו את שיא שלב הלמידה שלהן.
מקור: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
קהילת למידה אופציונלית: https://t.me/GyaanSetuAi