ডিপ নিউরাল নেটওয়ার্কের ক্রিটিক্যাল লার্নিং পিরিয়ডসমূহ
ডিপ নিউরাল নেটওয়ার্কগুলো একটি স্থির গতিতে শেখে না।
এগুলো নির্দিষ্ট কিছু ধাপ অনুসরণ করে। কিছু পর্যায়ে মডেলের ওয়েট (weights) দ্রুত পরিবর্তিত হয়। অন্যান্য পর্যায়ে খুব সামান্য উন্নতি দেখা যায়।
গবেষকরা এগুলোকে 'ক্রিটিক্যাল লার্নিং পিরিয়ড' বলেন।
এই পিরিয়ডগুলো বুঝতে পারলে আপনাকে মডেল আরও ভালোভাবে প্রশিক্ষণ দিতে সাহায্য করবে।
মূল বিষয়সমূহ:
- শেখার প্রক্রিয়াটি হঠাৎ বা দ্রুত গতিতে (bursts) ঘটে।
- নির্দিষ্ট কিছু লেয়ার অন্যদের তুলনায় দ্রুত আপডেট হয়।
- প্রশিক্ষণের সঠিক সময় নির্ধারণ করলে কম্পিউট খরচ (compute costs) সাশ্রয় করা সম্ভব।
- এই ধাপগুলো শনাক্ত করতে পারলে প্রশিক্ষণের ব্যর্থতা দ্রুত ধরা পড়ে।
এই সময়সীমাগুলো খুঁজে পেতে আপনার লস কার্ভ (loss curves) ট্র্যাক করা উচিত।
যে ট্রেনিং রানগুলো ইতিমধ্যে তাদের সর্বোচ্চ শেখার পর্যায় অতিক্রম করেছে, সেগুলোতে সময় নষ্ট করা বন্ধ করুন।
উৎস: https://dev.to/paperium/critical-learning-periods-in-deep-neural-networks-2geg
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi