یک مطالعه جدید در arXiv توسط Sawan Dasari، بر اساس ۴۰۰۰ آزمایش، نشان می‌دهد که یک برنامه بازآموزی دوره‌ای (periodic-retraining) قابل پیش‌بینی، در اکثر بارهای کاری یادگیری ماشین، از خط لوله‌های پیچیده تشخیص رانش (drift-detection) بهتر عمل می‌کند—مگر اینکه مدل بتواند به‌صورت افزایشی (incrementally) یاد بگیرد.

چرا مسئله بازآموزی اکنون اهمیت دارد

زمانی که یک مدل مستقر می‌شود، داده‌های دنیای واقعی به‌ندرت ثابت می‌مانند. ترجیحات مشتریان تکامل می‌یابند، تاکتیک‌های کلاهبرداری تغییر می‌کنند و خوانش‌های حسگر دچار رانش می‌شوند. این رانش مفهوم (concept drift) می‌تواند عملکرد پیش‌بینی را به سرعت کاهش دهد و یک سیستم درآمدزا را به یک بدهی تبدیل کند. شرکت‌ها معمولاً به یکی از سه روش پاسخ می‌دهند: بازآموزی در یک جدول زمانی ثابت، فعال‌سازی بازآموزی زمانی که از یک آستانه خطا عبور می‌کند، یا اجرای یک الگوریتم تشخیص رانش که تغییرات داده را علامت‌گذاری می‌کند. هر یک از این رویکردها بخشی از منابع محاسباتی، تلاش مهندسی و بودجه تأخیر (latency) را مصرف می‌کنند، با این حال، صنعت اجماع کمی بر سر اینکه کدام روش واقعاً مؤثر است، دارد.

مطالعه چه مواردی را مقایسه کرد

این تحقیق چهار سیاست را در مجموع گسترده‌ای از مجموعه‌داده‌های مصنوعی و واقعی ارزیابی کرد:

  1. بدون بازآموزی – مدل برای همیشه با داده‌های آموزشی اصلی خود اجرا می‌شود.
  2. بازآموزی دوره‌ای – مدل‌ها در یک برنامه زمانی ثابت (روزانه، هفتگی و غیره) به‌روزرسانی می‌شوند.
  3. فعال‌سازی با آستانه خطا – بازآموزی تنها زمانی شروع می‌شود که یک معیار عملکرد از حد از پیش تعیین‌شده فراتر رود.
  4. تشخیص رانش – یک الگوریتم داده‌های ورودی را برای تغییرات آماری نظارت می‌کند و در صورت تشخیص رانش، بازآموزی را آغاز می‌کند.

تیم تحقیق هر سیاست را روی مدل‌هایی آزمایش کرد که یا از یادگیری افزایشی پشتیبانی می‌کنند (می‌توانند به‌طور مداوم با داده‌های جدید به‌روز شوند) یا نمی‌توانند (نیاز به یک مرحله بازآموزی کامل دارند).

معماری بر سیاست غلبه می‌کند

زمانی که یک مدل از یادگیری افزایشی پشتیبانی می‌کند، مطالعه نشان داد که سیاست بازآموزی اهمیت چندانی ندارد؛ مدل به‌طور مداوم داده‌های تازه را جذب کرده و دقت خود را حفظ می‌کند. در مقابل، برای مدل‌های با آموزش ایستا (static-training)، انتخاب سیاست، دقت را در طول آزمایش‌ها بین ۱۵ تا ۵۵ درصد تغییر داد. به عبارت دیگر، توانایی مدل برای یادگیری در حین کار (on the fly) غالب است؛ برنامه زمانی تنها زمانی حیاتی می‌شود که آن قابلیت وجود نداشته باشد.

برای مدل‌های ایستا، روش ساده‌تر بر هوشمندتر غلبه می‌کند

برای مدل‌هایی که نمی‌توانند به‌صورت افزایشی یاد بگیرند، برنامه دوره‌ای به‌طور مداوم هم از روش‌های آستانه خطا و هم از روش‌های تشخیص رانش بهتر عمل کرد، چه رانش ناگهانی باشد (تغییر شدید در توزیع) و چه تدریجی (تکامل کند). خط لوله‌های «هوشمند» به زیرساخت‌های نظارتی و تنظیمات اضافی نیاز داشتند و به‌ندرت رانش را به اندازه کافی زود شناسایی می‌کردند تا بتوانند تأخیر ایجاد شده را جبران کنند. پیش‌بینی‌پذیری مشخص شد که مزیت تعیین‌کننده است: تیم‌ها می‌توانستند منابع را از قبل تخصیص دهند و از تأخیر «صبر و انتظار» که در سیستم‌های واکنشی (reactive) ذاتی است، اجتناب کنند.

بودجه محاسباتی و تأخیر جدایی‌ناپذیر هستند

بازآموزی رایگان نیست. آزمایش‌ها تأثیر مدت زمان بازآموزی را بر بودجه محاسباتی کلی اندازه‌گیری کردند. زمانی که تأخیر و بودجه به‌طور مستقل مدل‌سازی شدند، تیم‌ها در نهایت با حدود نصف ظرفیت بازآموزی مورد انتظار مواجه شدند؛ هزینه پنهان دوره‌های آموزشی طولانی، منابع اختصاص یافته برای استنتاج (inference) را می‌بلعید. نتیجه روشن است: هر استراتژی بازآموزی را در کنار هزینه زمان و محاسبات آن ارزیابی کنید، نه صرفاً به عنوان یک افزایش دقت مجزا.

چگونه یافته‌ها به موارد استفاده در دنیای واقعی تعمیم می‌یابند

  • تشخیص کلاهبرداری – الگوهای کلاهبرداری به سرعت تغییر می‌کنند، اما مطالعه نشان می‌دهد که یک ریتم دوره‌ای منضبط (مثلاً هر شب) قابل‌اعتمادتر از ساخت یک خط لوله تشخیص رانش سفارشی است که ممکن است از حملات عقب بماند.
  • شخصی‌سازی – در اینجا اولویت با معماری مدل است. از یک الگوریتم یادگیری افزایشی (به‌روزرسانی‌های گرادیان آنلاین، فاکتورگیری جریانی و غیره) استفاده کنید. وقتی مدل بتواند تعاملات جدید را به‌طور مداوم جذب کند، بحث بر سر برنامه زمانی از بین می‌رود.
  • پیش‌بینی – پیش‌بینی‌های سری زمانی اغلب به مدل‌های سنگین (مانند LSTMهای عمیق) نیاز دارند که نمی‌توانند به‌صورت افزایشی به‌روز شوند. در چنین مواردی، برنامه‌ریزی بودجه باید شامل کل بازه زمانی آموزش باشد؛ در غیر این صورت، سیستم از داده‌هایی که هدفش پیش‌بینی آن‌هاست، عقب می‌ماند.

خلاصه کلام

اگر مدل شما می‌تواند به‌صورت افزایشی یاد بگیرد، روی آن قابلیت سرمایه‌گذاری کنید و اجازه دهید داده‌ها جریان یابند. اگر نمی‌تواند، خط لوله‌های پیچیده تشخیص رانش را رها کنید و یک جدول زمانی بازآموزی منظم و قابل پیش‌بینی را در نظر بگیرید، در حالی که هزینه‌های محاسباتی و تأخیر را از قبل لحاظ کرده‌اید. ساده‌ترین رویکرد، که توسط هزاران آزمایش تأیید شده است، بالاترین دقت را بدون هزینه پنهانِ راهکارهای بیش از حد مهندسی‌شده ارائه می‌دهد.