सवान दासरी (Sawan Dasari) यांच्या नवीन arXiv अभ्यासातून, ४,००० प्रयोगांच्या आधारे असे दिसून आले आहे की, बहुतेक मशीन-लर्निंग वर्कलोड्ससाठी (machine-learning workloads) एक अंदाज लावता येण्याजोगा 'पिरियॉडिक-रिट्रेनिंग' (periodic-retraining) वेळापत्रक हे प्रगत 'ड्रिफ्ट-डिटेक्शन' (drift-detection) पाइपलाईन्सपेक्षा अधिक प्रभावी ठरते—जोपर्यंत मॉडेल 'इन्क्रिमेंटल लर्निंग' (incremental learning) करू शकत नाही.
रिट्रेनिंगचा प्रश्न आता का महत्त्वाचा आहे
एकदा मॉडेल तैनात (deploy) केले की, वास्तविक जगातील डेटा क्वचितच स्थिर राहतो. ग्राहकांच्या आवडीनिवडी बदलतात, फसवणुकीच्या पद्धती बदलतात आणि सेन्सर रीडिंगमध्ये बदल (drift) होतो. हा concept drift प्रेडिक्टिव्ह परफॉर्मन्स (predictive performance) वेगाने कमी करू शकतो, ज्यामुळे महसूल मिळवून देणारी प्रणाली जोखमीची ठरू शकते. कंपन्या सहसा तीन प्रकारे प्रतिसाद देतात: ठराविक वेळापत्रकानुसार रिट्रेनिंग करणे, एरर थ्रेशोल्ड (error threshold) ओलांडल्यावर रिट्रेनिंग सुरू करणे, किंवा डेटातील बदल ओळखण्यासाठी 'ड्रिफ्ट-डिटेक्शन' अल्गोरिदम चालवणे. प्रत्येक पद्धतीसाठी कम्प्युट (compute), इंजिनिअरिंग प्रयत्न आणि लेटन्सी बजेट (latency budget) खर्च होतो, तरीही यापैकी कोणती पद्धत खरोखर प्रभावी आहे यावर उद्योगात फारसा एकमत नाही.
अभ्यासात कशाची तुलना करण्यात आली
संशोधनाने सिंथेटिक आणि वास्तविक डेटासेटच्या विस्तृत संचावर चार पॉलिसींचे मूल्यमापन केले:
- No retraining (रिट्रेनिंग नाही) – मॉडेल त्याच्या मूळ ट्रेनिंग डेटावर कायमस्वरूपी चालते.
- Periodic retraining (नियतकालिक रिट्रेनिंग) – मॉडेल्स ठराविक वेळापत्रकानुसार (दैनंदिन, साप्ताहिक, इ.) रिफ्रेश केली जातात.
- Error-threshold triggering (एरर-थ्रेशोल्ड ट्रिगरिंग) – जेव्हा परफॉर्मन्स मेट्रिक (performance metric) पूर्व-निर्धारित मर्यादेपेक्षा जास्त होते, तेव्हाच रिट्रेनिंग सुरू होते.
- Drift-detection (ड्रिफ्ट-डिटेक्शन) – एक अल्गोरिदम सांख्यिकीय बदलांसाठी (statistical shifts) येणाऱ्या डेटावर लक्ष ठेवतो आणि ड्रिफ्ट आढळल्यास रिट्रेनिंग सुरू करतो.
टीमने प्रत्येक पॉलिसीची चाचणी अशा मॉडेल्सवर केली जी एकतर इन्क्रिमेंटल लर्निंगला सपोर्ट करतात (ती नवीन डेटासह सतत अपडेट होऊ शकतात) किंवा करू शकत नाहीत (त्यांना पूर्ण रिट्रेनिंग पासची आवश्यकता असते).
आर्किटेक्चर हे पॉलिसीपेक्षा जास्त महत्त्वाचे आहे
जेव्हा एखादे मॉडेल इन्क्रिमेंटल लर्निंगला सपोर्ट करते, तेव्हा अभ्यासात असे दिसून आले की रिट्रेनिंग पॉलिसीचा फारसा फरक पडत नाही—मॉडेल सतत नवीन डेटा समाविष्ट करते आणि अचूकता (accuracy) टिकवून ठेवते. याउलट, स्टॅटिक-ट्रेनिंग (static-training) मॉडेल्ससाठी, पॉलिसीच्या निवडीमुळे प्रयोगांमध्ये अचूकतेमध्ये १५ ते ५५ टक्क्यांपर्यंत फरक पडला. दुसऱ्या शब्दांत, मॉडेलची 'ऑन द फ्लाई' (on the fly) शिकण्याची क्षमता अधिक प्रभावी ठरते; जेव्हा ही क्षमता नसते, तेव्हाच वेळापत्रक महत्त्वपूर्ण ठरते.
स्टॅटिक मॉडेल्ससाठी 'स्मार्ट' पेक्षा 'सिम्पल' पद्धत सरस ठरते
जे मॉडेल्स इन्क्रिमेंटली शिकू शकत नाहीत, त्यांच्यासाठी 'पिरियॉडिक शेड्युल' (periodic schedule) हे एरर-थ्रेशोल्ड आणि ड्रिफ्ट-डिटेक्शन या दोन्ही पद्धतींपेक्षा सातत्याने सरस ठरले, मग तो ड्रिफ्ट अचानक (डिस्ट्रिब्युशनमध्ये तीव्र बदल) असो किंवा हळूहळू (हळूहळू होणारा बदल). "स्मार्ट" पाइपलाईन्ससाठी अतिरिक्त मॉनिटरिंग इन्फ्रास्ट्रक्चर आणि ट्यूनिंगची आवश्यकता होती आणि त्या ड्रिफ्ट इतक्या लवकर पकडू शकल्या नाहीत की ज्यामुळे त्यांच्यामुळे निर्माण झालेली लेटन्सी (latency) भरून निघता येईल. 'प्रेडिक्टेबिलिटी' (Predictability) हा निर्णायक फायदा ठरला: टीम्स संसाधने (resources) आगाऊ वाटून घेऊ शकल्या आणि रिअॅक्टिव्ह सिस्टम्समध्ये असणारा "वेट-अँड-सी" (wait-and-see) विलंब टाळू शकल्या.
कम्प्युट बजेट आणि लेटन्सी एकमेकांपासून वेगळे करता येत नाहीत
रिट्रेनिंग मोफत नसते. प्रयोगांमध्ये एकूण कम्प्युट बजेटवर रिट्रेनिंगच्या कालावधीचा काय परिणाम होतो, याचे मोजमाप करण्यात आले. जेव्हा लेटन्सी आणि बजेट स्वतंत्रपणे मॉडेल केले गेले, तेव्हा टीम्सकडे अपेक्षित रिट्रेनिंग क्षमतेच्या केवळ अर्ध्या प्रमाणात संसाधने उरली—दीर्घ प्रशिक्षण कालावधीच्या (long training runs) छुपे खर्चामुळे इन्फरन्ससाठी (inference) राखून ठेवलेल्या संसाधनांवर परिणाम झाला. निष्कर्ष स्पष्ट आहे: कोणत्याही रिट्रेनिंग स्ट्रॅटेजीचे मूल्यमापन केवळ अचूकता वाढवण्यासाठी न करता, तिचा वेळ आणि कम्प्युट खर्च लक्षात घेऊन करा.
या निष्कर्षांचा वास्तविक जगातील वापराच्या प्रकरणांमध्ये (use cases) कसा उपयोग होतो
- फॉड डिटेक्शन (Fraud detection) – फसवणुकीचे पॅटर्न वेगाने बदलतात, परंतु अभ्यासातून असे सुचवले आहे की, हल्ल्यांच्या मागे राहू शकणाऱ्या कस्टम 'ड्रिफ्ट-डिटेक्शन' पाइपलाइन तयार करण्यापेक्षा शिस्तबद्ध 'पिरियॉडिक कॅडन्स' (उदा. दररोज रात्री) अधिक विश्वसनीय आहे.
- पर्सनलायझेशन (Personalization) – येथे प्राधान्य मॉडेल आर्किटेक्चरला आहे. इन्क्रिमेंटल-लर्निंग अल्गोरिदम (online gradient updates, streaming factorization, इ.) तैनात करा. जेव्हा मॉडेल सतत नवीन इंटरॅक्शन्स स्वीकारू शकते, तेव्हा वेळापत्रकावरून होणारी चर्चा संपते.
- फोरकास्टिंग (Forecasting) – टाइम-सीरीज फोरकास्टसाठी अनेकदा हेवीवेट मॉडेल्सची (उदा. deep LSTMs) आवश्यकता असते, जे इन्क्रिमेंटली अपडेट होऊ शकत नाहीत. अशा परिस्थितीत, बजेट प्लॅनिंगमध्ये पूर्ण ट्रेनिंग विंडोचा समावेश असणे आवश्यक आहे; अन्यथा, सिस्टम ज्या डेटाचा अंदाज लावण्याचा प्रयत्न करत आहे, त्यापेक्षा मागे पडेल.
सारांश
जर तुमचे मॉडेल इन्क्रिमेंटली शिकू शकत असेल, तर त्या क्षमतेमध्ये गुंतवणूक करा आणि डेटा प्रवाहित होऊ द्या. जर ते शकत नसेल, तर गुंतागुंतीच्या 'ड्रिफ्ट-डिटेक्शन' पाइपलाईन्स सोडून द्या आणि कम्प्युट आणि लेटन्सी खर्च आधीच लक्षात घेऊन एक नियमित, अंदाज लावता येणारा रिट्रेनिंग वेळापत्रक स्वीकारा. हजारो प्रयोगांनी पुष्टी केलेली ही सर्वात सोपी पद्धत, ओव्हर-इंजिनिअर्ड (over-engineered) सोल्यूशन्सच्या छुपे खर्चशिवाय सर्वाधिक अचूकता प्रदान करते.