Sawan Dasari നടത്തിയ പുതിയ ഒരു arXiv പഠനം, 4,000 പരീക്ഷണങ്ങളെ അടിസ്ഥാനമാക്കി, മിക്ക മെഷീൻ ലേണിംഗ് വർക്ക്ലോഡുകൾക്കും സങ്കീർണ്ണമായ drift-detection പൈപ്പ്‌ലൈനുകളെക്കാൾ മികച്ചത് കൃത്യമായ ഒരു പീരിയോഡിക്-റീട്രെയിനിംഗ് (periodic-retraining) ഷെഡ്യൂൾ ആണെന്ന് കാണിക്കുന്നു—മോഡലിന് ഇൻക്രിമെന്റൽ ആയി പഠിക്കാൻ (learn incrementally) കഴിയുന്ന സാഹചര്യത്തിലല്ലാതെ.

എന്തുകൊണ്ടാണ് റീട്രെയിനിംഗ് ചോദ്യം ഇപ്പോൾ പ്രസക്തമാകുന്നത്

ഒരു മോഡൽ വിന്യസിച്ചു കഴിഞ്ഞാൽ (deployed), യഥാർത്ഥ ലോകത്തെ ഡാറ്റ അപൂർവ്വമായി മാത്രമേ മാറ്റമില്ലാതെ നിൽക്കാറുള്ളൂ. ഉപഭോക്താക്കളുടെ താൽപ്പര്യങ്ങൾ മാറുന്നു, തട്ടിപ്പ് രീതികൾ മാറുന്നു, സെൻസർ റീഡിംഗുകളിൽ വ്യതിയാനം (drift) സംഭവിക്കുന്നു. ഈ concept drift പ്രവചന ശേഷിയെ (predictive performance) വേഗത്തിൽ നശിപ്പിക്കുകയും, വരുമാനം നൽകുന്ന ഒരു സംവിധാനത്തെ ഒരു ബാധ്യതയാക്കി മാറ്റുകയും ചെയ്തേക്കാം. കമ്പനികൾ സാധാരണയായി മൂന്ന് രീതികളിൽ ഇതിനോട് പ്രതികരിക്കുന്നു: ഒരു നിശ്ചിത സമയക്രമത്തിൽ റീട്രെയിൻ ചെയ്യുക, ഒരു എറർ ത്രെഷോൾഡ് (error threshold) ലംഘിക്കപ്പെടുമ്പോൾ റീട്രെയിനിംഗ് ആരംഭിക്കുക, അല്ലെങ്കിൽ ഡാറ്റാ മാറ്റങ്ങൾ തിരിച്ചറിയുന്നതിനായി ഒരു drift-detection അൽഗോരിതം പ്രവർത്തിപ്പിക്കുക. ഓരോ രീതിയും കമ്പ്യൂട്ട്, എഞ്ചിനീയറിംഗ് പരിശ്രമം, ലേറ്റൻസി (latency) എന്നിവ ചെലവാക്കുന്നുണ്ടെങ്കിലും, ഏതാണ് യഥാർത്ഥത്തിൽ ഫലപ്രദം എന്നതിനെക്കുറിച്ച് വ്യവസായ മേഖലയിൽ വലിയൊരു ഏകോപനമില്ല.

പഠനം എന്താണ് താരതമ്യം ചെയ്തത്

വിവിധ സിന്തറ്റിക് (synthetic), യഥാർത്ഥ ഡാറ്റാസെറ്റുകളിൽ നാല് നയങ്ങളെ (policies) ഈ ഗവേഷണം വിലയിരുത്തി:

  1. No retraining – മോഡൽ അതിന്റെ യഥാർത്ഥ ട്രെയിനിംഗ് ഡാറ്റയിൽ തന്നെ എന്നെന്നേക്കുമായി പ്രവർത്തിക്കുന്നു.
  2. Periodic retraining – നിശ്ചിത സമയക്രമത്തിൽ (daily, weekly, etc.) മോഡലുകൾ പുതുക്കുന്നു.
  3. Error-threshold triggering – ഒരു പെർഫോമൻസ് മെട്രിക് (performance metric) മുൻകൂട്ടി നിശ്ചയിച്ച പരിധി കവിടുമ്പോൾ മാത്രം റീട്രെയിനിംഗ് നടക്കുന്നു.
  4. Drift-detection – ഡാറ്റയിൽ സ്റ്റാറ്റിസ്റ്റിക്കൽ മാറ്റങ്ങൾ ഉണ്ടോ എന്ന് ഒരു അൽഗോരിതം നിരീക്ഷിക്കുകയും മാറ്റം കണ്ടെത്തുമ്പോൾ റീട്രെയിനിംഗ് ആരംഭിക്കുകയും ചെയ്യുന്നു.

മോഡലുകൾക്ക് incremental learning (പുതിയ ഡാറ്റ ഉപയോഗിച്ച് തുടർച്ചയായി അപ്‌ഡേറ്റ് ചെയ്യാൻ കഴിയുന്നവ) അല്ലെങ്കിൽ അപ്‌കഴിയില്ല (പൂർണ്ണമായ ഒരു റീട്രെയിനിംഗ് ആവശ്യമാണ്) എന്നിങ്ങനെ രണ്ട് വിഭാഗങ്ങളിലായാണ് ടീം ഓരോ നയത്തെയും പരീക്ഷിച്ചത്.

ആർക്കിടെക്ചർ നയത്തേക്കാൾ പ്രാധാന്യമർഹിക്കുന്നു

ഒരു മോഡലിന് ഇൻക്രിമെന്റൽ ലേണിംഗ് പിന്തുണയുണ്ടെങ്കിൽ, റീട്രെയിനിംഗ് നയം കാര്യമായ വ്യത്യാസം ഉണ്ടാക്കുന്നില്ലെന്ന് പഠനം കണ്ടെത്തി—മോഡൽ തുടർച്ചയായി പുതിയ ഡാറ്റ ഉൾക്കൊള്ളുകയും കൃത്യത നിലനിർത്തുകയും ചെയ്യുന്നു. നേരെമറിച്ച്, സ്റ്റാറ്റിക്-ട്രെയിനിംഗ് (static-training) മോഡലുകളുടെ കാര്യത്തിൽ, നയത്തിന്റെ തിരഞ്ഞെടുപ്പ് പരീക്ഷണങ്ങളിലുടനീളം കൃത്യതയിൽ 15 മുതൽ 55 ശതമാനം വരെ വ്യത്യാസം വരുത്തി. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, മോഡലിന്റെ തത്സമയ പഠനശേഷിയാണ് (ability to learn on the fly) പ്രധാനമായിരിക്കുന്നത്; ആ ശേഷി ഇല്ലാതിരിക്കുമ്പോൾ മാത്രമാണ് ഷെഡ്യൂൾ നിർണ്ണായകമാകുന്നത്.

സ്റ്റാറ്റിക് മോഡലുകൾക്ക് ലളിതമായ രീതികൾ ബുദ്ധിപരമായ രീതികളേക്കാൾ മികച്ചതാണ്

ഇൻക്രിമെന്റൽ ആയി പഠിക്കാൻ കഴിയാത്ത മോഡലുകൾക്കായി, ഡാറ്റാ വിതരണത്തിൽ പെട്ടെന്നുണ്ടാകുന്ന മാറ്റമായാലും (sudden change) സാവധാനത്തിലുള്ള മാറ്റമായാലും (gradual evolution), പീരിയോഡിക് ഷെഡ്യൂൾ എറർ-ത്രെഷോൾഡ്, drift-detection രീതികളേക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവെച്ചു. "ബുദ്ധിപരമായ" പൈപ്പ്‌ലൈനുകൾക്ക് അധിക മോണിറ്ററിംഗ് ഇൻഫ്രാസ്ട്രക്ചറും ട്യൂണിംഗും ആവശ്യമായിരുന്നു, കൂടാതെ അവ ഉണ്ടാക്കുന്ന ലേറ്റൻസി പരിഹരിക്കാൻ ആവശ്യമായ നേരത്തെ തന്നെ ഡ്രിഫ്റ്റ് കണ്ടെത്താനും അവയ്ക്ക് പലപ്പോഴും കഴിഞ്ഞിരുന്നില്ല. പ്രവചനാതീതതയല്ല, മറിച്ച് മുൻകൂട്ടി അറിയാൻ കഴിയുന്നതായിരുന്നു (predictability) നിർണ്ണായക നേട്ടം: ടീമുകൾക്ക് വിഭവങ്ങൾ മുൻകൂട്ടി നീക്കിവെക്കാനും റിയാക്റ്റീവ് സിസ്റ്റങ്ങളിൽ (reactive systems) സ്വാഭാവികമായി ഉണ്ടാകുന്ന "കാത്തിരിപ്പ്" ഒഴിവാക്കാനും ഇതിലൂടെ സാധിച്ചു.

കമ്പ്യൂട്ട് ബജറ്റും ലേറ്റൻസിയും വേർപെടുത്താനാവാത്തതാണ്

റീട്രെയിനിംഗ് സൗജന്യമല്ല. റീട്രെയിനിംഗ് ദൈർഘ്യം മൊത്തത്തിലുള്ള കമ്പ്യൂട്ട് ബജറ്റിൽ ചെലുത്തുന്ന സ്വാധീനം പരീക്ഷണങ്ങൾ അളന്നു. ലേറ്റൻസിയും ബജറ്റും സ്വതന്ത്രമായി കണക്കാക്കിയപ്പോൾ, ടീമുകൾക്ക് പ്രതീക്ഷിച്ച റീട്രെയിനിംഗ് ശേഷിയുടെ പകുതിയോളം മാത്രമേ ലഭിച്ചുള്ളൂ—നീണ്ട ട്രെയിനിംഗ് സമയത്തിനുള്ള മറഞ്ഞിരിക്കുന്ന ചിലവ്, ഇൻഫറൻസിനായി (inference) മാറ്റിവെച്ച വിഭവങ്ങളെ ബാധിച്ചു. ഇതിന്റെ പാഠം വ്യക്തമാണ്: ഏതൊരു റീട്രെയിനിംഗ് തന്ത്രത്തെയും അതിന്റെ സമയവും കമ്പ്യൂട്ട് ചിലവും കണക്കിലെടുത്ത് വിലയിരുത്തുക, വെറുമൊരു കൃത്യത വർദ്ധിപ്പിക്കൽ എന്ന നിലയിൽ മാത്രം നോക്കരുത്.

കണ്ടെത്തലുകൾ യഥാർത്ഥ ലോകത്തെ ഉപയോഗങ്ങളിൽ എങ്ങനെ പ്രായോഗികമാക്കാം

  • Fraud detection – തട്ടിപ്പ് രീതികൾ വേഗത്തിൽ മാറുന്നു, എന്നാൽ ഒരു കസ്റ്റം drift-detection പൈപ്പ്‌ലൈൻ നിർമ്മിക്കുന്നതിനേക്കാൾ വിശ്വസനീയമായത് കൃത്യമായ ഒരു പീരിയോഡിക് ഷെഡ്യൂൾ (ഉദാഹരണത്തിന്, nightly) ആണെന്ന് പഠനം സൂചിപ്പിക്കുന്നു.
  • Personalization – ഇവിടെ മുൻഗണന മോഡൽ ആർക്കിടെക്ചറിനാണ്. ഇൻക്രിമെന്റൽ-ലേണിംഗ് അൽഗോരിതം (online gradient updates, streaming factorization മുതലായവ) ഉപയോഗിക്കുക. മോഡലിന് പുതിയ ഇടപാടുകൾ തുടർച്ചയായി ഉൾക്കൊള്ളാൻ കഴിയുമ്പോൾ, ഷെഡ്യൂളിനെക്കുറിച്ചുള്ള തർക്കം ഇല്ലാതാകുന്നു.
  • Forecasting – Time-series forecasts-ന് പലപ്പോഴും ഇൻക്രിമെന്റൽ ആയി അപ്‌ഡേറ്റ് ചെയ്യാൻ കഴിയാത്ത ഭാരമേറിയ മോഡലുകൾ (ഉദാഹരണത്തിന്, deep LSTMs) ആവശ്യമാണ്. അത്തരം സാഹചര്യങ്ങളിൽ, ബജറ്റ് പ്ലാനിംഗിൽ മുഴുവൻ ട്രെയിനിംഗ് സമയവും ഉൾപ്പെടുത്തണം; അല്ലാത്തപക്ഷം, സിസ്റ്റത്തിന് പ്രവചിക്കേണ്ട ഡാറ്റയ്ക്ക് പിന്നിലായിപ്പോകും.

ചുരുക്കത്തിൽ

നിങ്ങളുടെ മോഡലിന് ഇൻക്രിമെന്റൽ ആയി പഠിക്കാൻ കഴിയുമെങ്കിൽ, ആ ശേഷിയിൽ നിക്ഷേപിക്കുകയും ഡാറ്റ ഒഴുകാൻ അനുവദിക്കുകയും ചെയ്യുക. അതിന് കഴിയില്ലെങ്കിൽ, സങ്കീർണ്ണമായ drift-detection പൈപ്പ്‌ലൈനുകൾ ഉപേക്ഷിക്കുക, കമ്പ്യൂട്ട്, ലേറ്റൻസി ചിലവുകൾ മുൻകൂട്ടി കണക്കിലെടുത്ത് കൃത്യവും പ്രവചനാതീതമല്ലാത്തതുമായ ഒരു റീട്രെയിനിംഗ് സമയക്രമം സ്വീകരിക്കുക. ആയിരക്കണക്കിന് പരീക്ഷണങ്ങളാൽ തെളിയിക്കപ്പെട്ട ഏറ്റവും ലളിതമായ സമീപനം, അമിതമായി എഞ്ചിനീയറിംഗ് ചെയ്ത സൊല്യൂഷനുകളുടെ മറഞ്ഞിരിക്കുന്ന ചിലവില്ലാതെ ഉയർന്ന കൃത്യത നൽകുന്നു.