എന്തുകൊണ്ടാണ് ജനക്കൂട്ടം കമ്പ്യൂട്ടർ വിഷനെ തകരാറിലാക്കുന്നത്?
രാവിലെ തിരക്കുള്ള ഒരു സബ്വേ പ്ലാറ്റ്ഫോം സങ്കൽപ്പിക്കുക. ആളുകൾ തിങ്ങിനിറയുന്നു, തോളുകൾ തമ്മിൽ ഇടിക്കുന്നു, അപരിചിതർക്കിടയിൽ ബ്രീഫ്കേസുകൾ ആടുന്നു. മനുഷ്യനേത്രങ്ങൾക്ക് ഇത് കുഴപ്പമുള്ളതാണെങ്കിലും നിയന്ത്രിക്കാവുന്ന ഒരു അവസ്ഥയാണ്. തിരക്കിനിടയിലും നിങ്ങൾക്ക് ഒരു സുഹൃത്തിനെ പിന്തുടരാനോ പ്ലാറ്റ്ഫോമിന് അപ്പുറത്ത് നിന്ന് ആംഗ്യം കാണിക്കുന്ന ഒരാളെ കണ്ടെത്താനോ സാധിക്കും. എന്നാൽ കമ്പ്യൂട്ടർ വിഷൻ സിസ്റ്റങ്ങളെ സംബന്ധിച്ചിടത്തോളം ഈ രംഗം വലിയ വെല്ലുവിളിയാണ്. ഒരു ഫ്രെയിമിൽ ഡസൻ കണക്കിന് ആളുകൾ പരസ്പരം മറഞ്ഞുനിൽക്കുമ്പോൾ, സാധാരണ ഡിറ്റക്ഷൻ, ട്രാക്കിംഗ് മോഡലുകൾ തകരാറിലാകാൻ തുടങ്ങുന്നു. ബൗണ്ടിംഗ് ബോക്സുകൾ (Bounding boxes) തമ്മിൽ ലയിക്കുന്നു. ഐഡന്റിറ്റികൾ മാറിപ്പോകുന്നു. ആളുകൾ മറ്റുള്ളവരുടെ പിന്നിൽ മറയുകയും പഴയ ലേബലോടെ തിരികെ വരാതിരിക്കുകയും ചെയ്യുന്നു.
ലാബിലെ വൃത്തിയുള്ള സാഹചര്യങ്ങളും യഥാർത്ഥ ലോകത്തെ സങ്കീർണ്ണതകളും തമ്മിലുള്ള ഈ വ്യത്യാസം പരിഹരിക്കാനാണ് CVPR19 ട്രാക്കിംഗ് ആൻഡ് ഡിറ്റക്ഷൻ ചലഞ്ച് ലക്ഷ്യമിട്ടത്. ഓരോ വ്യക്തിയും ഒറ്റപ്പെട്ട രീതിയിൽ നിൽക്കുന്ന വെളിച്ചമുള്ള സ്ഥലങ്ങളിൽ മോഡലുകളെ പരീക്ഷിക്കുന്നതിന് പകരം, ആളുകൾ തിങ്ങിനിറഞ്ഞ സാഹചര്യങ്ങളിൽ അവയെ പരീക്ഷിക്കാൻ ഈ ചലഞ്ച് നിർബന്ധിച്ചു. ഇത്തരം സാഹചര്യങ്ങളിൽ ആളുകൾ പരസ്പരം മറയുന്നത് (occlusion) ഐഡന്റിറ്റി ട്രാക്കിംഗിൽ പരിഹരിക്കാൻ പ്രയാസമുള്ള പിഴവുകൾക്ക് കാരണമാകുന്നു. ഈ പിഴവുകൾ നിയന്ത്രണാതീതമാകുന്നതിന് മുമ്പ് അവ പരിഹരിക്കാനുള്ള മികച്ച വഴികൾ കണ്ടെത്താൻ ഗവേഷകർ ഈ ബെഞ്ച്മാർക്ക് ഒരു പരീക്ഷണശാലയായി ഉപയോഗിക്കുന്നു.
ഈ ചലഞ്ച് യഥാർത്ഥത്തിൽ എന്താണ് പരിശോധിക്കുന്നത്?
ജനക്കൂട്ടത്തെ ഒരു ഒറ്റ പ്രശ്നമായല്ല CVPR19 ചലഞ്ച് പരിഗണിച്ചത്. സാധാരണ പൈപ്പ്ലൈനുകളിലെ വിവിധ പോരായ്മകൾ വെളിപ്പെടുത്തുന്ന നാല് പ്രധാന മേഖലകളായി ഇതിനെ തിരിച്ചിരിക്കുന്നു.
ജനക്കൂട്ടത്തിനിടയിലെ ഒബ്ജക്റ്റ് ഡിറ്റക്ഷൻ കൃത്യത. ആളുകൾ കുറവുള്ള ഒരു പാർക്കിംഗ് ലോട്ടിൽ, ഓരോ കാൽനടയാത്രക്കാരെയും കൃത്യമായി തിരിച്ചറിയാൻ ഒരു ഡിറ്റക്റ്ററിന് സാധിക്കും. എന്നാൽ സ്റ്റേഡിയത്തിലെ തിരക്കേറിയ ഇടനാഴിയിൽ, ആളുകൾ പരസ്പരം മറഞ്ഞുനിൽക്കുമ്പോൾ, ഒരേ നെറ്റ്വർക്ക് തന്നെ പലരെയും ചേർത്ത് ഒരു വലിയ ബൗണ്ടിംഗ് ബോക്സ് ഉണ്ടാക്കുകയോ അല്ലെങ്കിൽ ഭാഗികമായി മറഞ്ഞ ശരീരങ്ങളെ പൂർണ്ണമായും അവഗണിക്കുകയോ ചെയ്തേക്കാം. ഒരു തലയോ, കൈയോ, അല്ലെങ്കിൽ തോളോ മാത്രം കാണപ്പെടുമ്പോൾ പോലും വ്യക്തികളെ കൃത്യമായി കണ്ടെത്താൻ മോഡലിന് കഴിയുമോ എന്നാണ് ഈ ചലഞ്ച് പരിശോധിക്കുന്നത്.
മൾട്ടി-ഒബ്ജക്റ്റ് ട്രാക്കിംഗ് സ്റ്റെബിലിറ്റി. ഒരു ശൂന്യമായ മുറിയിലൂടെ ഒരാൾ നീങ്ങുമ്പോൾ ട്രാക്കിംഗ് എളുപ്പമാണ്. എന്നാൽ ഒരു പ്ലാസയിലൂടെ ഒരേസമയം അമ്പത് പേർ കടന്നുപോകുന്നത് ഒരു ക്യാമറ നിരീക്ഷിക്കേണ്ടി വരുമ്പോൾ അത് വളരെയധികം പ്രയാസകരമാകുന്നു. ആളുകൾ പരസ്പരം ഇടയിലൂടെ നീങ്ങുമ്പോൾ അവരുടെ സഞ്ചാരപാതകൾ (trajectories) കൃത്യമായി നിലനിൽക്കുന്നുണ്ടോ എന്ന് അളന്നുകൊണ്ട് ട്രാക്കറുടെ സ്ഥിരത ഈ ചലഞ്ച് പരിശോധിക്കുന്നു. ഒരു ഫ്രെയിമിലെ ചെറിയ ആശയക്കുഴപ്പം പോലും തെറ്റായ ഐഡന്റിറ്റി നൽകാനോ അല്ലെങ്കിൽ മിനിറ്റുകളോളം നീണ്ടുനിൽക്കുന്ന ഡ്യൂപ്ലിക്കേറ്റ് ട്രാക്കുകൾ ഉണ്ടാകാനോ കാരണമായേക്കാം.
ആവർത്തിച്ചുള്ള ഒക്ലൂഷനുകൾ (Occlusions) കൈകാര്യം ചെയ്യൽ. ജനക്കൂട്ടത്തിനിടയിലെ ഒക്ലൂഷൻ എന്നത് ഇടയ്ക്കിടെ സംഭവിക്കുന്ന ഒരു തടസ്സമല്ല. അത് നിരന്തരവും ചലനാത്മകവുമാണ്. ഒരു കാൽനടയാത്രക്കാരൻ മറ്റൊരാളെ മൂന്ന് ഫ്രെയിമുകളോളം മറയ്ക്കുന്നു, തുടർന്ന് മൂന്നാമതൊരാൾ ആ ഇടത്തിലേക്ക് വരുന്നു, ഒടുവിൽ ആദ്യത്തെ വ്യക്തി മറ്റൊരു കോണിലൂടെ വീണ്ടും പ്രത്യക്ഷപ്പെടുന്നു. തൂണുകളോ പാർക്ക് ചെയ്ത കാറുകളോ പോലുള്ള സ്ഥിരമായ ഒക്ലൂഷനുകൾ മുൻകൂട്ടി കാണാൻ സാധിക്കും. എന്നാൽ മനുഷ്യക്കൂട്ടം നിരന്തരം മാറിക്കൊണ്ടിരിക്കും, അതിനാൽ അത് വീണ്ടെടുക്കാനുള്ള (recovery) കഴിവിനാണ് ഈ ചലഞ്ച് പ്രാധാന്യം നൽകുന്നത്. ഒരാൾ ഒരു കൂട്ടത്തിന് പിന്നിൽ നിന്ന് വീണ്ടും പുറത്തുവരുമ്പോൾ, മോഡൽ അവരെ തിരിച്ചറിയുന്നുണ്ടോ അതോ അവരെ തികച്ചും പുതിയ ഒരാളായി കണക്കാക്കുന്നുണ്ടോ?
ചലനത്തിലൂടെ ഐഡന്റിറ്റി നിലനിർത്തൽ. ഐഡന്റിറ്റി നിലനിൽക്കുന്നത് മുഖം തിരിച്ചറിയുന്നതിനെ മാത്രം ആശ്രയിച്ചല്ല. ജനത്തിരക്കുള്ള സ്ഥലത്തിലൂടെ ആളുകൾ നീങ്ങുമ്പോൾ അവരുടെ വലിപ്പം മാറുന്നു, അവരുടെ നിൽപ്പ് (pose) മാറുന്നു, കൂടാതെ വെളിച്ചത്തിലും വ്യത്യാസങ്ങൾ വരുന്നു. പലതവണ മറയ്ക്കപ്പെട്ടാലും, ശരീരത്തിന്റെ ഭാഗങ്ങൾ മാത്രം കാണപ്പെടുമെങ്കിലും, തിരക്കുള്ള ഒരു സ്ഥലത്തിലൂടെ ഇരുപത് മീറ്റർ നടന്നുനീങ്ങുന്ന ഒരാൾക്ക് ഒരേ ഐഡന്റിറ്റി തന്നെ നൽകാൻ സിസ്റ്റത്തിന് കഴിയുമോ എന്നാണ് ഈ ചലഞ്ച് ചോദിക്കുന്നത്.
ബെഞ്ച്മാർക്കിൽ നിന്ന് യഥാർത്ഥ ലോകത്തെ സ്വാധീനം വരെ
ഈ നാല് മേഖലകളിലും പ്രകടനം മെച്ചപ്പെടുത്തുന്നത് വെറുമൊരു അക്കാദമിക് വ്യായാമമല്ല. മെച്ചപ്പെട്ട മോഡലുകൾ സ്വയം നിയന്ത്രിത സംവിധാനങ്ങളും (autonomous systems) നിരീക്ഷണ ഉപകരണങ്ങളും (surveillance tools) യഥാർത്ഥ ലോകത്ത് എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിനെ നേരിട്ട് ബാധിക്കുന്നു.
ഒരു ഉത്സവത്തിനിടെ തിരക്കേറിയ ഒരു ക്രോസ് വാക്കിന് സമീപമെത്തുന്ന ഒരു സ്വയം നിയന്ത്രിത വാഹനം സങ്കൽപ്പിക്കുക. കാൽനടയാത്രക്കാർ വരിവരിയായിട്ടല്ല നടക്കുന്നത്. അവർ കൂട്ടമായി നിൽക്കുന്നു, കുട്ടികളുടെ വണ്ടികൾ തള്ളുന്നു, മറ്റുള്ളവരുടെ പിന്നിൽ നിന്ന് പെട്ടെന്ന് പുറത്തേക്ക് വരുന്നു. ഒരാൾ മറ്റൊരാളുടെ പിന്നിൽ മറയുന്ന നിമിഷം വാഹനത്തിന്റെ ട്രാക്കിംഗ് സിസ്റ്റത്തിന് ആ വ്യക്തിയുടെ ഐഡന്റിറ്റി നഷ്ടപ്പെട്ടാൽ, ആ വ്യക്തി എവിടെ നിന്ന് വീണ്ടും പ്രത്യക്ഷപ്പെടുമെന്ന് കാറിന് പ്രവചിക്കാൻ കഴിയില്ല. അപകടസാധ്യത ഇല്ലാതായി എന്ന് കാർ തെറ്റായി കരുതുകയോ, അല്ലെങ്കിൽ മറഞ്ഞിരിക്കുന്ന വ്യക്തിയെ മറ്റൊരാളായി തെറ്റിദ്ധരിച്ച് അവരുടെ സഞ്ചാരപാത തെറ്റായി കണക്കാക്കുകയോ ചെയ്തേക്കാം. ജനക്കൂട്ടത്തിനിടയിലെ സുസ്ഥിരമായ ട്രാക്കിംഗ് എന്നത് ഒരു ആഡംബരമല്ല, മറിച്ച് സുരക്ഷാപരമായ ഒരു അനിവാര്യതയാണ്.
നിരീക്ഷണ ശൃംഖലകൾ സമാനമായ ഒരു പ്രശ്നം നേരിടുന്നുണ്ട്. ഒരു ഗതാഗത കേന്ദ്രം നിരീക്ഷിക്കുന്ന ഒരു സുരക്ഷാ ഉദ്യോഗസ്ഥന് ശൂന്യമായ ഇടനാഴിയിലെ ആളുകളെ കണ്ടെത്താൻ കഴിയുന്ന ഒരു സംവിധാനമല്ല വേണ്ടത്. നൂറുകണക്കിന് യാത്രക്കാർ ഒരൊറ്റ എക്സിറ്റിലേക്ക് ഒഴുകിയെത്തുന്ന സ്റ്റേഷൻ ഒഴിപ്പിക്കൽ സമയത്ത് കൃത്യമായി ആളുകളെ എണ്ണാൻ കഴിയുന്ന ഒരു സംവിധാനമാണ് അവർക്ക് ആവശ്യം. മറയ്ക്കപ്പെടൽ (occlusion) കാരണം നിരന്തരമായ തിരിച്ചറിയൽ മാറ്റങ്ങൾ (identity switches) ഉണ്ടായാൽ, സിസ്റ്റം ഉപയോഗശൂന്യമായ ഡാറ്റയാണ് നൽകുന്നത്: ഒരേ വ്യക്തിയെ അഞ്ച് വ്യത്യസ്ത വ്യക്തികളായി രേഖപ്പെടുത്തുകയോ, അല്ലെങ്കിൽ ആളുകളുടെ കൂട്ടത്തെ ഒറ്റ ബ്ലോബായി രേഖപ്പെടുത്തുകയോ ചെയ്യുന്നു. ഇത് ജനക്കൂട്ടത്തിന്റെ ഒഴുക്ക് അളക്കുന്നതായാലും, സംശയാസ്പദമായ പെരുമാറ്റം തിരിച്ചറിയുന്നതായാലും, അടിയന്തര പ്രതികരണങ്ങൾ ഏകോപിപ്പിക്കുന്നതായാലും, തുടർന്നുള്ള ഏത് വിശകലനത്തെയും തകിടം മറിക്കുന്നു.
റീട്ടെയിൽ, വെയർഹൗസ് റോബോട്ടിക്സ് മേഖലകൾക്കും ഇതിന്റെ ഗുണമുണ്ട്. മനുഷ്യ തൊഴിലാളികൾ സാധനങ്ങൾ എടുക്കുന്ന ഇടനാഴികളിലൂടെ ഓട്ടോമേറ്റഡ് ഗൈഡഡ് വെഹിക്കിൾസ് (Automated guided vehicles) സഞ്ചരിക്കേണ്ടതുണ്ട്. ഇടുങ്ങിയ ഇത്തരം ഇടങ്ങളിൽ ഭാഗികമായ മറയ്ക്കപ്പെടൽ നിരന്തരം സംഭവിക്കുന്നു. ഷെൽഫിന് പിന്നിലുള്ള ഒരു തൊഴിലാളിയെ ട്രാക്ക് ചെയ്യാൻ കഴിയാത്ത ഒരു റോബോട്ട്, ആ വ്യക്തി പുറത്തേക്ക് വരുമ്പോൾ വളരെ അടുത്തുകൂടി സഞ്ചരിക്കുന്ന പാത പ്ലാൻ ചെയ്തേക്കാം. ചെറിയ ഇടവേളകളിലെ മറയ്ക്കപ്പെടലിലും വ്യക്തിയെ തിരിച്ചറിയാനുള്ള (identity lock) കഴിവ് മനുഷ്യ-റോബോട്ട് ഇടപെടലുകളെ സുരക്ഷിതമാക്കുന്നു.
സ്കോറുകൾക്ക് പിന്നിലെ സാങ്കേതിക യാഥാർത്ഥ്യം
CVPR19 ബെഞ്ച്മാർക്ക് പരിശോധിച്ച ഗവേഷകർ പെട്ടെന്ന് തന്നെ മനസ്സിലാക്കി, ഡിറ്റക്ഷനും (detection) ട്രാക്കിംഗും (tracking) രണ്ട് വ്യത്യസ്ത ഘട്ടങ്ങളായി കാണുന്നത് പരാജയ നിരക്ക് വർദ്ധിപ്പിക്കുന്നു എന്ന്. ഭാഗികമായി മറയ്ക്കപ്പെട്ട ഒരാളെ ഡിറ്റക്ടർ ഒഴിവാക്കിയാൽ, അത് ട്രാക്കറിന് ആവശ്യമായ ഡാറ്റ ലഭിക്കാതെയാക്കുന്നു. സ്ഥലപരമായ സാമീപ്യത്തെ (spatial proximity) മാത്രം ആശ്രയിക്കുന്ന ഒരു ട്രാക്കർ, ഒരു തടസ്സത്തിന് പിന്നിൽ നിന്ന് ആദ്യം പുറത്തുവരുന്ന ശരീരത്തിന് തെറ്റായ തിരിച്ചറിയൽ നൽകാൻ സാധ്യതയുണ്ട്.
ഇതിനാൽ, ഈ വെല്ലുവിളി സംയോജിത ചിന്താഗതിയെ (integrated thinking) പ്രോത്സാഹിപ്പിച്ചു. വിഭജിക്കപ്പെട്ടാലും നിലനിൽക്കുന്ന ഫീച്ചർ റെപ്രസന്റേഷനുകളിൽ (feature representations) ടീമുകൾ ശ്രദ്ധ കേന്ദ്രീകരിച്ചു. കാലുകൾ മറയ്ക്കപ്പെടുമ്പോൾ ഒരു ഫുൾ-ബോഡി ഡിസ്ക്രിപ്റ്ററിന് പരാജയപ്പെടുകയാണെങ്കിൽ, മോഡൽ ശരീരത്തിന്റെ മുകൾഭാഗം (torso) അല്ലെങ്കിൽ നടത്തരീതി (gait pattern) പോലുള്ള ദൃശ്യമായ ഭാഗങ്ങളെ കൂടുതൽ ആശ്രയിക്കേണ്ടതുണ്ട്. മറ്റുള്ളവർ ടെമ്പറൽ റീസണിംഗിന് (temporal reasoning) പ്രാധാന്യം നൽകി; ഒരു മറയ്ക്കപ്പെട്ട വ്യക്തി എവിടെ വീണ്ടും പ്രത്യക്ഷപ്പെട്ടേക്കാം എന്ന് പ്രവചിക്കാൻ മോഷൻ മോഡലുകൾ ഉപയോഗിച്ചു, അങ്ങനെ ശരീരം പൂർണ്ണമായി വീണ്ടും കാണുന്നതുവരെ കാത്തുനിൽക്കാതെ സിസ്റ്റത്തിന് ട്രാക്കിംഗ് തുടരാൻ സാധിക്കുന്നു.
റിക്കവറി ഹ്യൂറിസ്റ്റിക്സിന്റെ (recovery heuristics) പ്രാധാന്യവും ഈ വെല്ലുവിളി എടുത്തുകാണിച്ചു. കുറഞ്ഞ ജനസാന്ദ്രതയുള്ള രംഗങ്ങളിൽ, പഴയ സ്ഥാനത്തിന് അടുത്തുള്ള പുതിയ ഡിറ്റക്ഷൻ അതേ വ്യക്തിയുടേതാണെന്ന് ഒരു ട്രാക്കറിന് സുരക്ഷിതമായി കരുതാം. എന്നാൽ ജനക്കൂട്ടമുള്ള ഇടങ്ങളിൽ, അത്തരം അനുമാനങ്ങൾ തെറ്റായ തിരിച്ചറിയലുകളുടെ ഒരു ശൃംഖല തന്നെ സൃഷ്ടിക്കുന്നു. മികച്ച സംവിധാനങ്ങൾ ഒരു വ്യക്തിയെ വീണ്ടും നിശ്ചയിക്കുന്നതിന് മുമ്പ് അല്പം സമയം എടുക്കാൻ പഠിച്ചു; മറയ്ക്കപ്പെടൽ മാറുന്നതിന് ശേഷം കൃത്യമായ പൊരുത്തം ഉറപ്പാക്കാൻ ഏതാനും ഫ്രെയിമുകൾ കൂടി തെളിവായി ശേഖരിക്കുന്നു.
എന്തുകൊണ്ട് ജനസാന്ദ്രത ഒരു സത്യസന്ധത പരിശോധനയായി മാറുന്നു
കമ്പ്യൂട്ടർ വിഷനിൽ (Computer vision) ബെഞ്ച്മാർക്കുകൾക്ക് കുറവില്ല. CVPR19 ട്രാക്കിംഗ് ആൻഡ് ഡിറ്റക്ഷൻ ചലഞ്ചിനെ ശ്രദ്ധേയമാക്കുന്നത്, ശൂന്യമായ പശ്ചാത്തലങ്ങളും ഒറ്റപ്പെട്ട വിഷയങ്ങളും നൽകുന്ന ആശ്വാസം ഇത് ഇല്ലാതാക്കുന്നു എന്നതാണ്. ഇവിടെ ഉയർന്ന സ്കോർ നേടുന്ന ഒരു മോഡൽ, യഥാർത്ഥ മനുഷ്യ പരിസ്ഥിതികളെ നിർവചിക്കുന്ന വിഷ്വൽ നോയിസ് (visual noise) കൈകാര്യം ചെയ്യാൻ കഴിയുമെന്ന് തെളിയിക്കുന്നു. ജനസാന്ദ്രതയാണ് സത്യസന്ധത പരിശോധിക്കുന്നത്. വസ്തുക്കളുടെ വേർതിരിവിനെക്കുറിച്ചും നിരന്തരമായ ദൃശ്യതയെക്കുറിച്ചുമുള്ള ദുർബലമായ അനുമാനങ്ങളെ ഇത് തുറന്നുകാട്ടുന്നു.
പ്രത്യേക രീതികൾ എങ്ങനെ പ്രവർത്തിച്ചു എന്നും ഇത്തരം സമ്മർദ്ദങ്ങളിൽ ഏത് ആർക്കിടെക്ചറുകളാണ് പ്രതീക്ഷ നൽകിയതെന്നും അറിയാൻ നിങ്ങൾക്ക് ഇതിന്റെ പൂർണ്ണമായ വിവരണം ഇവിടെ വായിക്കാം. നിങ്ങൾ ഈ മേഖലയിൽ പ്രവർത്തിക്കുന്ന ആളാണെങ്കിൽ, സമാനമായ മറയ്ക്കപ്പെടൽ പ്രശ്നങ്ങൾ നേരിടുന്ന മറ്റുള്ളവരുമായി ചർച്ച ചെയ്യാൻ ഈ ലേണിംഗ് കമ്മ്യൂണിറ്റിയിൽ ഇവിടെ ചേരുക. ജനക്കൂട്ടത്തിലൂടെയുള്ള ട്രാക്കിംഗ് എന്നത് ഇനിയും പൂർത്തിയാകാത്ത ഒരു പ്രക്രിയയാണ്, ജനത്തിരക്ക് കൂടുമ്പോൾ സംഭവിക്കുന്നതാണ് യഥാർത്ഥ പരീക്ഷണം.