கூட்ட நெரிசல்கள் ஏன் கணினிப் பார்வையை (Computer Vision) முடக்குகின்றன
காலை நேர நெரிசலில் ஒரு பரபரப்பான சுரங்கப்பாதை நடைமேடையைக் கற்பனை செய்து பாருங்கள். மனிதர்கள் நெருக்கடியாகக் கூட்டமாக நிற்கிறார்கள், தோள்கள் ஒன்றோடொன்று மோதுகின்றன, மற்றும் அந்நியர்களுக்கு இடையே பிரீஃப்கேஸ்கள் (briefcases) ஆடிக்கொண்டிருக்கின்றன. மனிதக் கண்களுக்கு, இது ஒரு குழப்பமான சூழல், ஆனால் சமாளிக்கக்கூடிய குழப்பம். கூட்டத்திற்கு இடையிலும் ஒரு நண்பரை உங்களால் பின்தொடர முடியும் அல்லது நடைமேடையின் மறுபுறத்திலிருந்து யாராவது கையசைப்பதைப் பார்க்க முடியும். கணினிப் பார்வை (computer vision) அமைப்புகளுக்கு, இதே காட்சி ஒரு கண்ணிவெடிப் பாதை போன்றது. ஒரே சட்டகத்தில் (frame) டஜன் கணக்கான மக்கள் ஒன்றன் மேல் ஒன்று மறைந்து வரும்போது, நிலையான கண்டறிதல் (detection) மற்றும் கண்காணிப்பு (tracking) மாதிரிகள் சிதையத் தொடங்குகின்றன. Bounding boxes ஒன்றிணைகின்றன. அடையாளங்கள் மாறுகின்றன. மக்கள் மற்றவர்களுக்குப் பின்னால் மறைந்துவிடுகிறார்கள், மேலும் அதே அடையாளத்துடன் மீண்டும் வருவதில்லை.
ஆய்வகத்தின் தூய்மையான சூழலுக்கும் நிஜ உலகின் குழப்பமான சூழலுக்கும் இடையே உள்ள இந்த இடைவெளியைக் குறைப்பதே CVPR19 Tracking and Detection Challenge-இன் முக்கிய நோக்கமாகும். ஒவ்வொரு நபரும் தனித்தனியாக நிற்கும், வெளிச்சமான, தெளிவான இடங்களில் மாதிரிகளைச் சோதிப்பதற்குப் பதிலாக, இந்தச் சவால் அவற்றை அடர்த்தியான சூழல்களில் சோதிக்கச் செய்தது. அங்கு அதிக அடர்த்தி நேரடியாக மறைப்பிற்கு (occlusion) வழிவகுக்கிறது, மேலும் இந்த மறைப்பு அடையாளக் கண்காணிப்பில் (identity tracking) சரிசெய்ய முடியாத பிழைகளை ஏற்படுத்துகிறது. ஆராய்ச்சியாளர்கள் இந்தத் தரநிலையை (benchmark) ஒரு சோதனைத் தளமாகப் பயன்படுத்தி, பிழைகள் கட்டுப்பாட்டை மீறுவதற்கு முன்பே அவற்றைச் சமாளிப்பதற்கான சிறந்த வழிகளைக் கண்டறிந்து வருகின்றனர்.
இந்தச் சவால் உண்மையில் எதைச் சோதிக்கிறது
CVPR19 சவால் கூட்ட நெரிசலை ஒரு ஒற்றைப் பிரச்சனையாகக் கருதவில்லை. இது சவால்களை நான்கு முக்கியப் பகுதிகளாகப் பிரித்தது, அவை நிலையான வழிமுறைகளில் (pipelines) உள்ள பல்வேறு பலவீனங்களை வெளிப்படுத்துகின்றன.
கூட்டங்களில் பொருள்களைக் கண்டறியும் துல்லியம் (Object detection accuracy). ஒரு வெற்று வாகன நிறுத்துமிடத்தில், ஒரு கண்டறிவிப்பால் (detector) ஒவ்வொரு பாதசாரியையும் துல்லியமாக ஒரு பெட்டிக்குள் (box) வரைய முடியும். ஆனால், மக்கள் நிறைந்த ஒரு விளையாட்டு மைதான நடைபாதையில், அதே நெட்வொர்க், ஒன்றன் மேல் ஒன்று மறைந்து வரும் உடல்களுக்குப் பதிலாக, பலரை ஒரே பெரிய bounding box ஆக இணைக்கலாம் அல்லது பகுதியளவு மறைந்திருக்கும் உடல்களைத் தவறவிடலாம். ஒரு நபரின் தலை, கை அல்லது தோள் மட்டுமே தெரியும்போது, அந்த மாதிரியால் தனிநபர்களைத் துல்லியமாகக் கண்டறிய முடிகிறதா என்பதை இந்தச் சவால் மதிப்பீடு செய்கிறது.
பல பொருள்களைக் கண்காணிக்கும் நிலைத்தன்மை (Multi-object tracking stability). ஒரு வெற்று அறையில் ஒருவர் நகரும்போது கண்காணிப்பது எளிது. ஆனால், ஒரு கேமரா ஒரே நேரத்தில் ஒரு சதுக்கத்தில் கடந்து செல்லும் ஐம்பது பேரைத் கண்காணிக்க வேண்டியிருக்கும் போது, அது மிகவும் கடினமாகிவிடுகிறது. மக்கள் ஒருவருக்கொருவர் இடையே நகரும்போது, அவர்களின் பாதைகள் (trajectories) சீராக இருக்கிறதா என்பதை அளவிடுவதன் மூலம் இந்தச் சவால் கண்காணிப்பாளரின் நிலைத்தன்மையைச் சோதிக்கிறது. ஒரு சிறிய குழப்பமான சட்டகம் (frame), தவறான அடையாளத்தை வழங்கலாம் அல்லது பல நிமிடங்கள் நீடிக்கும் ஒரு நகல் கண்காணிப்பை (duplicate track) உருவாக்கலாம்.
அடிக்கடி ஏற்படும் மறைப்புகளைக் கையாளுதல் (Handling frequent occlusions). கூட்டத்தில் மறைப்பு (occlusion) என்பது அவ்வப்போது நடக்கும் தடையல்ல; அது தொடர்ச்சியானது மற்றும் மாறும் தன்மை கொண்டது. ஒரு பாதசாரி மற்றவரை மூன்று சட்டகங்களுக்கு மறைக்கலாம், பின்னர் மூன்றாவது நபர் அந்த இடைவெளிக்குள் நுழையலாம், அதன் பிறகு முதல் நபர் வேறு கோணத்திலிருந்து மீண்டும் தோன்றலாம். தூண்கள் அல்லது நிறுத்தப்பட்ட கார்கள் போன்ற நிலையான மறைப்புகளைக் கணிக்க முடியும். ஆனால் மனிதக் கூட்டங்கள் தொடர்ந்து நகர்ந்து கொண்டே இருக்கும், எனவே இந்தச் சவால் மீண்டும் கண்டறிதலை (recovery) வலியுறுத்துகிறது. ஒருவர் ஒரு குழுவிற்குப் பின்னால் இருந்து மீண்டும் வரும்போது, அந்த மாதிரி அவரை அடையாளம் காண்கிறதா அல்லது அவரை ஒரு புதிய நபராகக் கருதுகிறதா?
நகர்வு மூலம் அடையாளத்தைப் பராமரித்தல் (Maintaining identity through movement). அடையாளத் தொடர்ச்சி என்பது முக அங்கீகாரத்தை (face recognition) விட மேலானது. மக்கள் ஒரு அடர்த்தியான சூழலில் நகரும்போது, அவர்களின் அளவு மாறுகிறது, அவர்களின் உடல் நிலை (pose) முன்பக்கத்திலிருந்து பக்கவாட்டாக மாறுகிறது, மேலும் சூழலின் வெவ்வேறு பகுதிகளில் வெளிச்சம் மாறுபடுகிறது. ஒரு நபர் அடர்த்தியான கூட்டத்தில் இருபது மீட்டர் தூரம் நடக்கையில், அவர் பலமுறை மறைந்து, அவரது தோற்றம் துண்டு துண்டாக மட்டுமே தெரிந்தாலும், அந்த மாதிரி அவருக்கு ஒரே அடையாளத்தைத் தொடர்ந்து வழங்க முடிகிறதா என்பதை இந்தச் சவால் கேட்கிறது.
தரநிலையிலிருந்து நிஜ உலகத் தாக்கம் வரை
இந்த நான்கு அம்சங்களிலும் செயல்திறனை மேம்படுத்துவது வெறும் கல்வி சார்ந்த பயிற்சியல்ல. சிறந்த மாதிரிகள், நிஜ உலகச் சூழல்களில் தன்னாட்சி அமைப்புகள் (autonomous systems) மற்றும் கண்காணிப்பு கருவிகள் எவ்வாறு செயல்படுகின்றன என்பதை நேரடியாகப் பாதிக்கின்றன.
ஒரு திருவிழாவின் போது, பரபரப்பான பாதசாரிகள் கடக்கும் இடத்திற்கு ஒரு தன்னாட்சி வாகனம் (autonomous vehicle) வருவதைக் கருதுங்கள். பாதசாரிகள் வரிசையாக நடக்க மாட்டார்கள். அவர்கள் கூட்டமாகத் திரளுவார்கள், குழந்தைகளுக்கான வண்டிகளைத் தள்ளுவார்கள் மற்றும் ஒருவருக்கொருவர் பின்னால் இருந்து வெளியே வருவார்கள். ஒரு பாதசாரி மற்றொரு நபருக்குப் பின்னால் மறையும் தருணத்தில், வாகனத்தின் கண்காணிப்பு அமைப்பு அவரது அடையாளத்தை இழந்துவிட்டால், அந்தப் பாதசாரி எங்கே மீண்டும் தோன்றுவார் என்பதை காரால் கணிக்க முடியாது. ஆபத்து மறைந்துவிட்டதாக அது நினைக்கலாம், அல்லது மிக மோசமாக, மறைந்திருக்கும் பாதசாரியை வேறொருவருடன் குழப்பிக் கொண்டு அவரது பாதையைத் தவறாகக் கணக்கிடலாம். கூட்டங்களில் நிலையான கண்காணிப்பு என்பது ஒரு பாதுகாப்புத் தேவை, அது ஆடம்பரம் அல்ல.
கண்காணிப்பு வலைப்பின்னல்கள் (Surveillance networks) ஒரு இணையான சிக்கலை எதிர்கொள்கின்றன. ஒரு போக்குவரத்து மையத்தைக் கண்காணிக்கும் பாதுகாப்புப் பணியாளருக்கு, காலியான தாழ்வாரத்தில் உள்ள மனிதர்களைக் கண்டறியும் அமைப்பு தேவையில்லை. மாறாக, நூற்றுக்கணக்கான பயணிகள் ஒரே வெளியேறும் வழியை நோக்கிச் செல்லும் ஒரு நிலையத்தின் வெளியேற்றத்தின் போது (evacuation), துல்லியமாக எண்ணிக்கையைத் தரும் அமைப்பு அவர்களுக்குத் தேவைப்படுகிறது. ஒருவேளை மறைப்பு (occlusion) காரணமாகத் தொடர்ச்சியான அடையாள மாற்றங்கள் ஏற்பட்டால், அந்த அமைப்பு பயனற்ற தரவுகளையே உருவாக்கும்: ஒரே நபர் ஐந்து தனித்தனி நபர்களாகப் பதிவு செய்யப்படலாம், அல்லது ஒரு குழுவினர் ஒரே ஒரு தொகுப்பாகப் பதிவு செய்யப்படலாம். இது கூட்ட நெரிசலின் ஓட்டத்தை அளவிடுவதாக இருந்தாலும் சரி, சந்தேகத்திற்கடியமான நடத்தையை அடையாளம் காண்பதாக இருந்தாலும் சரி, அல்லது அவசரகால நடவடிக்கைகளை ஒருங்கிணைப்பதாக இருந்தாலும் சரி, அதன் பின்வரும் எந்தப் பகுப்பாய்வையும் சிதைத்துவிடும்.
சில்லறை விற்பனை மற்றும் கிடங்கு ரோபாட்டிக்ஸ் (robotics) துறைகளும் இதிலிருந்து பயனடைகின்றன. தானியங்கி வழிகாட்டப்பட்ட வாகனங்கள் (Automated guided vehicles), மனிதத் தொழிலாளர்கள் சரக்குகளை எடுக்கும் வரிசைகளில் செல்ல வேண்டியிருக்கும். இத்தகைய குறுகிய இடங்களில், பகுதியளவு மறைப்பு (partial occlusion) தொடர்ந்து நிகழும். ஒரு அலமாரிக்கு பின்னால் இருக்கும் தொழிலாளரைத் தொடர் கண்காணிப்பில் (tracking) இழக்கும் ஒரு ரோபோ, அந்த நபர் மீண்டும் வெளியே வரும்போது, அவர் மிக அருகில் செல்லும் வகையில் ஒரு பாதையைத் திட்டமிடக்கூடும். ஒரு சிறிய மறைவின் போதும் அடையாளத் தொடர்பைத் (identity lock) தக்கவைத்துக் கொள்ளும் திறன், மனித-ரோபோ இடையிலான தொடர்பைப் பாதுகாப்பாக வைத்திருக்கும்.
மதிப்பெண்களுக்குப் பின்னால் உள்ள தொழில்நுட்ப உண்மை
CVPR19 பெஞ்ச்மார்க்கை ஆய்வு செய்த ஆராய்ச்சியாளர்கள், கண்டறிதல் (detection) மற்றும் தொடர் கண்காணிப்பு (tracking) ஆகியவற்றைத் தனித்தனி நிலைகளாகக் கருதுவது தோல்வி விகிதங்களை அதிகரிக்கும் என்பதை விரைவாகக் கற்றுக்கொண்டனர். பகுதியளவு மறைக்கப்பட்ட ஒரு நபரைத் தவறவிடுவதால், கண்டறியும் கருவி (detector) தொடர் கண்காணிப்பு கருவிக்குத் (tracker) தேவையான தரவுகளை வழங்கத் தவறிவிடுகிறது. இடஞ்சார்ந்த நெருக்கத்தை (spatial proximity) மட்டுமே நம்பியிருக்கும் ஒரு தொடர் கண்காணிப்பு கருவி, ஒரு தடையின் பின்னால் இருந்து முதலில் வெளிப்படும் எந்த உடலுக்கும் தவறான அடையாளத்தைக் கொடுத்துவிடும்.
இதன் காரணமாக, இந்தச் சவால் ஒருங்கிணைந்த சிந்தனையை ஊக்குவித்தது. சிதறல்களையும் தாங்கி நிற்கும் அம்சப் பிரதிநிதித்துவங்களின் (feature representations) மீது குழுக்கள் கவனம் செலுத்தின. கால்கள் மறைக்கப்படும்போது முழு உடல் விவரிப்பான் (full-body descriptor) தோல்வியடைந்தால், அந்த மாதிரி (model) மார்புப் பகுதி அல்லது நடக்கும் முறை (gait pattern) போன்றத் தெரியக்கூடிய அம்சங்களை அதிகம் நம்பியிருக்க வேண்டும். மற்றவர்கள் காலவரிசை சார்ந்த பகுத்தறிவுக்கு (temporal reasoning) முக்கியத்துவம் அளித்தனர்; ஒரு மறைக்கப்பட்ட நபர் எங்கு மீண்டும் தோன்றக்கூடும் என்பதைக் கணிக்க இயக்க மாதிரிகளைப் (motion models) பயன்படுத்தினர், இதன் மூலம் முழு உடல் மறு-கண்டறிதலுக்காகக் காத்திருக்காமல் அமைப்பு தொடர் கண்காணிப்பைத் தொடர முடியும்.
இந்தச் சவால் மீட்பு வழிமுறைகளின் (recovery heuristics) முக்கியத்துவத்தையும் எடுத்துக்காட்டியது. குறைந்த அடர்த்தி கொண்ட காட்சிகளில், ஒரு பழைய இடத்திற்கு அருகில் காணப்படும் புதிய கண்டறிதல் அதே நபருடையது என்று தொடர் கண்காணிப்பு கருவி பாதுகாப்பாகக் கருதலாம். ஆனால் கூட்ட நெரிசலில், அந்த ஊகம் அடையாள மாற்றங்களின் தொடர்ச்சியான சங்கிலித் தொடரை (domino chain of swaps) உருவாக்கும். சிறந்த அமைப்புகள், ஒரு அடையாளத்தை மீண்டும் ஒதுக்குவதற்கு முன் தயங்கக் கற்றுக்கொண்டன; மறைப்பு நீங்கிய பிறகு, ஒரு பொருத்தத்தை உறுதி செய்வதற்கு முன் சில ஆதாரக் காட்சிகளை (frames of evidence) சேகரிக்கின்றன.
அடர்த்தி ஏன் ஒரு நேர்மை சோதனை?
கணினிப் பார்வையில் (Computer vision) பெஞ்ச்மார்க்குகளுக்குக் குறைவில்லை. CVPR19 தொடர் கண்காணிப்பு மற்றும் கண்டறிதல் சவாலை நினைவில் நிற்கச் செய்வது என்னவென்றால், அது காலியான பின்னணிகள் மற்றும் தனிமைப்படுத்தப்பட்ட நபர்கள் போன்ற வசதியான சூழல்களை நீக்கிவிடுகிறது. இங்கு நல்ல மதிப்பெண் பெறும் ஒரு மாதிரி, உண்மையான மனிதச் சூழல்களைத் தீர்மானிக்கும் காட்சி இரைச்சலைத் (visual noise) கையாள முடியும் என்பதை நிரூபித்துள்ளது. அடர்த்தி என்பது ஒரு நேர்மை சோதனை. இது பொருட்களின் பிரிப்பு மற்றும் தொடர்ச்சியான தெரிவுத்திறன் பற்றிய பலவீனமான ஊகங்களை வெளிச்சம் போட்டுக் காட்டுகிறது.
குறிப்பிட்ட முறைகள் எவ்வாறு செயல்பட்டன மற்றும் இத்தகைய அழுத்தத்தின் கீழ் எந்தக் கட்டமைப்புகள் (architectures) நம்பிக்கையளித்தன என்பதை நீங்கள் காண விரும்பினால், முழுமையான விளக்கத்தைப் இங்கே படிக்கலாம். மேலும், நீங்கள் இந்தத் துறையில் பணியாற்றி, இதே போன்ற மறைப்பு தொடர்பான சிக்கல்களை எதிர்கொள்பவர்களுடன் தொழில்நுட்ப ரீதியாக உரையாட விரும்பினால், கற்றல் சமூகத்தில் இங்கே இணையுங்கள். கூட்ட நெரிசலில் தொடர் கண்காணிப்பு செய்யும் பணி இன்னும் முடியவில்லை, மேலும் உண்மையான சோதனை என்பது காட்சி நெரிசலாக மாறும்போது என்ன நடக்கிறது என்பதில் தான் உள்ளது.