గుంపులు కంప్యూటర్ విజన్ను ఎందుకు విఫలపరుస్తాయి
ఉదయం రద్దీ సమయంలో ఒక రద్దీగా ఉన్న సబ్వే ప్లాట్ఫారమ్ను ఊహించుకోండి. మనుషులు ఒకరికొకరు తగులుతూ, భుజాలు తగులుతూ, అపరిచితుల మధ్య బ్రీఫ్కేస్లు ఊగుతూ ఉంటాయి. మానవ కంటికి ఇది గందరగోళంగా అనిపించినా, మనం దానిని తట్టుకోగలం. మీరు గుంపులో ఉన్న మీ స్నేహితుడిని అనుసరించవచ్చు లేదా ప్లాట్ఫారమ్ అవతలి వైపు నుండి చేయి ఊపుతున్న వ్యక్తిని గుర్తించవచ్చు. కానీ కంప్యూటర్ విజన్ వ్యవస్థలకు, ఇదే దృశ్యం ఒక మైనమైడ్ (ప్రమాదకరమైన ప్రాంతం) వంటిది. ఒకే ఫ్రేమ్లో డజన్ల కొద్దీ వ్యక్తులు ఒకరిపై ఒకరు కలిసిపోయినప్పుడు, సాధారణ డిటెక్షన్ మరియు ట్రాకింగ్ మోడల్స్ విఫలమవ్వడం ప్రారంభిస్తాయి. బౌండింగ్ బాక్స్లు (Bounding boxes) కలిసిపోతాయి. గుర్తింపులు మారిపోతాయి. వ్యక్తులు ఇతరుల వెనుక మాయమై, తిరిగి వచ్చినప్పుడు పాత గుర్తింపుతో (label) కనిపించరు.
ప్రయోగశాలలోని శుభ్రమైన పరిస్థితులకు మరియు వాస్తవ ప్రపంచంలోని గందరగోళ పరిస్థితులకు మధ్య ఉన్న ఈ వ్యత్యాసాన్ని తగ్గించడమే CVPR19 ట్రాకింగ్ మరియు డిటెక్షన్ ఛాలెంజ్ యొక్క ప్రధాన ఉద్దేశ్యం. ప్రతి వ్యక్తి విడిగా ఉన్న, వెలుతురు బాగా ఉన్న ఖాళీ ప్రదేశాలలో మోడల్స్ను పరీక్షించకుండా, ఈ ఛాలెంజ్ వాటిని జనసమ్మర్థం ఉన్న వాతావరణంలో పరీక్షించింది. ఇక్కడ అధిక సాంద్రత వల్ల 'ఆక్లూజన్' (occlusion - ఒక వస్తువు మరొకటి వెనుక దాగిపోవడం) ఏర్పడుతుంది, ఇది ఐడెంటిటీ ట్రాకింగ్లో సరిదిద్దలేని లోపాలకు దారితీస్తుంది. పరిశోధకులు ఈ లోపాలు అదుపు తప్పకముందే, వాటిని నిర్వహించడానికి మెరుగైన మార్గాలను కనుగొనడానికి ఈ బెంచ్మార్క్ను ఒక పరీక్షా వేదికగా ఉపయోగిస్తున్నారు.
ఈ ఛాలెంజ్ నిజంగా దేనిని పరీక్షిస్తుంది
CVPR19 ఛాలెంజ్ గుంపులను ఒకే సమస్యగా పరిగణించలేదు. ఇది ప్రామాణిక పైప్లైన్లలోని వివిధ బలహీనతలను బయటపెట్టేలా, ఈ కష్టాన్ని నాలుగు ప్రధాన అంశాలుగా విభజించింది.
గుంపులలో ఆబ్జెక్ట్ డిటెక్షన్ ఖచ్చితత్వం. ఖాళీగా ఉన్న పార్కింగ్ స్థలంలో, డిటెక్టర్ ప్రతి పాదచారి చుట్టూ స్పష్టమైన బాక్స్ను గీయగలదు. కానీ రద్దీగా ఉన్న స్టేడియం కారిడార్లో, ఒకే నెట్వర్క్ ఒకరిపై ఒకరు కలిసిపోయిన శరీరాలను గుర్తించేటప్పుడు, లేదా તો పలువురు వ్యక్తులను కలిపి ఒకే పెద్ద బౌండింగ్ బాక్స్గా చూపిస్తుంది లేదా పాక్షికంగా కనిపించే వ్యక్తులను పూర్తిగా విస్మరిస్తుంది. కేవలం తల, చేయి లేదా భుజం మాత్రమే కనిపిస్తున్నప్పుడు కూడా మోడల్ వ్యక్తులను గుర్తించగలదా లేదా అనేది ఈ ఛాలెంజ్ అంచనా వేస్తుంది.
మల్టీ-ఆబ్జెక్ట్ ట్రాకింగ్ స్థిరత్వం. ఖాళీ గదిలో ఒక వ్యక్తి కదులుతున్నప్పుడు ట్రాకింగ్ చేయడం సులభం. కానీ ఒకేసారి ఒక ప్లాజా గుండా వెళ్తున్న యాభై మందిని కెమెరా పర్యవేక్షించాల్సి వచ్చినప్పుడు అది చాలా కష్టమవుతుంది. వ్యక్తులు ఒకరికొకరు అడ్డుగా వెళ్తున్నప్పుడు, వారి కదలికల మార్గాలు (trajectories) స్థిరంగా ఉన్నాయా లేదా అని కొలవడం ద్వారా ఈ ఛాలెంజ్ ట్రాకర్ స్థిరత్వాన్ని పరీక్షిస్తుంది. ఒక్క ఫ్రేమ్లో వచ్చే గందరగోళం వల్ల ట్రాకర్ తప్పుడు గుర్తింపును ఇవ్వవచ్చు లేదా నిమిషాల తరబడి కొనసాగే డూప్లికేట్ ట్రాక్ను సృష్టించవచ్చు.
తరచుగా జరిగే ఆక్లూజన్లను (Occlusions) నిర్వహించడం. గుంపులో ఆక్లూజన్ అనేది అప్పుడప్పుడు జరిగే అడ్డంకి కాదు. అది నిరంతరం మరియు డైనమిక్గా జరుగుతుంది. ఒక పాదచారి మరొకరిని మూడు ఫ్రేమ్ల పాటు అడ్డుకుంటాడు, ఆపై మూడవ వ్యక్తి ఆ ఖాళీలోకి వస్తాడు, అప్పుడు మొదటి వ్యక్తి వేరే కోణం నుండి మళ్ళీ కనిపిస్తాడు. స్తంభాలు లేదా పార్క్ చేసిన కార్ల వంటి స్థిరమైన ఆక్లూజన్లను ఊహించవచ్చు. కానీ మానవ గుంపులు నిరంతరం మారుతూ ఉంటాయి, కాబట్టి ఈ ఛాలెంజ్ 'రికవరీ' (తిరిగి గుర్తించడం) పై దృష్టి పెడుతుంది. ఎవరైనా గుంపు వెనుక నుండి మళ్ళీ బయటకు వచ్చినప్పుడు, మోడల్ వారిని గుర్తిస్తుందా లేదా వారిని పూర్తిగా కొత్త వ్యక్తిగా పరిగణిస్తుందా?
కదలికల ద్వారా గుర్తింపును కొనసాగించడం. గుర్తింపు కొనసాగడం అనేది కేవలం ఫేస్ రికగ్నిషన్ (ముఖ గుర్తింపు) మీద మాత్రమే ఆధారపడి ఉండదు. జనసమ్మర్థంలో ప్రజలు కదులుతున్నప్పుడు, వారి పరిమాణం (scale) మారుతుంది, వారి భంగిమ (pose) ముఖాముఖి నుండి పక్క నుండి చూసినట్లుగా మారుతుంది మరియు వాతావరణంలోని వివిధ భాగాలలో వెలుతురు మారుతూ ఉంటుంది. ఒక వ్యక్తి జనసమ్మర్థంలో ఇరవై మీటర్లు నడిచినప్పుడు, వారు పలుమార్లు ఇతరుల వెనుక దాగిపోయినప్పటికీ మరియు వారి రూపం యొక్క కొన్ని భాగాలు మాత్రమే కనిపిస్తున్నప్పటికీ, సిస్టమ్ అదే గుర్తింపును (identifier) కొనసాగించగలదా అని ఈ ఛాలెంజ్ ప్రశ్నిస్తుంది.
బెంచ్మార్క్ నుండి వాస్తవ ప్రభావం వరకు
ఈ నాలుగు అంశాలలో పనితీరును మెరుగుపరచడం అనేది కేవలం ఒక విద్యాపరమైన ప్రక్రియ మాత్రమే కాదు. మెరుగైన మోడల్స్ వాస్తవ ప్రపంచంలో స్వయంప్రతిపత్త వ్యవస్థలు (autonomous systems) మరియు నిఘా సాధనాలు (surveillance tools) ఎలా పనిచేస్తాయనే దానిపై ప్రత్యక్ష ప్రభావాన్ని చూపుతాయి.
ఒక పండుగ సమయంలో రద్దీగా ఉన్న క్రాస్ వాక్ వద్దకు వస్తున్న ఒక స్వయంప్రతిపత్త వాహనాన్ని (autonomous vehicle) ఊహించుకోండి. పాదచారులు క్రమ పద్ధతిలో వరుసలుగా నడవరు. వారు గుంపులుగా చేరుతారు, స్ట్రోలర్లను నెట్టుకుంటూ వస్తారు మరియు ఒకరి వెనుక నుండి ఒకరు బయటకు వస్తారు. ఒక పాదచారి మరొక వ్యక్తి వెనుక దాక్కున్న వెంటనే వాహనం యొక్క ట్రాకింగ్ సిస్టమ్ వారి గుర్తింపును కోల్పోతే, ఆ పాదచారి ఎక్కడ మళ్ళీ కనిపిస్తారో కారు ఊహించలేదు. ప్రమాదం తొలగిపోయిందని అది అనుకోవచ్చు, లేదా దానికి మించి, దాగి ఉన్న పాదచారిని వేరొకరితో తప్పుగా గుర్తించి, వారి కదలికల మార్గాన్ని (trajectory) తప్పుగా లెక్కించవచ్చు. గుంపులలో స్థిరమైన ట్రాకింగ్ అనేది ఒక భద్రతా అవసరం, అది విలాసం కాదు.
నిఘా నెట్వర్క్లు కూడా ఇటువంటి సమస్యను ఎదుర్కొంటున్నాయి. ఒక రవాణా కేంద్రాన్ని పర్యవేక్షిస్తున్న సెక్యూరిటీ ఆపరేటర్కు ఖాళీ కారిడార్లో మనుషులను గుర్తించగల సిస్టమ్ అవసరం లేదు. వందలాది మంది ప్రయాణికులు ఒకే ఎగ్జిట్ వైపు దూసుకువెళ్తున్నప్పుడు, స్టేషన్ ఖాళీ చేసే సమయంలో (evacuation) ఖచ్చితంగా లెక్కించగల సిస్టమ్ వారికి అవసరం. ఒకవేళ అడ్డుపడటం (occlusion) వల్ల నిరంతరం గుర్తింపులు మారిపోతుంటే (identity switches), ఆ సిస్టమ్ పనికిరాని డేటాను మాత్రమే ఇస్తుంది: ఒకే వ్యక్తిని ఐదు వేర్వేరు వ్యక్తులుగా నమోదు చేయడం, లేదా వ్యక్తుల సమూహాన్ని ఒకే పెద్ద వస్తువుగా (blob) నమోదు చేయడం వంటివి జరుగుతాయి. ఇది జనసమూహ ప్రవాహాన్ని కొలవాలన్నా, అనుమానాస్పద ప్రవర్తనను గుర్తించాలన్నా లేదా అత్యవసర స్పందనను సమన్వయం చేయాలన్నా చేసే ఏ తదుపరి విశ్లేషణనైనా (downstream analysis) దెబ్బతీస్తుంది.
రిటైల్ మరియు వేర్హౌస్ రోబోటిక్స్కు కూడా దీనివల్ల ప్రయోజనం ఉంది. మానవ కార్మికులు సరుకులను సేకరించే గల్లీలలో (aisles) ఆటోమేటెడ్ గైడెడ్ వెహికల్స్ (Automated guided vehicles) ప్రయాణించాల్సి ఉంటుంది. ఇటువంటి ఇరుకైన ప్రదేశాలలో, పాక్షికంగా అడ్డుపడటం (partial occlusion) నిరంతరం జరుగుతూనే ఉంటుంది. షెల్ఫింగ్ యూనిట్ వెనుక ఉన్న కార్మికుడిని ట్రాక్ చేయలేకపోయిన రోబోట్, ఆ వ్యక్తి తిరిగి బయటకు వచ్చినప్పుడు చాలా దగ్గరగా వెళ్లేలా మార్గాన్ని ప్లాన్ చేయవచ్చు. స్వల్పకాలికంగా కనిపించకుండా పోయినప్పటికీ, గుర్తింపును స్థిరంగా ఉంచగలిగే (identity lock) సామర్థ్యం మానవ-రోబోట్ పరస్పర చర్యను సురక్షితంగా ఉంచుతుంది.
స్కోర్ల వెనుక ఉన్న సాంకేతిక వాస్తవం
CVPR19 బెంచ్మార్క్పై పరిశోధనలు చేసిన వారు, డిటెక్షన్ (detection) మరియు ట్రాకింగ్ (tracking)లను వేర్వేరు దశలుగా పరిగణించడం వల్ల వైఫల్య రేట్లు పెరుగుతాయని త్వరగానే గ్రహించారు. పాక్షికంగా అడ్డుపడిన వ్యక్తిని గుర్తించలేకపోయిన డిటెక్టర్, ట్రాకర్కు అవసరమైన డేటాను అందించలేదు. కేవలం స్థల సామీప్యత (spatial proximity) మీద మాత్రమే ఆధారపడే ట్రాకర్, ఏదైనా అడ్డంకి వెనుక నుండి మొదట కనిపించిన శరీరానికి తప్పు గుర్తింపును ఇచ్చే అవకాశం ఉంది.
దీనివల్ల, ఈ సవాలు సమగ్రమైన ఆలోచనా విధానాన్ని (integrated thinking) ప్రోత్సహించింది. విచ్ఛిన్నమైనా (fragmentation) కూడా నిలకడగా ఉండే ఫీచర్ రిప్రజెంటేషన్స్ (feature representations) పై బృందాలు దృష్టి సారించాయి. కాళ్లు కనిపించనప్పుడు పూర్తి శరీర వర్ణన (full-body descriptor) విఫలమైతే, మోండెం లేదా నడక తీరు (gait pattern) వంటి కనిపించే అంశాలపై మోడల్ మరింత ఆధారపడాల్సి ఉంటుంది. మరికొందరు మోషన్ మోడల్స్ను ఉపయోగించి, అడ్డుపడిన వ్యక్తి ఎక్కడ మళ్ళీ కనిపించే అవకాశం ఉందో అంచనా వేసే కాలక్రమానుసార తర్కం (temporal reasoning) పై దృష్టి పెట్టారు, తద్వారా సిస్టమ్ మళ్ళీ పూర్తి శరీరాన్ని గుర్తించే వరకు వేచి ఉండకుండా ట్రాకింగ్ను కొనసాగించగలదు.
ఈ సవాలు రికవరీ హ్యూరిస్టిక్స్ (recovery heuristics) యొక్క ప్రాముఖ్యతను కూడా నొక్కి చెప్పింది. తక్కువ సాంద్రత ఉన్న దృశ్యాలలో, పాత స్థానానికి దగ్గరగా కనిపించే కొత్త గుర్తింపు పాత వ్యక్తిదే అని ట్రాకర్ సురక్షితంగా భావించవచ్చు. కానీ జనసమూహంలో, అటువంటి ఊహలు ఒకదాని తర్వాత ఒకటి గుర్తింపులు మారిపోయేలా (domino chain of swaps) చేస్తాయి. మెరుగైన సిస్టమ్లు గుర్తింపును తిరిగి కేటాయించే ముందు కాస్త వేచి ఉండటం, అడ్డుపడటం తొలగిపోయిన తర్వాత కొన్ని ఫ్రేమ్ల ఆధారాలను సేకరించి, ఆపైే ఖచ్చితమైన మ్యాచింగ్ను నిర్ణయించడం నేర్చుకున్నాయి.
సాంద్రత ఎందుకు నిజాయితీ పరీక్ష అవుతుంది
కంప్యూటర్ విజన్కు బెంచ్మార్క్ల కొరత లేదు. CVPR19 ట్రాకింగ్ మరియు డిటెక్షన్ ఛాలెంజ్ను గుర్తుండిపోయేలా చేసింది ఏమిటంటే, ఇది ఖాళీ నేపథ్యాలు మరియు విడిగా ఉన్న వ్యక్తుల సౌకర్యాన్ని తొలగించివేస్తుంది. ఇక్కడ మంచి స్కోరు సాధించిన మోడల్, వాస్తవ మానవ వాతావరణంలో ఉండే విజువల్ నాయిస్ను (visual noise) తట్టుకోగలదని నిరూపించుకున్నట్లు లెక్క. సాంద్రత అనేది నిజాయితీ పరీక్ష. ఇది వస్తువుల విభజన మరియు నిరంతర దృశ్యత గురించి ఉన్న బలహీనమైన ఊహలను బయటపెడుతుంది.
నిర్దిష్ట పద్ధతులు ఎలా పనిచేశాయి మరియు ఇటువంటి ఒత్తిడిలో ఏ ఆర్కిటెక్చర్స్ (architectures) ఆశాజనకంగా కనిపించాయో తెలుసుకోవాలనుకుంటే, మీరు పూర్తి వివరాలను ఇక్కడ చదవవచ్చు. మరియు మీరు ఈ రంగంలో పనిచేస్తూ, ఇటువంటి అడ్డుపడటం (occlusion) వల్ల కలిగే ఇబ్బందులను ఎదుర్కొంటున్న ఇతరులతో చర్చించాలనుకుంటే, ఈ లెర్నింగ్ కమ్యూనిటీలో ఇక్కడ చేరండి. జనసమూహంలో ట్రాకింగ్ చేసే పని ఇంకా పూర్తి కాలేదు, మరియు దృశ్యం రద్దీగా మారినప్పుడు ఏమి జరుగుతుందనేదే అసలైన పరీక్ష.