Video understanding asks two hard questions at once. What is in the frame, and where is it going? Computer vision system

ਵੀਡੀਓ ਅੰਡਰਸਟੈਂਡਿੰਗ (Video understanding) ਇੱਕੋ ਸਮੇਂ ਦੋ ਔਖੇ ਸਵਾਲ ਪੁੱਛਦੀ ਹੈ। ਫਰੇਮ ਵਿੱਚ ਕੀ ਹੈ, ਅਤੇ ਇਹ ਕਿੱਥੇ ਜਾ ਰਿਹਾ ਹੈ? ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਸਿਸਟਮਾਂ ਨੇ ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ ਇਹਨਾਂ ਦੇ ਜਵਾਬ ਇੱਕ ਸਮੇਂ 'ਤੇ ਇੱਕ ਦਿੱਤੇ ਹਨ। ਪਹਿਲਾਂ ਉਹ ਸੈਗਮੈਂਟ (segment) ਕਰਦੇ ਹਨ, ਪਿਕਸਲਾਂ ਵਿੱਚੋਂ ਵਸਤੂਆਂ ਨੂੰ ਵੱਖ ਕਰਦੇ ਹਨ। ਫਿਰ ਉਹ ਟ੍ਰੈਕ (track) ਕਰਦੇ ਹਨ, ਉਹਨਾਂ ਵਸਤੂਆਂ ਨੂੰ ਸਮੇਂ ਦੇ ਨਾਲ ਜੋੜਦੇ ਹਨ। ਇਹ ਵੰਡ ਰਗੜ (friction) ਪੈਦਾ ਕਰਦੀ ਹੈ। ਪਹਿਲੇ ਪੜਾਅ ਦੀਆਂ ਗਲਤੀਆਂ ਦੂਜੇ ਪੜਾਅ ਵਿੱਚ ਫੈਲ ਜਾਂਦੀਆਂ ਹਨ। ਸੀਮਾਵਾਂ (Boundaries) ਬਦਲ ਜਾਂਦੀਆਂ ਹਨ। ਪਛਾਣਾਂ (Identities) ਬਦਲ ਜਾਂਦੀਆਂ ਹਨ। ਜਦੋਂ ਲੋਕ ਜਾਂ ਵਾਹਨ ਇੱਕ ਦੂਜੇ ਦੇ ਉੱਪਰ ਆਉਂਦੇ ਹਨ (overlap), ਤਾਂ ਪੂਰੀ ਪਾਈਪਲਾਈਨ ਰੁਕ ਜਾਂਦੀ ਹੈ।

ਮਲਟੀ-ਕੱਟ ਫਾਰਮੂਲੇਸ਼ਨਾਂ (multi-cut formulations) 'ਤੇ ਹਾਲੀਆ ਕੰਮ ਇੱਕ ਵੱਖਰਾ ਰਸਤਾ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਦੋ ਮਾਡਲਾਂ ਨੂੰ ਲੜੀਵਾਰ ਜੋੜਨ ਦੀ ਬਜਾਏ, ਇਹ ਸੈਗਮੈਂਟੇਸ਼ਨ ਅਤੇ ਟ੍ਰੈਕਿੰਗ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ (optimization) ਸਮੱਸਿਆ ਵਜੋਂ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਇਸ ਦਾ ਨਤੀਜਾ ਵਧੇਰੇ ਸਹੀ ਸੀਮਾਵਾਂ, ਘੱਟ ਪਛਾਣ ਬਦਲਣ (identity switches), ਅਤੇ ਇੱਕ ਅਜਿਹੀ ਪਾਈਪਲਾਈਨ ਹੈ ਜੋ ਭੀੜ ਵਾਲੇ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਵੀ ਟਿਕੀ ਰਹਿੰਦੀ ਹੈ।

ਪਾਈਪਲਾਈਨਾਂ ਨਾਲ ਸਬੰਧਤ ਸਮੱਸਿਆ

ਜ਼ਿਆਦਾਤਰ ਪ੍ਰੋਡਕਸ਼ਨ ਸਿਸਟਮ ਪਹਿਲਾਂ ਡਿਟੈਕਸ਼ਨ (detection) ਜਾਂ ਸੈਗਮੈਂਟੇਸ਼ਨ ਕਰਦੇ ਹਨ, ਫਿਰ ਆਉਟਪੁੱਟ ਨੂੰ ਟ੍ਰੈਕਿੰਗ ਮੋਡੀਊਲ ਨੂੰ ਸੌਂਪ ਦਿੰਦੇ ਹਨ। ਇਹ ਹੈਂਡਆਫ (handoff) ਹੀ ਉਹ ਜਗ੍ਹਾ ਹੈ ਜਿੱਥੇ ਚੀਜ਼ਾਂ ਗਲਤ ਹੋ ਜਾਂਦੀਆਂ ਹਨ। ਸਥਿਰ ਤਸਵੀਰਾਂ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਕੀਤਾ ਗਿਆ ਇੱਕ ਸੈਗਮੈਂਟੇਸ਼ਨ ਮਾਡਲ ਅਜਿਹਾ ਮਾਸਕ (mask) ਬਣਾ ਸਕਦਾ ਹੈ ਜੋ ਦਸਵੇਂ ਫਰੇਮ ਵਿੱਚ ਥੋੜ੍ਹਾ ਜ਼ਿਆਦਾ ਵੱਡਾ ਅਤੇ ਗਿਆਰਵੇਂ ਫਰੇਮ ਵਿੱਚ ਥੋੜ੍ਹਾ ਛੋਟਾ ਹੋਵੇ। ਇੱਕ ਟ੍ਰੈਕਰ ਜੋ ਸਿਰਫ਼ ਬਾਕਸ ਕੇਂਦਰਾਂ ਜਾਂ ਐਮਬੈਡਿੰਗ ਦੂਰੀਆਂ (embedding distances) ਨੂੰ ਦੇਖਦਾ ਹੈ, ਉਸ ਨੂੰ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਕਿ ਕੀ ਉਹ ਦੋਵੇਂ ਮਾਸਕ ਇੱਕੋ ਵਸਤੂ ਦੇ ਹਨ। ਉਸ ਕੋਲ ਸੈਗਮੈਂਟਰ ਨੂੰ ਇਹ ਦੱਸਣ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਹੈ ਕਿ ਸੀਮਾ ਗਲਤ ਲੱਗ ਰਹੀ ਹੈ। ਇਹ ਦੋਵੇਂ ਸਿਸਟਮ ਆਪਸ ਵਿੱਚ ਗੱਲ ਨਹੀਂ ਕਰਦੇ।

ਜਦੋਂ ਵਸਤੂਆਂ ਆਪਸ ਵਿੱਚ ਅੰਤਰ-ਕਿਰਿਆ (interact) ਕਰਦੀਆਂ ਹਨ, ਤਾਂ ਇਹ ਵੱਖਰੇਪਣ ਮਹਿੰਗਾ ਪੈ ਸਕਦਾ ਹੈ। ਇੱਕ ਸੜਕ ਦੇ ਰੇਲਵੇ ਕਰਾਸਿੰਗ ਬਾਰੇ ਸੋਚੋ ਜਿੱਥੇ ਪੈਦਲ ਯਾਤਰੀ ਇੱਕ ਦੂਜੇ ਦੇ ਵਿਚਕਾਰੋਂ ਲੰਘ ਰਹੇ ਹਨ, ਜਾਂ ਇੱਕ ਰੋਬੋਟਿਕ ਬਾਹ (robot arm) ਕਿਸੇ ਖਾਸ ਹਿੱਸੇ ਨੂੰ ਫੜਨ ਲਈ ਡੱਬਿਆਂ ਦੇ ਢੇਰ ਦੇ ਪਾਰ ਜਾ ਰਹੀ ਹੈ। ਇਹਨਾਂ ਪਲਾਂ ਵਿੱਚ, ਰਵਾਇਤੀ ਟ੍ਰੈਕਰ ਪਛਾਣ ਬਣਾਈ ਰੱਖਣ ਲਈ ਮੋਸ਼ਨ ਮਾਡਲਾਂ ਜਾਂ ਦਿੱਖ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ (appearance features) 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ। ਜਦੋਂ ਓਕਲੂਜ਼ਨ (occlusion - ਕਿਸੇ ਚੀਜ਼ ਦਾ ਦੂਜੀ ਚੀਜ਼ ਦੇ ਪਿੱਛੇ ਛਿਪ ਜਾਣਾ) ਕੁਝ ਫਰੇਮਾਂ ਤੋਂ ਵੱਧ ਸਮੇਂ ਤੱਕ ਰਹਿੰਦੀ ਹੈ, ਤਾਂ ਉਹ ਸੰਕੇਤ ਖਤਮ ਹੋ ਜਾਂਦੇ ਹਨ। ਟ੍ਰੈਕਰ ਜਾਂ ਤਾਂ ਉਸੇ ਵਸਤੂ ਲਈ ਇੱਕ ਨਵੀਂ ਪਛਾਣ ਬਣਾ ਲੈਂਦਾ ਹੈ ਜਾਂ ਕਿਸੇ ਦੂਜੀ ਵਸਤੂ 'ਤੇ ਉਹ ਪਛਾਣ ਲਗਾ ਦਿੰਦਾ ਹੈ। ਇਸ ਦੌਰਾਨ, ਸੈਗਮੈਂਟਰ ਮਾਸਕ ਬਣਾਉਂਦਾ ਰਹਿੰਦਾ ਹੈ, ਇਸ ਗੱਲ ਤੋਂ ਬੇਖਬਰ ਕਿ ਲੇਬਲ ਬਦਲ ਗਏ ਹਨ। ਉਸ ਡਰਿਫਟ (drift) ਨੂੰ ਸਾਫ਼ ਕਰਨ ਦਾ ਮਤਲਬ ਹੈ ਭਾਰੀ ਪੋਸਟ-ਪ੍ਰੋਸੈਸਿੰਗ ਜਾਂ ਮੈਨੂਅਲ ਐਨੋਟੇਸ਼ਨ, ਜੋ ਕਿ ਆਟੋਮੇਸ਼ਨ ਦੇ ਉਦੇਸ਼ ਨੂੰ ਹੀ ਖਤਮ ਕਰ ਦਿੰਦਾ ਹੈ।

ਰਵਾਇਤੀ ਮਾਡਲ ਅਕਸਰ ਉਦੋਂ ਹੀ ਟ੍ਰੈਕ ਗੁਆ ਲੈਂਦੇ ਹਨ ਜਦੋਂ ਵਸਤੂਆਂ ਇੱਕ ਦੂਜੇ ਦੇ ਉੱਪਰ ਆਉਂਦੀਆਂ ਹਨ। ਇਹ ਗਲਤੀਆਂ ਬੇਤਰਤੀਬੇ ਨਹੀਂ ਹਨ; ਇਹ ਸੰਰਚਨਾਤਮਕ (structural) ਹਨ। ਇੱਕ ਪਾਈਪਲਾਈਨ ਜੋ ਸਮੇਂ ਨੂੰ ਇੱਕ ਸੈਕੰਡਰੀ ਚੀਜ਼ ਵਜੋਂ ਮੰਨਦੀ ਹੈ, ਉਹ ਨਿਰੰਤਰਤਾ (continuity) ਨਾਲ ਸੰਘਰਸ਼ ਕਰਨ ਲਈ ਮਜਬੂਰ ਹੈ।

ਮਲਟੀ-ਕੱਟ ਕੀ ਪੇਸ਼ ਕਰਦਾ ਹੈ

ਇੱਕ ਮਲਟੀ-ਕੱਟ ਫਾਰਮੂਲੇਸ਼ਨ ਸੈਗਮੈਂਟੇਸ਼ਨ ਅਤੇ ਟ੍ਰੈਕਿੰਗ ਦੇ ਵਿਚਕਾਰਲੀ ਕੰਧ ਨੂੰ ਖਤਮ ਕਰ ਦਿੰਦੀ ਹੈ। ਅਣਸੰਬੰਧਿਤ ਮਾਸਕਾਂ ਦੀ ਇੱਕ ਲੜੀ ਬਣਾਉਣ ਅਤੇ ਫਿਰ ਬਾਅਦ ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਆਪਸ ਵਿੱਚ ਜੋੜਨ ਦੀ ਬਜਾਏ, ਇਹ ਵਿਧੀ ਇੱਕ ਅਜਿਹਾ ਗ੍ਰਾਫ (graph) ਬਣਾਉਂਦੀ ਹੈ ਜੋ ਸਪੇਸ ਅਤੇ ਸਮੇਂ ਦੋਵਾਂ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ। ਹਰ ਫਰੇਮ ਵਿੱਚ ਹਰ ਸੰਭਾਵੀ ਵਸਤੂ ਖੇਤਰ ਇੱਕ ਨੋਡ (node) ਬਣ ਜਾਂਦਾ ਹੈ। ਐਜਿਸ (Edges) ਉਹਨਾਂ ਖੇਤਰਾਂ ਨੂੰ ਜੋੜਦੀਆਂ ਹਨ ਜੋ ਇੱਕੋ ਵਸਤੂ ਦੇ ਹੋ ਸਕਦੇ ਹਨ, ਇੱਕ ਸਿੰਗਲ ਫਰੇਮ ਦੇ ਅੰਦਰ ਅਤੇ ਲਗਾਤਾਰ ਫਰੇਮਾਂ ਵਿੱਚ। ਫਿਰ ਐਲਗੋਰਿਦਮ ਉਹਨਾਂ ਐਜਿਸ ਨੂੰ ਕੱਟਣ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਲੱਭਦਾ ਹੈ ਤਾਂ ਜੋ ਬਾਕੀ ਬਚੇ ਹੋਏ ਕਨੈਕਟਡ ਕੰਪੋਨੈਂਟਸ ਵੀਡੀਓ ਵਿੱਚ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਚੱਲਦੀਆਂ ਹੋਈਆਂ ਇਕਸਾਰ ਵਸਤੂਆਂ ਬਣਾ ਸਕਣ।

ਕਿਉਂਕਿ ਫੈਸਲਾ ਗਲੋਬਲ (global) ਹੁੰਦਾ ਹੈ, ਇਸ ਲਈ ਪੰਦਰਵੇਂ ਫਰੇਮ ਵਿੱਚ ਸੀਮਾ ਸੁਧਾਰ (boundary correction) ਪੰਜਵੇਂ ਫਰੇਮ ਦੇ ਸਬੂਤਾਂ ਦੁਆਰਾ ਪ੍ਰਭਾਵਿਤ ਹੋ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਦੋ ਲੋਕ ਇੱਕ ਦੂਜੇ ਦੇ ਰਸਤੇ ਵਿੱਚ ਆਉਂਦੇ ਹਨ, ਤਾਂ ਫਾਰਮੂਲੇਸ਼ਨ ਨੂੰ ਸਿਰਫ਼ ਵੇਗ (velocity) ਦੇ ਅਧਾਰ 'ਤੇ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਦੀ ਲੋੜ ਨਹੀਂ ਪੈਂਦੀ। ਇਹ ਦਿੱਖ, ਸ਼ਕਲ, ਗਤੀ ਅਤੇ ਸੀਮਾ ਇਕਸਾਰਤਾ (boundary coherence) ਸਭ ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਤੋਲਦਾ ਹੈ। ਮਾਸਕ ਦੀ ਗੁਣਵੱਤਾ ਅਤੇ ਟ੍ਰੈਕ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਇੱਕੋ ਉਦੇਸ਼ ਦੇ ਅਧੀਨ ਆਪਟੀਮ

ਭੀੜ ਵਾਲੇ ਦ੍ਰਿਸ਼। ਜਦੋਂ ਲੋਕ ਇਕੱਠੇ ਹੋ ਜਾਂਦੇ ਹਨ ਤਾਂ surveillance ਅਤੇ ਭੀੜ ਦੀ ਗਿਣਤੀ (crowd-counting) ਕਰਨ ਵਾਲੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਸ਼ੁੱਧਤਾ ਘਟ ਜਾਂਦੀ ਹੈ। ਵੱਖਰੇ trackers ਅਕਸਰ ਪਛਾਣਾਂ ਨੂੰ ਮਿਲਾ ਦਿੰਦੇ ਹਨ ਜਾਂ ਸਰੀਰਾਂ ਦੇ ਵਿਚਕਾਰਲੇ ਖਾਲੀ ਸਥਾਨਾਂ ਵਿੱਚ ਕਲਪਨਾਤਮਕ (phantom) ਵਸਤੂਆਂ ਬਣਾ ਦਿੰਦੇ ਹਨ। ਵਿਜ਼ੂਅਲ ਸਬੂਤਾਂ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ tracking logic ਨਾਲ ਜੋੜ ਕੇ, multi-cut approach ਭੀੜ ਵਾਲੇ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਵਸਤੂ ਦੀ ਪਛਾਣ ਨੂੰ ਬਿਹਤਰ ਤਰੀਕੇ ਨਾਲ ਬਣਾਈ ਰੱਖਦੀ ਹੈ। ਭਾਵੇਂ ਉਨ੍ਹਾਂ ਦੇ bounding boxes ਲਗਭਗ ਪੂਰੀ ਤਰ੍ਹਾਂ ਇੱਕ ਦੂਜੇ ਦੇ ਉੱਪਰ ਚੜ੍ਹ ਜਾਂਦੇ ਹਨ, ਫਿਰ ਵੀ ਵਿਅਕਤੀ ਵੱਖਰੇ ਰਹਿੰਦੇ ਹਨ।

ਸੀਮਾ ਦੀ ਅਖੰਡਤਾ। ਰੋਬੋਟਿਕਸ ਵਿੱਚ, ਇੱਕ pick-and-place ਸਿਸਟਮ ਨੂੰ ਗ੍ਰਾਸਪ (grasp) ਦੀ ਯੋਜਨਾ ਬਣਾਉਣ ਲਈ ਵਸਤੂਆਂ ਦੇ ਸਹੀ ਕੰਟੋਰਾਂ (contours) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।