群衆がコンピュータビジョンを困難にする理由
朝のラッシュ時の混雑した地下鉄のホームを想像してみてください。人々が密集し、肩がぶつかり合い、ブリーフケースが知らない人の間を通り過ぎていきます。人間の目には混沌として見えますが、それは制御可能な混沌です。群衆の中から友人を見つけたり、ホームの向こう側で手を振っている人を見つけたりすることは可能です。しかし、コンピュータビジョンシステムにとって、同じ光景は地雷原となります。単一のフレーム内に数十人もの人々が重なり合うと、標準的な検出およびトラッキングモデルは崩壊し始めます。バウンディングボックスが統合され、IDが入れ替わります。人々は他人の後ろに隠れて消えてしまい、再び現れたときには元のラベル（ID）が割り当てられないといったことが起こります。
この「クリーンな実験室環境」と「乱雑な現実」との間のギャップを埋めることこそが、CVPR19のTracking and Detection Challengeが目指したものです。このチャレンジは、各人が孤立して立っているような、まばらで明るいシーンでモデルをテストするのではなく、高密度な環境へとモデルを追い込みました。高密度な環境では、密度の上昇が直接的にオクルージョン（遮蔽）を引き起こし、そのオクルージョンがIDトラッキングにおいて修正困難なエラーを誘発するからです。研究者たちはそれ以来、このベンチマークを、エラーが制御不能になる前にそれらを管理するより良い方法を見つけるための試練の場として活用してきました。
チャレンジが実際にテストしていること
CVPR19チャレンジは、混雑を単一の問題として扱いませんでした。標準的なパイプラインにおけるさまざまな弱点を露呈させるために、難易度を4つの重点領域に分解しました。
群衆における物体検出の精度。 まばらな駐車場であれば、検出器は歩行者一人ひとりにきれいなボックスを描くことができます。しかし、混雑したスタジアムの通路では、同じネットワークでも、重なり合った胴体に反応して、数人を一つの巨大なバウンディングボックスに統合してしまったり、部分的に隠れた体を完全に見逃したりすることがよくあります。このチャレンジでは、頭部、腕、あるいは肩の一部しか見えていない場合に、モデルが依然として個人を特定（ローカライズ）できるかどうかを評価します。
マルチオブジェクトトラッキング（MOT）の安定性。 空の部屋を一人で移動する場合、トラッキングは容易です。しかし、カメラが広場を横切る50人を同時に監視しなければならない場合、それは極めて困難になります。このチャレンジでは、人々が互いの間を縫うように移動する中で、軌跡（トラジェクタリ）が一貫性を保てるかを測定することで、トラッカーの安定性をテストします。わずか1フレームの混乱であっても、トラッカーが誤ったIDを継承したり、数分間続く重複したトラックを生成したりする原因となります。
頻繁なオクルージョンの処理。 群衆におけるオクルージョンは、たまに起こる障害ではありません。それは絶え間なく、かつ動的に発生します。ある歩行者が別の歩行者を3フレームの間遮り、次に3人目がその隙間に割り込み、その後、最初の一人が異なる角度から再び現れるといった状況です。柱や停車中の車のような静的なオクルージョンは予測可能です。しかし、人間の群衆は絶えず変化しており、このチャレンジでは「復帰（リカバリ）」に重点を置いています。誰かがグループの後ろから再び現れたとき、モデルは彼を同一人物として認識できるのか、それとも全く新しい人物として扱うのか、という点です。
移動中のID維持。 IDの継続性は、単なる顔認識以上のものに依存します。密集したシーンを人々が移動する際、スケールが変化し、ポーズは正面から横顔へと変わり、環境の場所によって照明も変化します。このチャレンジでは、たとえ何度もオクルージョンが発生し、外見の一部しか見えていない状態であっても、密集した群衆の中を20メートル歩いた人物に対して、システムが同じ識別子を維持できるかどうかを問います。
ベンチマークから実社会への影響へ
これら4つの側面における性能向上は、単なる学術的な演習ではありません。モデルの精度向上は、実世界の環境における自律システムや監視ツールの動作に直接影響を与えます。
お祭りの混雑した横断歩道に近づく自動運転車を考えてみましょう。歩行者は整然と列を作って歩くわけではありません。彼らは固まって歩き、ベビーカーを押し、お互いの後ろから飛び出してきます。もし車両のトラッキングシステムが、歩行者が他人の後ろに隠れた瞬間にその人物のIDを見失ってしまうと、車はその歩行者がどこに再び現れるかを予測できなくなります。脅威が消失したと誤認したり、さらに悪いことに、隠れた歩行者を別の人と混同して軌跡を誤計算したりする可能性があります。群衆における安定したトラッキングは、贅沢品ではなく、安全上の必須要件なのです。
監視ネットワークも同様の問題に直面しています。交通拠点を監視するセキュリティオペレーターが必要としているのは、誰もいない廊下にいる人を検出できるシステムではありません。彼らに必要なのは、数百人の乗客が単一の出口に向かって押し寄せる駅の避難時において、正確に人数をカウントできるシステムです。もしオクルージョン（遮蔽）によってIDの切り替わりが頻発すれば、システムは役に立たないデータを生成してしまいます。例えば、同一人物が5人の別々の個人として記録されたり、集団が単一の塊として記録されたりといった具合です。これは、群衆の流れの測定、不審な行動の特定、あるいは緊急対応の調整など、あらゆる下流の分析を台無しにします。
小売や倉庫のロボティクスも同様の恩恵を受けます。無人搬送車（AGV）は、人間の作業員が在庫のピッキングを行う通路を走行しなければなりません。こうした狭い空間では、部分的なオクルージョンが絶えず発生します。棚の陰に隠れた作業員を見失ったロボットは、その人が再び姿を現した際に、近すぎる経路を計画してしまう可能性があります。一時的な消失の間もアイデンティティを固定し続ける能力こそが、人間とロボットの安全な相互作用を維持する鍵となります。
スコアの背後にある技術的実態
CVPR19のベンチマークに挑んだ研究者たちは、検出（detection）とトラッキング（tracking）を別々の段階として扱うと、失敗率が倍増することをすぐに学びました。部分的に遮蔽された人物を見逃してしまう検出器は、トラッカーにデータを与えられなくなります。また、空間的な近接性のみに頼るトラッカーは、障害物の後ろから最初に現れた身体に対して、誤ったIDを割り当ててしまいます。
このため、この課題は統合的な思考を促しました。チームは、断片化しても維持できる特徴表現に焦点を当てました。脚が隠れたときに全身の記述子が機能しないのであれば、モデルは胴体や歩容パターンなど、残っている視覚情報により強く依存する必要があります。また、時間的な推論を重視し、運動モデルを用いて遮蔽された人物が再出現する可能性が高い場所を予測することで、全身の再検出を待たずにトラッキングを再開できるシステムを作る動きもありました。
また、この課題はリカバリ・ヒューリスティクスの重要性も浮き彫りにしました。低密度のシーンでは、トラッカーは古い位置の近くでの新しい検出が同一人物であると安全に仮定できるかもしれません。しかし、混雑したシーンでは、その仮定がIDの入れ替わりのドミノ倒しを引き起こします。より優れたシステムは、IDを再割り当てする前に一呼吸置き、オクルージョンが解消した後に数フレームの証拠を集めてから、マッチングを確定させる方法を学びました。
なぜ密度が「誠実さのテスト」なのか
コンピュータビジョンのベンチマークには事欠きません。CVPR19のトラッキング＆ディテクション・チャレンジが記憶に残っているのは、背景が空であったり被写体が孤立していたりといった「快適さ」を排除しているからです。ここで高いスコアを出すモデルは、実際の人間環境を定義づける視覚的なノイズに対処できることを証明したことになります。密度こそが、誠実さのテストなのです。それは、物体の分離や絶え間ない視認性に関する脆弱な仮定を暴き出します。
特定の手法がどのような結果を残したのか、また、このようなプレッシャーの下でどのようなアーキテクチャが有望であったのかを知りたい場合は、こちらから詳細な分析を読むことができます。また、この分野で開発を行っており、同じようなオクルージョンの問題に取り組んでいる他の技術者と技術的な話をしたい場合は、こちらの学習コミュニティ here に参加してください。群衆の中をトラッキングする技術はまだ完成には程遠く、真のテストは常に、シーンが混雑したときに何が起こるかによって決まるのです。