Warum Menschenmengen Computer Vision scheitern lassen
Stellen Sie sich einen belebten U-Bahn-Bahnsteig während der morgendlichen Rushhour vor. Körper drängen sich zusammen, Schultern stoßen aneinander und Aktentaschen schwingen zwischen Fremden hin und her. Für das menschliche Auge ist es Chaos, aber ein beherrschbares Chaos. Man kann einem Freund durch die Menge folgen oder jemanden entdecken, der vom anderen Ende des Bahnsteigs aus winkt. Für Computer-Vision-Systeme ist dieselbe Szene ein Minenfeld. Wenn sich Dutzende von Menschen in einem einzigen Frame überschneiden, beginnen Standardmodelle für Detektion und Tracking zu versagen. Bounding Boxes verschmelzen. Identitäten werden vertauscht. Menschen verschwinden hinter anderen und kehren nie mit demselben Label zurück.
Diese Lücke zwischen sauberen Laborbedingungen und der unordentlichen Realität ist genau das, was die CVPR19 Tracking and Detection Challenge schließen wollte. Anstatt Modelle in spärlich besiedelten, gut beleuchteten Szenen zu testen, in denen jede Person isoliert steht, zwang die Challenge sie in dichte Umgebungen, in denen hohe Dichte direkt zu Okklusion führt, und Okklusion schwer zu behebende Fehler beim Identity Tracking verursacht. Forscher nutzen diesen Benchmark seither als Testgelände, um bessere Wege zu finden, diese Fehler zu bewältigen, bevor sie außer Kontrolle geraten.
Was die Challenge tatsächlich testet
Die CVPR19-Challenge behandelte Menschenmengen nicht als ein einzelnes Problem. Sie unterteilte die Schwierigkeit in vier Schwerpunktbereiche, die unterschiedliche Schwachstellen in Standard-Pipelines aufzeigen.
Objektdetektionsgenauigkeit in Menschenmengen. Auf einem leeren Parkplatz kann ein Detektor eine saubere Box um jeden Fußgänger ziehen. In einem überfüllten Stadionflur reagiert dasselbe Netzwerk auf überlappende Torsos oft entweder, indem es mehrere Personen zu einer einzigen riesigen Bounding Box verschmilzt, oder indem es die teilweise verdeckten Körper gänzlich übersieht. Die Challenge bewertet, ob ein Modell Personen noch lokalisieren kann, wenn nur noch ein Kopf, ein Arm oder eine Schulter sichtbar ist.
Stabilität des Multi-Object-Trackings. Tracking ist einfach, wenn sich eine Person durch einen leeren Raum bewegt. Es wird extrem schwierig, wenn eine Kamera fünfzig Personen gleichzeitig beim Überqueren eines Platzes überwachen muss. Die Challenge testet die Tracker-Stabilität, indem sie misst, ob Trajektorien kohärent bleiben, während Menschen sich gegenseitig durch die Menge schlängeln. Ein einziger Frame der Verwirrung kann dazu führen, dass ein Tracker die falsche Identität übernimmt oder einen Duplikat-Track erzeugt, der über Minuten hinweg bestehen bleibt.
Umgang mit häufigen Okklusionen. Okklusion in einer Menschenmenge ist kein gelegentliches Hindernis. Sie ist konstant und dynamisch. Ein Fußgänger verdeckt einen anderen für drei Frames, dann tritt eine dritte Person in die Lücke, und der ursprüngliche Fußgänger erscheint aus einem anderen Winkel wieder auf. Statische Okklusionen wie Säulen oder parkende Autos sind vorhersehbar. Menschenmengen verändern sich ständig, und die Challenge legt den Schwerpunkt auf die Wiederherstellung (Recovery). Wenn jemand hinter einer Gruppe wieder auftaucht, erkennt das Modell ihn dann wieder, oder behandelt es ihn als eine völlig neue Person?
Aufrechterhaltung der Identität während der Bewegung. Die Beständigkeit der Identität hängt von mehr als nur der Gesichtserkennung ab. Wenn sich Menschen durch eine dichte Szene bewegen, ändert sich ihre Größe, ihre Pose wechselt von frontal zu Profil und die Beleuchtung variiert in verschiedenen Teilen der Umgebung. Die Challenge stellt die Frage, ob ein System dieselbe Kennung für eine Person beibehalten kann, die zwanzig Meter durch eine dichte Menge läuft, selbst wenn diese Person mehrfach verdeckt wurde und nur Fragmente ihres Erscheinungsbildes sichtbar sind.
Vom Benchmark zu realen Auswirkungen
Die Verbesserung der Leistung in diesen vier Bereichen ist keine rein akademische Übung. Bessere Modelle beeinflussen direkt, wie autonome Systeme und Überwachungswerkzeuge in realen Umgebungen arbeiten.
Stellen Sie sich ein autonomes Fahrzeug vor, das sich einem belebten Zebrastreifen bei einem Festival nähert. Fußgänger laufen nicht in ordentlichen Reihen. Sie drängen sich zusammen, schieben Kinderwagen und treten hintereinander hervor. Wenn das Tracking-System des Fahrzeugs die Identität eines Fußgängers in dem Moment verliert, in dem er hinter einer anderen Person verschwindet, kann das Auto nicht vorhersagen, wo dieser Fußgänger wieder auftauchen wird. Es könnte annehmen, dass die Gefahr vorüber ist, oder schlimmer noch, den verdeckten Fußgänger mit jemand anderem verwechseln und dessen Trajektorie falsch berechnen. Stabiles Tracking in Menschenmengen ist eine Sicherheitsanforderung, kein Luxus.
Überwachungsnetzwerke stehen vor einem ähnlichen Problem. Ein Sicherheitsmitarbeiter, der einen Verkehrsknotenpunkt überwacht, benötigt kein System, das Menschen in einem leeren Korridor erkennen kann. Er braucht eines, das bei einer Evakuierung eines Bahnhofs präzise zählt, wenn hunderte Passagiere auf einen einzigen Ausgang zuströmen. Wenn Verdeckungen zu ständigen Identitätswechseln führen, liefert das System nutzlose Daten: Dieselbe Person wird als fünf verschiedene Personen protokolliert, oder Personengruppen werden als einzelne Blobs erfasst. Das macht jede nachgelagerte Analyse unbrauchbar, egal ob man den Personenfluss misst, verdächtiges Verhalten identifiziert oder eine Notfallreaktion koordiniert.
Sogar die Robotik im Einzelhandel und in Lagern profitiert davon. Fahrerlose Transportsysteme (AGVs) müssen durch Gänge navigieren, in denen menschliche Mitarbeiter Bestände kommissionieren. In diesen engen Räumen kommt es ständig zu teilweisen Verdeckungen. Ein Roboter, der die Spur eines Mitarbeiters hinter einem Regalsystem verliert, plant möglicherweise einen Pfad, der zu nah am Menschen vorbeiführt, wenn dieser wieder hervortritt. Die Fähigkeit, eine Identitätsbindung trotz kurzer Verschwindensphasen aufrechtzuerhalten, sorgt für eine sichere Mensch-Roboter-Interaktion.
Die technische Realität hinter den Ergebnissen
Forscher, die den CVPR19-Benchmark untersuchten, lernten schnell, dass die Behandlung von Detektion und Tracking als getrennte Phasen die Fehlerraten vervielfacht. Ein Detektor, der eine teilweise verdeckte Person übersieht, entzieht dem Tracker die Datenbasis. Ein Tracker, der sich ausschließlich auf die räumliche Nähe verlässt, wird die falsche Identität derjenigen sichtbaren Person zuweisen, die zuerst hinter einem Hindernis hervorkommt.
Aus diesem Grund förderte die Herausforderung integriertes Denken. Teams konzentrierten sich auf Merkmalsrepräsentationen, die Fragmentierung überstehen. Wenn ein Ganzkörper-Deskriptor versagt, sobald die Beine verdeckt sind, muss sich das Modell stärker auf das verlassen, was noch sichtbar ist, wie etwa den Torso oder das Gangmuster. Andere betonten das zeitliche Schließen (temporal reasoning) und nutzten Bewegungsmodelle, um vorherzusagen, wo eine verdeckte Person wahrscheinlich wieder auftauchen wird, damit das System das Tracking wieder aufnehmen kann, ohne auf eine vollständige erneute Detektion des Körpers zu warten.
Die Herausforderung verdeutlichte auch die Bedeutung von Recovery-Heuristiken. In Szenen mit geringer Dichte könnte ein Tracker sicher davon ausgehen, dass eine neue Detektion in der Nähe einer alten Position zur selben Person gehört. In Menschenmengen führt diese Annahme zu einer Domino-Kette von Vertauschungen. Bessere Systeme lernten, vor der Neuzuweisung einer Identität zu zögern, indem sie nach dem Auflösen einer Verdeckung einige Frames an Beweisen sammelten, bevor sie sich für eine Übereinstimmung entschieden.
Warum Dichte der ultimative Härtetest ist
Computer Vision mangelt es nicht an Benchmarks. Was die CVPR19 Tracking and Detection Challenge so bemerkenswert macht, ist, dass sie den Komfort leerer Hintergründe und isolierter Subjekte wegnimmt. Ein Modell, das hier gut abschneidet, hat bewiesen, dass es das visuelle Rauschen bewältigen kann, das reale menschliche Umgebungen definiert. Dichte ist der Härtetest. Sie entlarvt brüchige Annahmen über die Trennung von Objekten und ständige Sichtbarkeit.
Wenn Sie sehen möchten, wie sich bestimmte Methoden geschlagen haben und welche Architekturen unter diesem Druck vielversprechend waren, können Sie die vollständige Analyse hier lesen. Und wenn Sie in diesem Bereich tätig sind und mit anderen fachsimpeln möchten, die mit denselben Problemen durch Verdeckungen zu kämpfen haben, treten Sie der Lern-Community hier bei. Die Arbeit am Tracking durch Menschenmengen ist noch lange nicht abgeschlossen, und der wahre Test ist immer das, was passiert, wenn die Szene überfüllt wird.