Почему толпы становятся непреодолимым препятствием для компьютерного зрения
Представьте себе оживленную платформу метро в час пик. Люди стоят плотно друг к другу, задевая друг друга плечами, а между незнакомцами мечутся портфели. Для человеческого глаза это хаос, но хаос управляемый. Вы все еще можете следить за другом в толпе или заметить кого-то, машущего рукой с другого конца платформы. Для систем компьютерного зрения эта же сцена превращается в минное поле. Когда десятки людей перекрывают друг друга в одном кадре, стандартные модели обнаружения и отслеживания начинают давать сбои. Ограничивающие рамки сливаются. Личности подменяются. Люди исчезают за спинами других и больше не возвращаются с той же меткой.
Этот разрыв между чистыми лабораторными условиями и хаотичной реальностью — именно то, что призван был устранить конкурс CVPR19 Tracking and Detection Challenge. Вместо тестирования моделей на разреженных, хорошо освещенных сценах, где каждый человек стоит обособленно, конкурс поместил их в плотную среду, где высокая концентрация людей напрямую ведет к окклюзии, а окклюзия вызывает трудноисправимые ошибки в отслеживании личностей. С тех пор исследователи используют этот бенчмарк как испытательный полигон для поиска более эффективных способов управления этими ошибками, прежде чем они выйдут из-под контроля.
Что на самом деле проверяет этот конкурс
В рамках конкурса CVPR19 проблема скопления людей не рассматривалась как единая задача. Сложность была разделена на четыре ключевые области, выявляющие различные недостатки стандартных конвейеров обработки данных.
Точность обнаружения объектов в толпе. На пустой парковке детектор может легко обвести каждого пешехода четкой рамкой. В переполненном коридоре стадиона та же сеть при виде перекрывающих друг друга торсов часто либо объединяет нескольких человек в одну гигантскую ограничивающую рамку, либо вовсе пропускает частично скрытые тела. Конкурс оценивает, может ли модель локализовать человека, когда видна только голова, рука или плечо.
Стабильность многообъектного отслеживания. Отслеживать одного человека, идущего по пустой комнате, легко. Это становится невероятно сложной задачей, когда камере нужно следить за пятьюдесятью людьми, одновременно пересекающими площадь. Конкурс проверяет стабильность трекера, измеряя, остаются ли траектории связными, когда люди лавируют друг между другом. Всего один кадр замешательства может привести к тому, что трекер присвоит неверную личность или создаст дублирующую траекторию, которая будет сохраняться в течение нескольких минут.
Обработка частых окклюзий. Окклюзия в толпе — это не случайное препятствие. Она постоянна и динамична. Один пешеход перекрывает другого на три кадра, затем в образовавшуюся брешь входит третий человек, и первый снова появляется под другим углом. Статические окклюзии, такие как колонны или припаркованные машины, предсказуемы. Человеческие толпы постоянно смещаются, и конкурс делает упор на восстановление данных. Когда кто-то снова появляется из-за группы людей, узнает ли его модель или воспринимает как совершенно нового человека?
Сохранение идентичности при движении. Устойчивость идентификации зависит не только от распознавания лиц. Когда люди движутся в плотной сцене, их масштаб меняется, поза переходит из анфаса в профиль, а освещение варьируется в разных частях окружения. Конкурс проверяет, может ли система сохранять тот же идентификатор для человека, который проходит двадцать метров сквозь плотную толпу, даже если этот человек несколько раз оказывался в окклюзии и были видны лишь фрагменты его внешности.
От бенчмарка к реальному влиянию
Улучшение показателей по этим четырем направлениям — это не просто академическое упражнение. Более совершенные модели напрямую влияют на работу автономных систем и инструментов видеонаблюдения в реальных условиях.
Представьте автономный автомобиль, приближающийся к оживленному пешеходному переходу на фестивале. Пешеходы не ходят стройными рядами. Они сбиваются в кучи, толкают коляски и выходят один за другим из-за спин других. Если система отслеживания автомобиля потеряет личность пешехода в тот момент, когда тот пригнется за другим человеком, машина не сможет предсказать, где этот пешеход появится снова. Она может предположить, что угроза исчезла, или, что еще хуже, перепутать скрытого пешехода с кем-то другим и неверно рассчитать его траекторию. Стабильное отслеживание в толпе — это требование безопасности, а не роскошь.
Сети видеонаблюдения сталкиваются с аналогичной проблемой. Оператору безопасности, наблюдающему за транспортным узлом, не нужна система, способная обнаруживать людей в пустом коридоре. Ему нужна система, которая может точно вести подсчет во время эвакуации станции, когда сотни пассажиров устремляются к единственному выходу. Если окклюзия вызывает постоянную смену идентификаторов, система генерирует бесполезные данные: один и тот же человек регистрируется как пять разных лиц, или группы людей регистрируются как единые пятна. Это нарушает любой последующий анализ, будь то измерение пассажиропотока, выявление подозрительного поведения или координация экстренного реагирования.
Даже робототехника в сфере розничной торговли и складского хозяйства получает от этого выгоду. Автоматизированные транспортные средства (AGV) должны перемещаться по проходам, где сотрудники склада отбирают товар. В таких узких пространствах частичное перекрытие происходит постоянно. Робот, потерявший след работника за стеллажом, может спланировать маршрут слишком близко к нему, когда человек снова выйдет на открытое пространство. Способность сохранять привязку к идентификатору при кратковременном исчезновении обеспечивает безопасность взаимодействия человека и робота.
Техническая реальность, стоящая за результатами
Исследователи, работавшие с бенчмарком CVPR19, быстро поняли, что разделение детектирования и трекинга на отдельные этапы увеличивает частоту ошибок. Детектор, который теряет частично перекрытого человека, лишает трекер данных. Трекер, полагающийся исключительно на пространственную близость, присвоит неверный идентификатор любому видимому телу, которое первым появится из-за препятствия.
Из-за этого возникла необходимость в комплексном подходе. Команды сосредоточились на представлениях признаков (feature representations), которые сохраняются при фрагментации. Если дескриптор всего тела не срабатывает, когда ноги скрыты, модель должна больше опираться на то, что остается видимым, например, на торс или походку. Другие сделали упор на временное рассуждение (temporal reasoning), используя модели движения, чтобы предсказать, где, скорее всего, снова появится перекрытый человек, чтобы система могла возобновить трекинг без ожидания повторного обнаружения всего тела.
Задача также подчеркнула важность эвристик восстановления. В сценах с низкой плотностью трекер может безопасно предположить, что новое обнаружение рядом со старой позицией принадлежит тому же человеку. В толпе такое предположение создает эффект домино из смен идентификаторов. Более совершенные системы научились проявлять осторожность перед переназначением идентификатора, собирая несколько кадров доказательств после того, как перекрытие исчезает, прежде чем подтвердить совпадение.
Почему плотность — это проверка на честность
В компьютерном зрении нет недостатка в бенчмарках. CVPR19 Tracking and Detection Challenge запомнился тем, что он лишает возможности полагаться на комфорт пустого фона и изолированных объектов. Модель, показавшая здесь хорошие результаты, доказала, что может справляться с визуальным шумом, характерным для реальной человеческой среды. Плотность — это проверка на честность. Она выявляет хрупкие предположения о разделении объектов и постоянной видимости.
Если вы хотите узнать, как справились конкретные методы и какие архитектуры показали перспективность в таких условиях, вы можете прочитать полный разбор здесь. А если вы работаете в этой области и хотите обсудить профессиональные тонкости с другими, кто сталкивается с теми же проблемами окклюзии, присоединяйтесь к обучающему сообществу здесь. Работа по трекингу в толпе еще далека от завершения, и настоящим испытанием всегда является то, что происходит, когда сцена становится переполненной.