Tại sao đám đông gây khó khăn cho thị giác máy tính

Tại sao đám đông làm khó Thị giác máy tính

Hãy tưởng tượng một sân ga tàu điện ngầm đông đúc trong giờ cao điểm buổi sáng. Mọi người chen chúc nhau, vai chạm vai, và những chiếc cặp táp đung đưa giữa những người lạ. Với mắt người, đó là một sự hỗn loạn nhưng vẫn trong tầm kiểm soát. Bạn vẫn có thể theo dõi một người bạn qua đám đông hoặc nhận ra ai đó đang vẫy tay từ phía bên kia sân ga. Đối với các hệ thống thị giác máy tính, cảnh tượng này lại là một "bãi mìn". Khi hàng chục người chồng lấp lên nhau trong một khung hình duy nhất, các mô hình phát hiện và theo dõi tiêu chuẩn bắt đầu tan rã. Các khung bao (bounding boxes) bị gộp lại. Danh tính bị hoán đổi. Mọi người biến mất sau lưng người khác và không bao giờ quay trở lại với cùng một nhãn định danh.

Khoảng cách giữa các điều kiện phòng thí nghiệm sạch sẽ và thực tế hỗn loạn chính là điều mà Thử thách Phát hiện và Theo dõi CVPR19 hướng tới để thu hẹp. Thay vì kiểm tra các mô hình trong các cảnh thưa thớt, đủ ánh sáng, nơi mỗi người đứng tách biệt, thử thách này buộc chúng phải đối mặt với các môi trường dày đặc, nơi mật độ cao dẫn trực tiếp đến sự che khuất (occlusion), và sự che khuất gây ra những lỗi khó khắc phục trong việc theo dõi danh tính. Kể từ đó, các nhà nghiên cứu đã sử dụng điểm chuẩn (benchmark) này như một môi trường thử nghiệm để tìm ra những cách tốt hơn nhằm quản lý các lỗi này trước khi chúng vượt khỏi tầm kiểm soát.

Thử thách thực sự kiểm tra điều gì

Thử thách CVPR19 không coi đám đông là một vấn đề duy nhất. Nó chia nhỏ độ khó thành bốn lĩnh vực trọng tâm nhằm bộc lộ các điểm yếu khác nhau trong các quy trình (pipelines) tiêu chuẩn.

Độ chính xác của phát hiện đối tượng trong đám đông. Trong một bãi đậu xe thưa thớt, một bộ phát hiện có thể vẽ một khung bao sạch sẽ quanh mỗi người đi bộ. Trong một hành lang sân vận động đông đúc, cùng một mạng lưới đó thường phản ứng với các thân người chồng lấp bằng cách gộp nhiều người thành một khung bao khổng lồ hoặc bỏ lỡ hoàn toàn những cơ thể bị che khuất một phần. Thử thách đánh giá liệu một mô hình có thể định vị các cá nhân khi chỉ còn nhìn thấy đầu, cánh tay hoặc vai hay không.

Sự ổn định của theo dõi đa đối tượng. Việc theo dõi sẽ rất dễ dàng khi một người di chuyển qua một căn phòng trống. Nó trở nên cực kỳ khó khăn khi một camera phải giám sát năm mươi người cùng lúc băng qua một quảng trường. Thử thách kiểm tra sự ổn định của bộ theo dõi bằng cách đo lường xem các quỹ đạo có duy trì tính nhất quán khi mọi người len lỏi giữa nhau hay không. Một khung hình gây nhầm lẫn duy nhất có thể khiến bộ theo dõi nhận nhầm danh tính hoặc tạo ra một quỹ đạo trùng lặp kéo dài trong nhiều phút.

Xử lý các trường hợp bị che khuất thường xuyên. Sự che khuất trong đám đông không phải là một trở ngại ngẫu nhiên. Nó diễn ra liên tục và biến động. Một người đi bộ chắn tầm nhìn của người khác trong ba khung hình, sau đó người thứ ba bước vào khoảng trống đó, và người ban đầu xuất hiện trở lại từ một góc khác. Các vật cản tĩnh như cột nhà hoặc xe đang đỗ là có thể dự đoán được. Đám đông con người thay đổi liên tục, và thử thách này nhấn mạnh vào khả năng phục hồi. Khi ai đó xuất hiện trở lại từ sau một nhóm người, liệu mô hình có nhận ra họ, hay nó coi họ là một người mới hoàn toàn?

Duy trì danh tính thông qua chuyển động. Sự duy trì danh tính phụ thuộc vào nhiều thứ hơn là chỉ nhận diện khuôn mặt. Khi mọi người di chuyển qua một cảnh dày đặc, kích thước của họ thay đổi, tư thế chuyển từ chính diện sang góc nghiêng, và ánh sáng thay đổi ở các phần khác nhau của môi trường. Thử thách đặt ra câu hỏi liệu một hệ thống có thể duy trì cùng một mã định danh cho một người đi bộ hai mươi mét qua một đám đông dày đặc hay không, ngay cả khi người đó đã bị che khuất nhiều lần và chỉ còn lại những mảnh vụn về ngoại hình có thể nhìn thấy được.

Từ Điểm chuẩn đến Tác động Thực tế

Việc cải thiện hiệu suất trên bốn phương diện này không chỉ là một bài tập học thuật. Các mô hình tốt hơn sẽ ảnh hưởng trực tiếp đến cách các hệ thống tự hành và công cụ giám sát hoạt động trong môi trường thực tế.

Hãy xem xét một phương tiện tự hành đang tiến gần đến một vạch kẻ đường đông đúc tại một lễ hội. Người đi bộ không đi thành những hàng lối trật tự. Họ tụ tập lại, đẩy xe nôi và bước ra từ sau lưng nhau. Nếu hệ thống theo dõi của phương tiện mất danh tính của một người đi bộ ngay khi họ cúi xuống sau một người khác, chiếc xe sẽ không thể dự đoán được người đi bộ đó sẽ xuất hiện trở lại ở đâu. Nó có thể cho rằng mối đe dọa đã biến mất, hoặc tệ hơn, nhầm lẫn người đi bộ đang bị che khuất với một người khác và tính toán sai quỹ đạo của họ. Theo dõi ổn định trong đám đông là một yêu cầu về an toàn, không phải là một sự xa xỉ.

Mạng lưới giám sát cũng đối mặt với một vấn đề tương tự. Một nhân viên an ninh đang quan sát một trung tâm trung chuyển không cần một hệ thống có thể phát hiện người trong một hành lang trống. Họ cần một hệ thống có khả năng đếm chính xác trong quá trình sơ tán nhà ga, khi hàng trăm hành khách đổ dồn về một lối thoát duy nhất. Nếu sự che khuất gây ra việc nhầm lẫn danh tính liên tục, hệ thống sẽ tạo ra dữ liệu vô dụng: cùng một người nhưng được ghi nhận là năm cá nhân riêng biệt, hoặc các nhóm người bị ghi nhận thành một khối duy nhất. Điều đó làm hỏng mọi bước phân tích tiếp theo, cho dù bạn đang đo lường lưu lượng đám đông, nhận diện hành vi khả nghi hay điều phối ứng phó khẩn cấp.

Ngay cả robot học trong bán lẻ và kho bãi cũng được hưởng lợi. Các xe tự hành (AGV) phải di chuyển qua các lối đi nơi công nhân đang lấy hàng. Trong những không gian hẹp này, sự che khuất một phần xảy ra liên tục. Một robot mất dấu một công nhân phía sau kệ hàng có thể lập kế hoạch di chuyển quá sát khi người đó bước ra ngoài. Khả năng duy trì việc khóa danh tính (identity lock) qua những lần biến mất ngắn ngủi giúp cho sự tương tác giữa người và robot được an toàn.

Thực tế kỹ thuật đằng sau các điểm số

Các nhà nghiên cứu khi thực hiện bài kiểm tra chuẩn CVPR19 đã nhanh chóng nhận ra rằng việc coi phát hiện (detection) và theo dõi (tracking) là các giai đoạn riêng biệt sẽ làm tăng gấp bội tỷ lệ thất bại. Một bộ phát hiện bỏ lỡ một người đang bị che khuất một phần sẽ khiến bộ theo dõi bị thiếu hụt dữ liệu. Một bộ theo dõi nếu chỉ dựa vào khoảng cách không gian sẽ gán sai danh tính cho bất kỳ cơ thể nào xuất hiện đầu tiên từ phía sau vật cản.

Chính vì điều này, thử thách đã khuyến khích tư duy tích hợp. Các đội ngũ tập trung vào các biểu diễn đặc trưng (feature representations) có khả năng tồn tại qua sự phân mảnh. Nếu một mô tả toàn thân thất bại khi chân bị che khuất, mô hình cần dựa nhiều hơn vào bất kỳ phần nào còn nhìn thấy được, chẳng hạn như thân mình hoặc dáng đi. Những người khác lại nhấn mạnh vào suy luận thời gian (temporal reasoning), sử dụng các mô hình chuyển động để dự đoán nơi một người bị che khuất có khả năng xuất hiện trở lại, nhờ đó hệ thống có thể tiếp tục theo dõi mà không cần chờ đợi việc phát hiện lại toàn thân.

Thử thách cũng làm nổi bật tầm quan trọng của các quy tắc heuristic khôi phục. Trong các cảnh mật độ thấp, bộ theo dõi có thể giả định một cách an toàn rằng một phát hiện mới gần vị trí cũ thuộc về cùng một người. Trong đám đông, giả định đó tạo ra một chuỗi hoán đổi danh tính domino. Các hệ thống tốt hơn đã học cách do dự trước khi gán lại danh tính, thu thập một vài khung hình bằng chứng sau khi sự che khuất kết thúc trước khi quyết định khớp dữ liệu.

Tại sao mật độ là bài kiểm tra sự trung thực

Thị giác máy tính không thiếu các bộ tiêu chuẩn (benchmarks). Điều làm cho Thử thách Theo dõi và Phát hiện CVPR19 trở nên đáng nhớ là nó loại bỏ sự thoải mái của những bối cảnh trống trải và các đối tượng biệt lập. Một mô hình đạt điểm cao ở đây đã chứng minh được khả năng xử lý nhiễu thị giác vốn là đặc trưng của môi trường con người thực tế. Mật độ chính là bài kiểm tra sự trung thực. Nó phơi bày những giả định mong manh về việc tách biệt đối tượng và khả năng hiển thị liên tục.

Nếu bạn muốn xem các phương pháp cụ thể đã thể hiện như thế nào và những kiến trúc nào đầy triển vọng dưới áp lực này, bạn có thể đọc bản phân tích đầy đủ tại đây. Và nếu bạn đang xây dựng trong lĩnh vực này và muốn trao đổi chuyên môn với những người khác cũng đang gặp phải những vấn đề đau đầu về sự che khuất tương tự, hãy tham gia cộng đồng học tập tại đây. Công việc theo dõi qua đám đông vẫn còn lâu mới hoàn thành, và bài kiểm tra thực sự luôn là những gì xảy ra khi khung cảnh trở nên đông đúc.