ทำไมฝูงชนถึงทำให้ Computer Vision ทำงานผิดพลาด
ลองนึกภาพชานชาลาสถานีรถไฟใต้ดินที่พลุกพล่านในช่วงชั่วโมงเร่งด่วนตอนเช้า ผู้คนเบียดเสียดกัน ไหล่ชนกัน และกระเป๋าเอกสารแกว่งไปมาท่ามกลางคนแปลกหน้า สำหรับดวงตามนุษย์ มันคือความวุ่นวายที่ยังพอควบคุมได้ คุณยังสามารถมองตามเพื่อนผ่านฝูงชน หรือสังเกตเห็นใครบางคนกำลังโบกมือให้จากอีกฝั่งของชานชาลาได้ แต่สำหรับระบบ Computer Vision ฉากเดียวกันนี้กลับเป็นเหมือนสนามทุ่นระเบิด เมื่อผู้คนหลายสิบคนซ้อนทับกันในเฟรมเดียว โมเดลการตรวจจับ (detection) และการติดตาม (tracking) มาตรฐานจะเริ่มทำงานผิดพลาด กล่อง bounding boxes เกิดการรวมกัน ตัวตน (identities) เกิดการสลับกัน ผู้คนหายไปข้างหลังคนอื่นและไม่กลับมาพร้อมกับป้ายกำกับ (label) เดิม
ช่องว่างระหว่างสภาวะในห้องแล็บที่สะอาดสะอ้านกับความเป็นจริงที่วุ่นวาย คือสิ่งที่ CVPR19 Tracking and Detection Challenge ตั้งใจจะเข้ามาเติมเต็ม แทนที่จะทดสอบโมเดลในฉากที่มีคนเบาบางและมีแสงสว่างเพียงพอซึ่งแต่ละคนยืนแยกกันอย่างชัดเจน ความท้าทายนี้กลับบังคับให้โมเดลต้องเผชิญกับสภาพแวดล้อมที่มีความหนาแน่นสูง ซึ่งความหนาแน่นนี้จะนำไปสู่การบดบัง (occlusion) โดยตรง และการบดบังจะทำให้เกิดข้อผิดพลาดในการติดตามตัวตน (identity tracking) ที่แก้ไขได้ยาก ตั้งแต่นั้นมา นักวิจัยได้ใช้เกณฑ์มาตรฐาน (benchmark) นี้เป็นสนามทดสอบเพื่อหาวิธีที่ดีกว่าในการจัดการกับข้อผิดพลาดเหล่านี้ก่อนที่มันจะบานปลายจนควบคุมไม่ได้
สิ่งที่การทดสอบนี้ตรวจสอบจริงๆ
การทดสอบ CVPR19 ไม่ได้มองว่าความแออัดเป็นปัญหาเพียงอย่างเดียว แต่ได้แบ่งความยากออกเป็นสี่ด้านหลักที่เผยให้เห็นจุดอ่อนที่แตกต่างกันในกระบวนการทำงาน (pipelines) มาตรฐาน
ความแม่นยำในการตรวจจับวัตถุในฝูงชน. ในลานจอดรถที่มีคนน้อย ตัวตรวจจับ (detector) สามารถวาดกล่องล้อมรอบคนเดินเท้าแต่ละคนได้อย่างชัดเจน แต่ในโถงทางเดินสนามกีฬาที่อัดแน่น เครือข่ายเดียวกันนี้มักจะตอบสนองต่อลำตัวที่ซ้อนทับกันด้วยการรวมคนหลายคนเข้าเป็นกล่อง bounding box ขนาดใหญ่เพียงกล่องเดียว หรือไม่ก็มองไม่เห็นร่างกายที่ถูกบังอยู่บางส่วนเลย การทดสอบนี้จะประเมินว่าโมเดลยังสามารถระบุตำแหน่ง (localize) ของแต่ละบุคคลได้หรือไม่ เมื่อเหลือให้เห็นเพียงแค่ศีรษะ แขน หรือไหล่เท่านั้น
ความเสถียรของการติดตามวัตถุหลายชิ้น (Multi-object tracking). การติดตามนั้นเป็นเรื่องง่ายเมื่อมีคนเพียงคนเดียวเคลื่อนที่ผ่านห้องว่าง แต่มันจะกลายเป็นเรื่องยากลำบากอย่างยิ่งเมื่อกล้องต้องเฝ้าดูคนห้าสิบคนที่กำลังเดินข้ามลานกว้างพร้อมๆ กัน การทดสอบนี้จะวัดความเสถียรของตัวติดตาม (tracker) โดยดูว่าเส้นทางการเคลื่อนที่ (trajectories) ยังคงมีความต่อเนื่องหรือไม่ในขณะที่ผู้คนเดินสลับไปมากัน ความสับสนเพียงเฟรมเดียวอาจทำให้ตัวติดตามรับตัวตนที่ผิดพลาดไป หรือสร้างเส้นทางการติดตามที่ซ้ำซ้อนซึ่งค้างอยู่เป็นเวลาหลายนาที
การจัดการกับการบดบังที่เกิดขึ้นบ่อยครั้ง. การบดบัง (occlusion) ในฝูงชนไม่ใช่แค่อุปสรรคที่เกิดขึ้นเป็นครั้งคราว แต่มันเกิดขึ้นตลอดเวลาและมีการเปลี่ยนแปลงอยู่เสมอ คนเดินเท้าคนหนึ่งอาจบังอีกคนหนึ่งเป็นเวลาสามเฟรม จากนั้นคนอื่นก็เดินเข้ามาในช่องว่างนั้น และคนเดิมก็ปรากฏตัวออกมาอีกครั้งจากมุมที่ต่างออกไป การบดบังแบบคงที่ เช่น เสาหรือรถที่จอดอยู่ เป็นสิ่งที่คาดเดาได้ แต่ฝูงชนที่เป็นมนุษย์จะเคลื่อนที่อยู่ตลอดเวลา และการทดสอบนี้จะเน้นไปที่การกู้คืนข้อมูล (recovery) เมื่อมีคนโผล่ออกมาจากหลังกลุ่มคน โมเดลจะจำได้หรือไม่ หรือจะมองว่าเขาเป็นคนใหม่ที่เพิ่งเข้ามา?
การรักษาตัวตนผ่านการเคลื่อนที่. ความต่อเนื่องของตัวตน (identity persistence) ขึ้นอยู่กับสิ่งที่มากกว่าแค่การจดจำใบหน้า เมื่อผู้คนเคลื่อนที่ผ่านฉากที่มีความหนาแน่น ขนาดของพวกเขาจะเปลี่ยนไป ท่าทาง (pose) จะเปลี่ยนจากด้านหน้าเป็นด้านข้าง และแสงสว่างจะแตกต่างกันไปตามส่วนต่างๆ ของสภาพแวดล้อม การทดสอบนี้ตั้งคำถามว่าระบบจะสามารถรักษาตัวระบุ (identifier) เดิมสำหรับคนที่เดินผ่านฝูงชนหนาแน่นเป็นระยะทางยี่สิบเมตรได้หรือไม่ แม้ว่าคนคนนั้นจะถูกบดบังหลายครั้งและเหลือให้เห็นเพียงแค่บางส่วนของรูปลักษณ์ก็ตาม
จากเกณฑ์มาตรฐานสู่ผลกระทบในโลกจริง
การปรับปรุงประสิทธิภาพในทั้งสี่ด้านนี้ไม่ใช่เพียงแค่การฝึกฝนทางวิชาการเท่านั้น แต่โมเดลที่ดีขึ้นจะส่งผลโดยตรงต่อวิธีการทำงานของระบบอัตโนมัติและเครื่องมือเฝ้าระวังในสภาพแวดล้อมจริง
ลองพิจารณารถยนต์ไร้คนขับที่กำลังเข้าใกล้ทางม้าลายที่พลุกพล่านในงานเทศกาล คนเดินเท้าไม่ได้เดินเรียงแถวอย่างเป็นระเบียบ พวกเขาเดินเบียดกัน เข็นรถเข็นเด็ก และก้าวออกมาจากหลังกันและกัน หากระบบติดตามของรถสูญเสียตัวตนของคนเดินเท้าในวินาทีที่พวกเขาหลบไปอยู่หลังคนอื่น รถก็จะไม่สามารถคาดการณ์ได้ว่าคนเดินเท้าคนนั้นจะปรากฏตัวออกมาอีกครั้งที่ไหน รถอาจทึกทักเอาเองว่าอันตรายนั้นหายไปแล้ว หรือที่แย่กว่านั้นคือสับสนคนเดินเท้าที่ถูกบังอยู่กับคนอื่นและคำนวณเส้นทางการเคลื่อนที่ผิดพลาด การติดตามที่เสถียรในฝูงชนจึงเป็นข้อกำหนดด้านความปลอดภัย ไม่ใช่แค่สิ่งอำนวยความสะดวก
เครือข่ายการเฝ้าระวังก็เผชิญกับปัญหาที่คล้ายคลึงกัน เจ้าหน้าที่รักษาความปลอดภัยที่เฝ้าดูศูนย์กลางการคมนาคมไม่ต้องการระบบที่ตรวจจับคนในทางเดินที่ว่างเปล่า แต่พวกเขาต้องการระบบที่นับจำนวนได้อย่างแม่นยำในช่วงที่มีการอพยพออกจากสถานี เมื่อผู้โดยสารหลายร้อยคนหลั่งไหลไปยังทางออกเดียว หากการบดบัง (occlusion) ทำให้เกิดการสลับตัวตนอยู่ตลอดเวลา ระบบจะสร้างข้อมูลที่ไร้ประโยชน์ เช่น การบันทึกคนคนเดียวกันเป็นห้าคนแยกกัน หรือการบันทึกกลุ่มคนเป็นเพียงกลุ่มก้อน (blobs) เดียว ซึ่งจะทำให้การวิเคราะห์ในขั้นตอนถัดไปเสียหาย ไม่ว่าจะเป็นการวัดการไหลเวียนของฝูงชน การระบุพฤติกรรมที่น่าสงสัย หรือการประสานงานตอบโต้เหตุฉุกเฉิน
แม้แต่หุ่นยนต์ในธุรกิจค้าปลีกและคลังสินค้าก็ได้รับประโยชน์เช่นกัน รถลำเลียงสินค้าอัตโนมัติ (Automated guided vehicles) ต้องเคลื่อนที่ผ่านช่องทางเดินที่มีพนักงานกำลังหยิบสินค้า ในพื้นที่แคบๆ เหล่านี้ การบดบังบางส่วน (partial occlusion) เกิดขึ้นอยู่ตลอดเวลา หุ่นยนต์ที่สูญเสียการติดตามพนักงานที่อยู่หลังชั้นวางสินค้าอาจวางแผนเส้นทางที่เข้าใกล้เกินไปเมื่อพนักงานคนนั้นก้าวออกมา ความสามารถในการรักษาการล็อกตัวตน (identity lock) แม้จะมีการหายไปชั่วขณะ จะช่วยให้การปฏิสัมพันธ์ระหว่างมนุษย์และหุ่นยนต์มีความปลอดภัย
ความเป็นจริงทางเทคนิคเบื้องหลังคะแนนเหล่านี้
นักวิจัยที่ศึกษาเกณฑ์มาตรฐาน CVPR19 ได้เรียนรู้อย่างรวดเร็วว่าการแยกขั้นตอนการตรวจจับ (detection) และการติดตาม (tracking) ออกจากกันนั้นจะยิ่งเพิ่มอัตราความล้มเหลว ตัวตรวจจับ (detector) ที่พลาดบุคคลที่ถูกบดบังบางส่วนจะทำให้ตัวติดตาม (tracker) ขาดข้อมูล ส่วนตัวติดตามที่พึ่งพาเพียงความใกล้ชิดทางพื้นที่ (spatial proximity) จะมอบตัวตนที่ผิดให้กับร่างกายส่วนใดก็ตามที่ปรากฏออกมาจากหลังสิ่งกีดขวางเป็นคนแรก
ด้วยเหตุนี้ ความท้าทายนี้จึงส่งเสริมการคิดแบบบูรณาการ ทีมต่างๆ มุ่งเน้นไปที่การแสดงลักษณะเด่น (feature representations) ที่ยังคงอยู่แม้จะมีการขาดตอน หากตัวระบุลักษณะทั่วทั้งร่างกาย (full-body descriptor) ล้มเหลวเมื่อขาถูกบดบัง โมเดลจำเป็นต้องพึ่งพาข้อมูลส่วนที่ยังมองเห็นได้มากขึ้น เช่น ลำตัว หรือรูปแบบการเดิน (gait pattern) ในขณะที่บางทีมให้ความสำคัญกับการใช้เหตุผลเชิงเวลา (temporal reasoning) โดยใช้แบบจำลองการเคลื่อนที่ (motion models) เพื่อคาดการณ์ว่าบุคคลที่ถูกบดบังมีแนวโน้มจะปรากฏตัวออกมาอีกครั้งที่ใด เพื่อให้ระบบสามารถกลับมาติดตามต่อได้โดยไม่ต้องรอการตรวจจับร่างกายแบบเต็มตัวอีกครั้ง
ความท้าทายนี้ยังเน้นย้ำถึงความสำคัญของหลักการคาดเดาเพื่อการกู้คืน (recovery heuristics) ในฉากที่มีความหนาแน่นต่ำ ตัวติดตามอาจสันนิษฐานได้อย่างปลอดภัยว่าการตรวจจับใหม่ที่อยู่ใกล้กับตำแหน่งเดิมคือบุคคลคนเดียวกัน แต่ในฝูงชน สมมติฐานนั้นจะสร้างการสลับตัวตนต่อเนื่องกันเป็นโดมิโน ระบบที่ดีกว่าจะเรียนรู้ที่จะชะลอการตัดสินใจก่อนที่จะมอบตัวตนใหม่ โดยการรวบรวมหลักฐานจากเฟรมภาพไม่กี่เฟรมหลังจากเหตุการณ์การบดบังคลี่คลายลง ก่อนที่จะยืนยันการจับคู่ตัวตน
ทำไมความหนาแน่นจึงเป็นบททดสอบความจริงใจ
คอมพิวเตอร์วิทัศน์ (Computer vision) ไม่ได้ขาดแคลนเกณฑ์มาตรฐาน สิ่งที่ทำให้ความท้าทายด้านการติดตามและการตรวจจับของ CVPR19 เป็นที่จดจำคือการตัดความสะดวกสบายของพื้นหลังที่ว่างเปล่าและวัตถุที่แยกตัวออกมาออกไป โมเดลที่ทำคะแนนได้ดีที่นี่ได้พิสูจน์แล้วว่าสามารถจัดการกับสัญญาณรบกวนทางภาพ (visual noise) ที่เป็นลักษณะเฉพาะของสภาพแวดล้อมที่มีมนุษย์อยู่จริง ความหนาแน่นคือบททดสอบความจริงใจ มันเปิดเผยสมมติฐานที่เปราะบางเกี่ยวกับการแยกวัตถุและการมองเห็นที่ต่อเนื่อง
หากคุณต้องการดูว่าวิธีการเฉพาะเจาะจงต่างๆ มีผลลัพธ์อย่างไร และสถาปัตยกรรมใดที่มีแนวโน้มดีภายใต้ความกดดันเช่นนี้ คุณสามารถอ่านรายละเอียดฉบับเต็มได้ ที่นี่ และหากคุณกำลังพัฒนาในสายงานนี้และต้องการพูดคุยแลกเปลี่ยนความรู้กับผู้อื่นที่กำลังเผชิญกับปัญหาปวดหัวเรื่องการบดบังแบบเดียวกัน สามารถเข้าร่วมชุมชนแห่งการเรียนรู้ได้ ที่นี่ งานด้านการติดตามผ่านฝูงชนยังอีกยาวไกล และบททดสอบที่แท้จริงคือสิ่งที่เกิดขึ้นเมื่อฉากนั้นเริ่มหนาแน่น