Chuyển đổi dữ liệu Webcam sang VRM trong thời gian thực
Liệu một trình duyệt có thể điều khiển một avatar 3D chỉ bằng webcam không?
Tôi đã thử nghiệm MediaPipe Holistic để xem liệu nó có thể ước tính các chuyển động của cơ thể, khuôn mặt và bàn tay để điều khiển một avatar VRM 1.0 trong thời gian thực hay không. Tôi đã thực hiện bài kiểm tra này trên Apple M1 Max sử dụng CPU và WASM.
Kết quả cho thấy một webcam tiêu chuẩn có thể điều khiển một avatar 3D mà không cần đến các thiết bị bắt chuyển động (motion-capture) đắt tiền.
Kết quả thử nghiệm: • Phần cứng: Apple M1 Max • Đầu vào: luồng webcam 1280x720 • Tốc độ hiệu dụng: 17.3 FPS • Thời gian suy luận trung bình: 49.17 ms • Thành công: Tất cả 141 khung hình tư thế được phát hiện đều đã cập nhật khung xương VRM
Cách thức hoạt động: Hệ thống sử dụng một quy trình đa giai đoạn (multi-stage pipeline) để theo dõi 553 điểm:
- 33 điểm cho tư thế cơ thể
- 478 điểm cho lưới khuôn mặt (bao gồm cả mống mắt)
- 21 điểm cho mỗi bàn tay
Quy trình thực hiện theo các bước sau:
- MediaPipe phát hiện các điểm mốc (landmarks) từ webcam
- Tọa độ được chuyển đổi sang không gian Three.js
- Dữ liệu được ánh xạ tới 34 xương và biểu cảm VRM
- Các thuật toán làm mượt giúp giảm hiện tượng rung (jitter) bằng cách nội suy các chuyển động
Retargeting hoạt động bằng cách căn chỉnh hướng giữa hai điểm mốc với hướng xương VRM. Ví dụ, nó ánh xạ từ vai đến khuỷu tay để thiết lập vòng quay của cánh tay. Các hệ số khuôn mặt được ánh xạ trực tiếp tới các biểu cảm của avatar như chớp mắt hoặc mở hàm.
Hạn chế:
- Tốc độ: 17.3 FPS là tốt cho các bản demo nhưng chưa đủ mượt mà cho việc bắt chuyển động chuyên nghiệp ở mức 60 FPS.
- Xoay: Đây là một sự xấp xỉ về hướng. Nó không giải quyết được độ xoắn chính xác của cẳng tay hoặc mắt cá chân.
- Độ phức tạp: Do thời gian thử nghiệm ngắn, bài kiểm tra chưa chứng minh được khả năng theo dõi ổn định đồng thời cả khuôn mặt và cả hai bàn tay cùng một lúc.
Thiết lập này cung cấp một cách nhẹ nhàng để tạo ra các bản demo avatar và giao diện cử chỉ ngay trên trình duyệt.