Real-Time Webcam-zu-VRM-Retargeting
Kann ein Browser einen 3D-Avatar allein mit einer Webcam steuern?
Ich habe MediaPipe Holistic getestet, um zu sehen, ob es Körper-, Gesichts- und Handbewegungen schätzen kann, um einen VRM 1.0-Avatar in Echtzeit zu steuern. Ich habe diesen Test auf einem Apple M1 Max unter Verwendung von CPU und WASM durchgeführt.
Die Ergebnisse zeigen, dass eine Standard-Webcam einen 3D-Avatar ohne teures Motion-Capture-Equipment steuern kann.
Testergebnisse: • Hardware: Apple M1 Max • Input: 1280x720 Webcam-Stream • Effektive Geschwindigkeit: 17,3 FPS • Mittlere Inferenzzeit: 49,17 ms • Erfolg: Alle 141 erkannten Pose-Frames haben das VRM-Skelett aktualisiert
Funktionsweise: Das System nutzt eine mehrstufige Pipeline, um 553 Punkte zu verfolgen:
- 33 Punkte für die Körperpose
- 478 Punkte für das Face Mesh (einschließlich Iris)
- 21 Punkte für jede Hand
Der Prozess folgt diesen Schritten:
- MediaPipe erkennt Landmarks aus der Webcam
- Koordinaten werden in den Three.js-Raum konvertiert
- Daten werden auf 34 VRM-Bones und Expressions gemappt
- Glättungsalgorithmen reduzieren Jitter durch Interpolation der Bewegungen
Retargeting funktioniert durch den Abgleich der Richtung zwischen zwei Landmarks mit der VRM-Bone-Richtung. Zum Beispiel wird die Schulter auf den Ellbogen gemappt, um die Armrotation festzulegen. Gesichtskoeffizienten werden direkt auf Avatar-Expressions wie Augenzwinkern oder Kieferöffnung gemappt.
Einschränkungen:
- Geschwindigkeit: 17,3 FPS sind gut für Demos, aber nicht flüssig genug für professionelles 60-FPS-Motion-Capture.
- Rotation: Dies ist eine Richtungsapproximation. Es löst nicht die exakte Torsion (Twist) von Unterarmen oder Knöcheln.
- Komplexität: Aufgrund der kurzen Testdauer konnte keine stabile gleichzeitige Verfolgung des Gesichts und beider Hände bewiesen werden.
Dieses Setup bietet eine leichtgewichtige Möglichkeit, Avatar-Demos und Gestenschnittstellen direkt im Browser zu erstellen.