रियल-टाइम वेबकैम से VRM रिटारगेटिंग
क्या एक ब्राउज़र केवल वेबकैम का उपयोग करके 3D अवतार को नियंत्रित कर सकता है?
मैंने यह देखने के लिए MediaPipe Holistic का परीक्षण किया कि क्या यह रियल-टाइम में VRM 1.0 अवतार को नियंत्रित करने के लिए शरीर, चेहरे और हाथों की गतिविधियों का अनुमान लगा सकता है। मैंने यह परीक्षण CPU और WASM का उपयोग करके Apple M1 Max पर किया।
परिणाम बताते हैं कि एक मानक वेबकैम महंगे मोशन-कैप्चर गियर के बिना 3D अवतार को चला सकता है।
टेस्ट के परिणाम: • हार्डवेयर: Apple M1 Max • इनपुट: 1280x720 वेबकैम स्ट्रीम • प्रभावी गति: 17.3 FPS • औसत इन्फरेंस समय (Mean inference time): 49.17 ms • सफलता: सभी 141 डिटेक्ट किए गए पोज़ फ्रेम ने VRM स्केलेटन को अपडेट किया
यह कैसे काम करता है: सिस्टम 553 बिंदुओं को ट्रैक करने के लिए एक मल्टी-स्टेज पाइपलाइन का उपयोग करता है:
- बॉडी पोज़ के लिए 33 बिंदु
- फेस मेश के लिए 478 बिंदु (आइरिस सहित)
- प्रत्येक हाथ के लिए 21 बिंदु
प्रक्रिया इन चरणों का पालन करती है:
- MediaPipe वेबकैम से लैंडमार्क का पता लगाता है
- कोऑर्डिनेट्स को Three.js स्पेस में बदला जाता है
- डेटा 34 VRM बोन्स और एक्सप्रेशंस को मैप करता है
- स्मूथिंग एल्गोरिदम मूवमेंट को इंटरपोलेट करके जिटर (jitter) को कम करते हैं
रिटारगेटिंग दो लैंडमार्क के बीच की दिशा को VRM बोन दिशा के साथ संरेखित (align) करके काम करती है। उदाहरण के लिए, यह आर्म रोटेशन सेट करने के लिए कंधे को कोहनी से मैप करती है। फेशियल कोएफिशिएंट्स (Facial coefficients) सीधे अवतार के एक्सप्रेशंस जैसे कि आंखों का झपकना या जबड़े का खुलना, से मैप होते हैं।
सीमाएं:
- गति: 17.3 FPS डेमो के लिए अच्छा है लेकिन प्रोफेशनल 60 FPS मोशन कैप्चर के लिए पर्याप्त स्मूथ नहीं है।
- रोटेशन: यह एक दिशात्मक सन्निकटन (directional approximation) है। यह अग्रबाहु (forearms) या टखनों (ankles) के सटीक ट्विस्ट को हल नहीं करता है।
- जटिलता: परीक्षण की कम अवधि के कारण, यह परीक्षण चेहरे और दोनों हाथों की एक साथ स्थिर ट्रैकिंग को साबित नहीं कर सका।
यह सेटअप इन-ब्राउज़र अवतार डेमो और जेस्चर इंटरफेस बनाने का एक हल्का (lightweight) तरीका प्रदान करता है।