റിയൽ-ടൈം വെബ്ക്യാം ഉപയോഗിച്ച് VRM റീറ്റാർഗെറ്റിംഗ്
ഒരു വെബ്ക്യാം മാത്രം ഉപയോഗിച്ച് ഒരു ബ്രൗസറിന് 3D അവതാറിനെ നിയന്ത്രിക്കാൻ കഴിയുമോ?
ഒരു VRM 1.0 അവതാറിനെ റിയൽ ടൈമിൽ നിയന്ത്രിക്കുന്നതിനായി ശരീരത്തിന്റെയും മുഖത്തിന്റെയും കൈകളുടെയും ചലനങ്ങൾ MediaPipe Holistic ഉപയോഗിച്ച് പ്രവചിക്കാൻ കഴിയുമോ എന്ന് ഞാൻ പരിശോധിച്ചു. Apple M1 Max ഉപയോഗിച്ച് CPU, WASM എന്നിവയിലൂടെയാണ് ഈ പരീക്ഷണം നടത്തിയത്.
വിലകൂടിയ മോഷൻ-ക്യാപ്ചർ ഉപകരണങ്ങൾ ഇല്ലാതെ തന്നെ ഒരു സാധാരണ വെബ്ക്യാം ഉപയോഗിച്ച് 3D അവതാറിനെ നിയന്ത്രിക്കാൻ കഴിയുമെന്ന് ഈ ഫലങ്ങൾ കാണിക്കുന്നു.
പരീക്ഷണ ഫലങ്ങൾ: • ഹാർഡ്വെയർ: Apple M1 Max • ഇൻപുട്ട്: 1280x720 വെബ്ക്യാം സ്ട്രീം • ഫലപ്രദമായ വേഗത: 17.3 FPS • ശരാശരി ഇൻഫറൻസ് സമയം: 49.17 ms • വിജയം: കണ്ടെത്തിയ 141 പോസ് ഫ്രെയിമുകളും VRM സ്കെലിറ്റനെ അപ്ഡേറ്റ് ചെയ്തു
ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു: 553 പോയിന്റുകളെ ട്രാക്ക് ചെയ്യുന്നതിനായി ഈ സിസ്റ്റം ഒരു മൾട്ടി-സ്റ്റേജ് പൈപ്പ്ലൈൻ ഉപയോഗിക്കുന്നു:
- ബോഡി പോസിനായി 33 പോയിന്റുകൾ
- ഫേസ് മെഷിനായി 478 പോയിന്റുകൾ (ഐറിസ് ഉൾപ്പെടെ)
- ഓരോ കൈയ്ക്കും 21 പോയിന്റുകൾ വീതം
പ്രക്രിയ ഈ ഘട്ടങ്ങളിലൂടെ കടന്നുപോകുന്നു:
- MediaPipe വെബ്ക്യാമിൽ നിന്ന് ലാൻഡ്മാർക്കുകൾ കണ്ടെത്തുന്നു
- കോർഡിനേറ്റുകൾ Three.js സ്പേസിലേക്ക് മാറ്റുന്നു
- ഡാറ്റ 34 VRM ബോണുകളിലേക്കും എക്സ്പ്രഷനുകളിലേക്കും മാപ്പ് ചെയ്യുന്നു
- ചലനങ്ങളെ ഇന്റർപോളേറ്റ് ചെയ്തുകൊണ്ട് സ്മൂത്തിംഗ് അൽഗോരിതങ്ങൾ ജിറ്റർ (jitter) കുറയ്ക്കുന്നു
രണ്ട് ലാൻഡ്മാർക്കുകൾ തമ്മിലുള്ള ദിശയെ VRM ബോൺ ദിശയുമായി യോജിപ്പിച്ചുകൊണ്ടാണ് റീറ്റാർഗെറ്റിംഗ് പ്രവർത്തിക്കുന്നത്. ഉദാഹരണത്തിന്, കൈയുടെ റൊട്ടേഷൻ ക്രമീകരിക്കാൻ ഇത് തോളും കൈമുട്ടും തമ്മിൽ മാപ്പ് ചെയ്യുന്നു. മുഖത്തെ കോഫിഫിഷ്യന്റുകൾ (coefficients) കണ്ണ് ചിമ്മുന്നത് അല്ലെങ്കിൽ താടി തുറക്കുന്നത് പോലുള്ള അവതാർ എക്സ്പ്രഷനുകളിലേക്ക് നേരിട്ട് മാപ്പ് ചെയ്യപ്പെടുന്നു.
പരിമിതികൾ:
- വേഗത: 17.3 FPS ഡെമോകൾക്ക് നല്ലതാണ്, എന്നാൽ പ്രൊഫഷണൽ 60 FPS മോഷൻ ക്യാപ്ചറിന് ഇത് മതിയാകില്ല.
- റൊട്ടേഷൻ: ഇതൊരു ദിശാനുമാനമാണ് (directional approximation). ഇത് കൈമുട്ടിന് താഴെയുള്ള ഭാഗങ്ങളിലെയും (forearms) കണങ്കാലുകളിലെയും (ankles) കൃത്യമായ തിരിവ് (twist) പരിഹരിക്കുന്നില്ല.
- സങ്കീർണ്ണത: പരീക്ഷണത്തിന്റെ കുറഞ്ഞ ദൈർഘ്യം കാരണം മുഖവും രണ്ട് കൈകളും ഒരേസമയം സ്ഥിരതയോടെ ട്രാക്ക് ചെയ്യാൻ കഴിയുമെന്ന് ഈ പരീക്ഷണം തെളിയിച്ചില്ല.
ഇൻ-ബ്രൗസർ അവതാർ ഡെമോകളും ജെസ്റ്റർ ഇന്റർഫേസുകളും നിർമ്മിക്കാൻ ഈ സംവിധാനം ലളിതമായ ഒരു മാർഗ്ഗം നൽകുന്നു.