ರಿಯಲ್-ಟೈಮ್ ವೆಬ್ಕ್ಯಾಮ್ನಿಂದ VRM ರಿಟಾರ್ಗೆಟಿಂಗ್
ಕೇವಲ ವೆಬ್ಕ್ಯಾಮ್ ಬಳಸಿ ಬ್ರೌಸರ್ ಮೂಲಕ 3D ಅವತಾರ್ ಅನ್ನು ನಿಯಂತ್ರಿಸಲು ಸಾಧ್ಯವೇ?
VRM 1.0 ಅವತಾರ್ ಅನ್ನು ರಿಯಲ್-ಟೈಮ್ನಲ್ಲಿ ನಿಯಂತ್ರಿಸಲು ದೇಹ, ಮುಖ ಮತ್ತು ಕೈಗಳ ಚಲನೆಗಳನ್ನು MediaPipe Holistic ಅಂದಾಜಿಸಬಲ್ಲದೇ ಎಂದು ನಾನು ಪರೀಕ್ಷಿಸಿದೆ. ನಾನು ಈ ಪರೀಕ್ಷೆಯನ್ನು Apple M1 Max ನಲ್ಲಿ CPU ಮತ್ತು WASM ಬಳಸಿ ನಡೆಸಿದೆ.
ದುಬಾರಿ ಮೊಷನ್-ಕ್ಯಾಪ್ಚರ್ ಉಪಕರಣಗಳಿಲ್ಲದೆ, ಸಾಮಾನ್ಯ ವೆಬ್ಕ್ಯಾಮ್ ಮೂಲಕವೇ 3D ಅವತಾರ್ ಅನ್ನು ನಿಯಂತ್ರಿಸಬಹುದು ಎಂದು ಫಲಿತಾಂಶಗಳು ತೋರಿಸುತ್ತವೆ.
ಪರೀಕ್ಷಾ ಫಲಿತಾಂಶಗಳು: • ಹಾರ್ಡ್ವೇರ್: Apple M1 Max • ಇನ್ಪುಟ್: 1280x720 ವೆಬ್ಕ್ಯಾಮ್ ಸ್ಟ್ರೀಮ್ • ಪರಿಣಾಮಕಾರಿ ವೇಗ: 17.3 FPS • ಸರಾಸರಿ ಇನ್ಫರೆನ್ಸ್ ಸಮಯ: 49.17 ms • ಯಶಸ್ಸು: ಪತ್ತೆಹಚ್ಚಲಾದ ಎಲ್ಲಾ 141 ಪೋಸ್ ಫ್ರೇಮ್ಗಳು VRM ಸ್ಕೆಲೆಟನ್ ಅನ್ನು ಅಪ್ಡೇಟ್ ಮಾಡಿದವು
ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ: ಈ ವ್ಯವಸ್ಥೆಯು 553 ಪಾಯಿಂಟ್ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲು ಮಲ್ಟಿ-ಸ್ಟೇಜ್ ಪೈಪ್ಲೈನ್ ಅನ್ನು ಬಳಸುತ್ತದೆ:
- ದೇಹದ ಪೋಸ್ಗಾಗಿ 33 ಪಾಯಿಂಟ್ಗಳು
- ಫೇಸ್ ಮೆಶ್ಗಾಗಿ 478 ಪಾಯಿಂಟ್ಗಳು (ಐರಿಸ್ ಸೇರಿದಂತೆ)
- ಪ್ರತಿ ಕೈಗೆ 21 ಪಾಯಿಂಟ್ಗಳು
ಈ ಪ್ರಕ್ರಿಯೆಯು ಈ ಹಂತಗಳನ್ನು ಅನುಸರಿಸುತ್ತದೆ:
- MediaPipe ವೆಬ್ಕ್ಯಾಮ್ನಿಂದ ಲ್ಯಾಂಡ್ಮಾರ್ಕ್ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚುತ್ತದೆ
- ಕೋಆರ್ಡಿನೇಟ್ಗಳನ್ನು Three.js ಸ್ಪೇಸ್ಗೆ ಪರಿವರ್ತಿಸುತ್ತದೆ
- ಡೇಟಾವನ್ನು 34 VRM ಬೋನ್ಗಳು ಮತ್ತು ಎಕ್ಸ್ಪ್ರೆಶನ್ಗಳಿಗೆ ಮ್ಯಾಪ್ ಮಾಡುತ್ತದೆ
- ಸ್ಮೂಥಿಂಗ್ ಅಲ್ಗಾರಿದಮ್ಗಳು ಚಲನೆಗಳನ್ನು ಇಂಟರ್ಪೋಲೇಟ್ ಮಾಡುವ ಮೂಲಕ ಜಿಟ್ಟರ್ (jitter) ಅನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ
ರಿಟಾರ್ಗೆಟಿಂಗ್ ಎಂಬುದು ಎರಡು ಲ್ಯಾಂಡ್ಮಾರ್ಕ್ಗಳ ನಡುವಿನ ದಿಕ್ಕನ್ನು VRM ಬೋನ್ ದಿಕ್ಕಿನೊಂದಿಗೆ ಹೊಂದಿಸುವ ಮೂಲಕ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಇದು ತೋಳದ ತಿರುಗುವಿಕೆಯನ್ನು (arm rotation) ಹೊಂದಿಸಲು ಭುಜದಿಂದ ಮೊಣಕೈಯವರೆಗೆ ಮ್ಯಾಪ್ ಮಾಡುತ್ತದೆ. ಮುಖದ ಕೋಯೆಫಿಶಿಯೆಂಟ್ಗಳು ಕಣ್ಣು ಮಿಟುಕಿಸುವುದು ಅಥವಾ ದವಡೆಯನ್ನು ತೆರೆಯುವಂತಹ ಅವತಾರ್ ಎಕ್ಸ್ಪ್ರೆಶನ್ಗಳಿಗೆ ನೇರವಾಗಿ ಮ್ಯಾಪ್ ಆಗುತ್ತವೆ.
ಮಿತಿಗಳು:
- ವೇಗ: 17.3 FPS ಎಂಬುದು ಡೆಮೋಗಳಿಗೆ ಉತ್ತಮವಾಗಿದೆ, ಆದರೆ ವೃತ್ತಿಪರ 60 FPS ಮೊಷನ್ ಕ್ಯಾಪ್ಚರ್ಗೆ ಅಷ್ಟು ಸ್ಮೂತ್ ಆಗಿಲ್ಲ.
- ರೊಟೇಶನ್: ಇದು ಕೇವಲ ದಿಕ್ಕಿನ ಅಂದಾಜು (directional approximation). ಇದು ಮುಂಗೈ ಅಥವಾ ಪಾದದ ಹಿಮ್ಮಡಿಯ ನಿಖರವಾದ ತಿರುವುಗಳನ್ನು (exact twist) ಪರಿಹರಿಸುವುದಿಲ್ಲ.
- ಸಂಕೀರ್ಣತೆ: ಪರೀಕ್ಷೆಯ ಅವಧಿಯು ಕಡಿಮೆಯಿದ್ದ ಕಾರಣ, ಮುಖ ಮತ್ತು ಎರಡೂ ಕೈಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಸ್ಥಿರವಾಗಿ ಟ್ರ್ಯಾಕ್ ಮಾಡುವುದನ್ನು ಈ ಪರೀಕ್ಷೆಯು ಸಾಬೀತುಪಡಿಸಲಿಲ್ಲ.
ಈ ಸೆಟಪ್ ಇನ್-ಬ್ರೌಸರ್ ಅವತಾರ್ ಡೆಮೋಗಳು ಮತ್ತು ಗೆಸ್ಚರ್ ಇಂಟರ್ಫೇಸ್ಗಳನ್ನು ರಚಿಸಲು ಲೈಟ್ವೇಟ್ ಮಾರ್ಗವನ್ನು ಒದಗಿಸುತ್ತದೆ.