రియల్-టైమ్ వెబ్క్యామ్ నుండి VRM రీటార్గెటింగ్
కేవలం వెబ్క్యామ్ ఉపయోగించి బ్రౌజర్ ద్వారా 3D అవతార్ను నియంత్రించగలమా?
VRM 1.0 అవతార్ను రియల్ టైమ్లో నియంత్రించడానికి, MediaPipe Holistic ద్వారా శరీరం, ముఖం మరియు చేతుల కదలికలను అంచనా వేయగలదా అని నేను పరీక్షించాను. నేను ఈ పరీక్షను Apple M1 Max లో CPU మరియు WASM ఉపయోగించి నిర్వహించాను.
ఖరీదైన మోషన్-క్యాప్చర్ పరికరాలు లేకుండానే, ఒక సాధారణ వెబ్క్యామ్ ద్వారా 3D అవతార్ను నియంత్రించవచ్చని ఈ ఫలితాలు చూపుతున్నాయి.
పరీక్ష ఫలితాలు: • హార్డ్వేర్: Apple M1 Max • ఇన్పుట్: 1280x720 వెబ్క్యామ్ స్ట్రీమ్ • ప్రభావవంతమైన వేగం: 17.3 FPS • సగటు ఇన్ఫరెన్స్ సమయం: 49.17 ms • విజయం: గుర్తించిన 141 పోజ్ ఫ్రేమ్లన్నీ VRM స్కెలిటన్ను అప్డేట్ చేశాయి
ఇది ఎలా పనిచేస్తుంది: ఈ సిస్టమ్ 553 పాయింట్లను ట్రాక్ చేయడానికి మల్టీ-స్టేజ్ పైప్లైన్ను ఉపయోగిస్తుంది:
- బాడీ పోజ్ కోసం 33 పాయింట్లు
- ఫేస్ మెష్ కోసం 478 పాయింట్లు (ఐరిస్లతో సహా)
- ప్రతి చేయి కోసం 21 పాయింట్లు
ఈ ప్రక్రియ ఈ క్రింది దశలను అనుసరిస్తుంది:
- MediaPipe వెబ్క్యామ్ నుండి ల్యాండ్మార్క్లను గుర్తిస్తుంది
- కోఆర్డినేట్లు Three.js స్పేస్లోకి మారుతాయి
- డేటా 34 VRM బోన్స్ మరియు ఎక్స్ప్రెషన్స్కు మ్యాప్ చేయబడుతుంది
- స్మూతింగ్ అల్గారిథమ్స్ కదలికలను ఇంటర్పోలేట్ చేయడం ద్వారా జిట్టర్ను (jitter) తగ్గిస్తాయి
రెండు ల్యాండ్మార్క్ల మధ్య దిశను VRM బోన్ దిశతో సరిపోల్చడం ద్వారా రీటార్గెటింగ్ పనిచేస్తుంది. ఉదాహరణకు, ఇది చేయి రొటేషన్ను సెట్ చేయడానికి భుజం నుండి మోచేతి వరకు మ్యాప్ చేస్తుంది. ఫేషియల్ కోఎఫీషియంట్లు కనురెప్పల కొట్టుకోవడం లేదా దవడ తెరవడం వంటి అవతార్ ఎక్స్ప్రెషన్స్కు నేరుగా మ్యాప్ చేయబడతాయి.
పరిమితులు:
- వేగం: 17.3 FPS డెమోలకు బాగుంటుంది కానీ ప్రొఫెషనల్ 60 FPS మోషన్ క్యాప్చర్కు తగినంత స్మూత్గా ఉండదు.
- రొటేషన్: ఇది ఒక దిశానీయ అంచనా (directional approximation). ఇది ఫార్ఆర్మ్స్ లేదా మడమల యొక్క ఖచ్చితమైన ట్విస్ట్ను పరిష్కరించదు.
- సంక్లిష్టత: తక్కువ పరీక్షా సమయం కారణంగా, ముఖం మరియు రెండు చేతులను ఒకేసారి స్థిరంగా ట్రాక్ చేయగలదని ఈ పరీక్ష నిరూపించలేదు.
ఈ సెటప్ బ్రౌజర్లోనే అవతార్ డెమోలు మరియు జెస్టర్ ఇంటర్ఫేస్లను రూపొందించడానికి ఒక తేలికపాటి మార్గాన్ని అందిస్తుంది.