SwiftUI-ൽ VRM അവതാറുകൾ റെൻഡർ ചെയ്യുന്നു
Scowld ലിപ് സിങ്കും (lip sync) ഭാവങ്ങളും (expressions) ഉള്ള ഒരു റിയൽ-ടൈം VRM മോഡലാണ് ഉപയോഗിക്കുന്നത്.
ഞാൻ ഒരു 3D പൈപ്പ്ലൈൻ പൂജ്യത്തിൽ നിന്ന് വീണ്ടും നിർമ്മിച്ചില്ല. പകരം, ഞാൻ മറ്റൊരു രീതിയാണ് ഉപയോഗിക്കുന്നത്.
ആപ്പ് ഒരു WKWebView-നുള്ളിൽ three.js, three-vrm എന്നിവ റെൻഡർ ചെയ്യുന്നു. ഇത് WKScriptMessageHandler ഉപയോഗിച്ച് Swift-മായി ആശയവിനിമയം നടത്തുന്നു.
ഈ ചുമതലകളുടെ വിഭജനം മികച്ച രീതിയിൽ പ്രവർത്തിക്കുന്നു:
- നേറ്റീവ് ഭാഗം (native side) AI, ശബ്ദം (voice), സ്പീച്ച് ടു ടെക്സ്റ്റ് (speech to text) എന്നിവ നിയന്ത്രിക്കുന്നു.
- വെബ് ഭാഗം (web side) 3D റെൻഡറിംഗും ലിപ് സിങ്കും നിയന്ത്രിക്കുന്നു.
ഉപയോക്താക്കൾക്ക് പൂർണ്ണ നിയന്ത്രണമുണ്ട്. അവർക്ക് അവതാറുകൾ, പേരുകൾ, ശബ്ദങ്ങൾ, വ്യക്തിത്വങ്ങൾ എന്നിവ മാറ്റാൻ സാധിക്കും.
ഈ രീതി സമയം ലാഭിക്കാനും 3D ലോജിക് സുസ്ഥിരമായി നിലനിർത്താനും സഹായിക്കുന്നു.
കോഡ് ഇവിടെ പരിശോധിക്കാം: https://github.com/apoorvdarshan/scowld
പൂർണ്ണമായ പോസ്റ്റ്: https://dev.to/apoorvdarshan/rendering-a-customizable-vrm-avatar-in-a-swiftui-app-3ken