𝗠𝗲𝗿𝗲𝗻𝗱𝗲𝗿 𝗔𝘃𝗮𝘁𝗮𝗿 𝗩𝗥𝗠 𝗱𝗮𝗹𝗮𝗺 𝗦𝘄𝗶𝗳𝘁𝗨𝗜
Scowld menggunakan model VRM masa nyata dengan penyelarasan bibir (lip sync) dan ekspresi.
Saya tidak membina semula saluran paip (pipeline) 3D dari awal. Sebaliknya, saya menggunakan pendekatan yang berbeza.
Aplikasi ini merender three.js dan three-vrm di dalam WKWebView. Ia berkomunikasi dengan Swift menggunakan WKScriptMessageHandler.
Pengasingan tugas ini berfungsi dengan baik:
- Bahagian natif menguruskan AI, suara, dan penukaran ucapan kepada teks (speech to text).
- Bahagian web menguruskan rendering 3D dan penyelarasan bibir (lip sync).
Pengguna mempunyai kawalan penuh. Mereka boleh menukar avatar, nama, suara, dan personaliti.
Kaedah ini menjimatkan masa dan mengekalkan logik 3D yang stabil.
Semak kod di sini: https://github.com/apoorvdarshan/scowld
Hantaran penuh: https://dev.to/apoorvdarshan/rendering-a-customizable-vrm-avatar-in-a-swiftui-app-3ken