SwiftUIでのVRMアバターのレンダリング
Scowldは、リップシンクと表情機能を備えたリアルタイムVRMモデルを使用しています。
3Dパイプラインを一から構築し直したわけではありません。代わりに、異なるアプローチを採用しています。
このアプリは、WKWebView内でthree.jsとthree-vrmをレンダリングします。そして、WKScriptMessageHandlerを使用してSwiftと通信します。
この役割分担は非常に効果的です:
- ネイティブ側は、AI、音声、および音声文字変換を管理します。
- ウェブ側は、3Dレンダリングとリップシンクを管理します。
ユーザーはすべてを自由にコントロールできます。アバター、名前、声、そして性格を切り替えることができます。
この手法により、時間を節約し、3Dロジックの安定性を維持できます。
コードはこちらから確認できます:https://github.com/apoorvdarshan/scowld
記事全文:https://dev.to/apoorvdarshan/rendering-a-customizable-vrm-avatar-in-a-swiftui-app-3ken