Rendering von VRM-Avataren in SwiftUI
Scowld verwendet ein Echtzeit-VRM-Modell mit Lip Sync und Mimik.
Ich habe keine 3D-Pipeline von Grund auf neu aufgebaut. Stattdessen verwende ich einen anderen Ansatz.
Die App rendert three.js und three-vrm innerhalb einer WKWebView. Sie kommuniziert über WKScriptMessageHandler mit Swift.
Diese Aufgabentrennung funktioniert gut:
- Die native Seite verwaltet KI, Stimme und Speech-to-Text.
- Die Web-Seite verwaltet das 3D-Rendering und den Lip Sync.
Nutzer haben die volle Kontrolle. Sie können Avatare, Namen, Stimmen und Persönlichkeiten austauschen.
Diese Methode spart Zeit und hält die 3D-Logik stabil.
Den Code findest du hier: https://github.com/apoorvdarshan/scowld
Vollständiger Post: https://dev.to/apoorvdarshan/rendering-a-customizable-vrm-avatar-in-a-swiftui-app-3ken