Рендеринг VRM-аватарів у SwiftUI
Scowld використовує VRM-модель у реальному часі з синхронізацією губ та мімікою.
Я не переписував 3D-пайплайн з нуля. Натомість я використовую інший підхід.
Додаток рендерить three.js та three-vrm всередині WKWebView. Він взаємодіє зі Swift за допомогою WKScriptMessageHandler.
Таке розділення обов'язків працює чудово:
- Нативна частина керує AI, голосом та перетворенням мовлення в текст.
- Веб-частина керує 3D-рендерингом та синхронізацією губ.
Користувачі мають повний контроль. Вони можуть змінювати аватарів, імена, голоси та характери.
Цей метод економить час і забезпечує стабільність 3D-логіки.
Переглянути код можна тут: https://github.com/apoorvdarshan/scowld
Повний пост: https://dev.to/apoorvdarshan/rendering-a-customizable-vrm-avatar-in-a-swiftui-app-3ken