𝗦𝘄𝗶𝗳𝘁𝗨𝗜-𝘁𝗲 𝗩𝗥𝗠 𝗔𝘃𝗮𝘁𝗮𝗿 𝗿𝗲𝗻𝗱𝗲𝗿𝗶𝗻𝗴
Scowld লিপ সিঙ্ক (lip sync) এবং এক্সপ্রেশনসহ একটি রিয়েল-টাইম VRM মডেল ব্যবহার করে।
আমি শুরু থেকে নতুন করে কোনো 3D পাইপলাইন তৈরি করিনি। পরিবর্তে, আমি একটি ভিন্ন পদ্ধতি ব্যবহার করেছি।
অ্যাপটি একটি WKWebView-এর ভেতরে three.js এবং three-vrm রেন্ডার করে। এটি WKScriptMessageHandler ব্যবহার করে Swift-এর সাথে যোগাযোগ করে।
কাজের এই বিভাজনটি বেশ কার্যকরভাবে কাজ করে:
- নেটিভ সাইড AI, ভয়েস এবং speech to text পরিচালনা করে।
- ওয়েব সাইড 3D রেন্ডারিং এবং লিপ সিঙ্ক পরিচালনা করে।
ব্যবহারকারীদের পূর্ণ নিয়ন্ত্রণ রয়েছে। তারা অবতার, নাম, ভয়েস এবং ব্যক্তিত্ব পরিবর্তন করতে পারেন।
এই পদ্ধতিটি সময় বাঁচায় এবং 3D লজিককে স্থিতিশীল রাখে।
কোডটি এখানে দেখুন: https://github.com/apoorvdarshan/scowld
সম্পূর্ণ পোস্ট: https://dev.to/apoorvdarshan/rendering-a-customizable-vrm-avatar-in-a-swiftui-app-3ken