SwiftUI-இல் VRM அவதாரங்களை ரெண்டர் செய்தல்
Scowld, லிப் சிங்க் (lip sync) மற்றும் முகபாவனைகளுடன் கூடிய நிகழ்நேர (real-time) VRM மாதிரியைப் பயன்படுத்துகிறது.
நான் ஒரு 3D பைப்லைனை (pipeline) ஆரம்பத்திலிருந்து மீண்டும் உருவாக்கவில்லை. அதற்குப் பதிலாக, நான் ஒரு மாறுபட்ட அணுகுமுறையைப் பயன்படுத்துகிறேன்.
இந்த ஆப், WKWebView-க்குள் three.js மற்றும் three-vrm ஆகியவற்றை ரெண்டர் செய்கிறது. இது WKScriptMessageHandler மூலம் Swift உடன் தொடர்பு கொள்கிறது.
இந்த பணிகளின் பிரிவினை சிறப்பாகச் செயல்படுகிறது:
- நேட்டிவ் பக்கம் (native side) AI, குரல் மற்றும் பேச்சு-லிருந்து-உரை (speech to text) ஆகியவற்றைக் கையாள்கிறது.
- வெப் பக்கம் (web side) 3D ரெண்டரிங் மற்றும் லிப் சிங்க் ஆகியவற்றைக் கையாள்கிறது.
பயனர்கள் முழுமையான கட்டுப்பாட்டைக் கொண்டுள்ளனர். அவர்கள் அவதாரங்கள், பெயர்கள், குரல்கள் மற்றும் ஆளுமைகளை மாற்றிக்கொள்ளலாம்.
இந்த முறை நேரத்தைச் சேமிக்கிறது மற்றும் 3D லாஜிக்கை (logic) நிலையாக வைக்கிறது.
குறியீட்டை இங்கே சரிபார்க்கவும்: https://github.com/apoorvdarshan/scowld
முழுமையான பதிவு: https://dev.to/apoorvdarshan/rendering-a-customizable-vrm-avatar-in-a-swiftui-app-3ken