ریئل ٹائم AI اسسٹنٹ بنانا کیوں مشکل ہے
ریئل ٹائم AI بنانا مشکل ہے۔ زیادہ تر سسٹمز الگ الگ حصوں کی ایک زنجیر استعمال کرتے ہیں۔ ایک حصہ آواز کو پہچانتا ہے۔ دوسرا آواز کو متن (text) میں تبدیل کرتا ہے۔ تیسرا حصہ جواب تیار کرتا ہے۔ چوتھا حصہ متن کو آواز میں بدلتا ہے۔ پانچواں حصہ ایک اوتار (avatar) تیار کرتا ہے۔
ان حصوں کے درمیان ہر تبادلہ تاخیر کا باعث بنتا ہے۔ ہر حد (boundary) ٹائمنگ کی غلطیاں پیدا کرتی ہے۔ اس سے بات چیت روبوٹک محسوس ہوتی ہے۔
Wan-Streamer v0.1 اس طریقہ کار کو بدل دیتا ہے۔ الگ الگ سروسز کے بجائے، یہ ایک ہی streaming Transformer استعمال کرتا ہے۔ یہ آڈیو، ویڈیو اور متن کو ایک ہی لوپ (loop) کے طور پر دیکھتا ہے۔
معیاری اسسٹنٹس اس طرح کام کرتے ہیں: • صارف بولتا ہے۔ • سسٹم آواز کو متن میں تبدیل کرتا ہے۔ • ماڈل ایک ٹیکسٹ جواب تیار کرتا ہے۔ • سسٹم متن کو آواز میں بدلتا ہے۔ • اوتار آواز کے ساتھ ہونٹوں کی حرکت کو ہم آہنگ (sync) کرنے کی کوشش کرتا ہے۔
یہ طریقہ کار کمزور ہے۔ اگر ایک مرحلہ سست ہو جائے تو پورا سسٹم انتظار کرتا ہے۔ اگر صارف بات کاٹ دے، تو سسٹم اکثر اسے محسوس کرنے میں ناکام رہتا ہے۔
Wan-Streamer زبان، آڈیو اور ویڈیو کو ایک ساتھ ماڈل کر کے اس مسئلے کو حل کرتا ہے۔ یہ block-causal attention استعمال کرتا ہے۔ یہ ماڈل کو اپنے اسٹیٹ (state) کو مسلسل اپ ڈیٹ کرنے کی اجازت دیتا ہے۔ یہ عمل شروع کرنے سے پہلے مکمل باری (turn) ختم ہونے کا انتظار نہیں کرتا ہے۔
سسٹم ایک thinker-performer تقسیم استعمال کرتا ہے: • 'thinker' ادراک (perception) اور اسٹیٹ اپ ڈیٹس کو سنبھالتا ہے۔ • 'performer' جنریشن کی اگلی اکائی کو سنبھالتا ہے۔
یہ اوورلیپ (overlap) لوپ کے حصوں کو ایک دوسرے کو روکنے سے بچاتا ہے۔ ماڈل تقریباً 200 ms کی ماڈل سائیڈ لیٹنسی (latency) حاصل کرتا ہے۔ کل انٹرایکشن لیٹنسی تقریباً 550 ms رہتی ہے۔
جب جواب کا وقت ایک سیکنڈ سے کم رہے، تو گفتگو براہِ راست (live) محسوس ہوتی ہے۔ یہ ان چیزوں کے لیے اہم ہے: • کسٹمر سپورٹ اوتارز۔ • ٹیوشن ایجنٹس۔ • ٹیلی پریزنس ٹولز۔ • انٹرایکٹو ڈیموز۔
Wan-Streamer ابھی ورژن 0.1 میں ہے۔ ویڈیو کا معیار کم ہے۔ ایک واحد ماڈل حفاظت یا بھروسہ مندی کے مسائل حل نہیں کرتا۔ تاہم، یہ ثابت کرتا ہے کہ انٹرایکشن لوپ کی ساخت اہمیت رکھتی ہے۔
اگر آپ ریئل ٹائم AI بنا رہے ہیں، تو یہ سوالات پوچھیں: • کیا آپ الگ الگ ماڈیولز کو ایک بیک بون (backbone) میں ضم کر سکتے ہیں؟ • آپ کے پائپ لائن میں کہاں تاخیر ہو رہی ہے؟ • تاخیر کم کرنے کے لیے کون سے حصے اوورلیپ ہو سکتے ہیں؟
ریئل ٹائم AI میں، معلومات کے منتقل ہونے کا طریقہ ہی اصل پروڈکٹ ہے۔
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi