Alibaba запускає Wan3.0: переосмислення мультимодальної генерації ШІ-відео

Alibaba офіційно перейшла до бета-фази Wan3.0 — потужної нової моделі генерації відео, здатної створювати високоякісні кліпи тривалістю до 30 секунд. Розширюючи можливості введення даних за рахунок документів та складних мультимодальних запитів, Wan3.0 позиціонує себе як універсальний інструмент для креаторів, маркетологів та інженерів робототехніки.

Подвоєння тривалості та розширення мультимодальних вхідних даних

Wan3.0 становить значний стрибок у порівнянні зі своїм попередником, Wan2.5, подвоюючи максимальну тривалість відео до 30 секунд. Що справді вирізняє цю модель, так це її складний двигун мультимодальної обробки. На відміну від традиційних інструментів text-to-video, Wan3.0 може одночасно обробляти текст, зображення, відео та аудіо.

Модель підтримує надзвичайно складні промпти, дозволяючи користувачам додавати до десяти зображень, п'ять відео та п'ять аудіокліпів в одному запиті. Можливо, найбільш вражаючим є те, що Wan3.0 може приймати нетрадиційні медіафайли, такі як PDF, вебсторінки та презентації PowerPoint, ефективно перетворюючи статичні професійні документи на динамічний відеоконтент. Система навіть містить інтелектуальну функцію, яка рекомендує оптимальну тривалість відео на основі конкретного запиту користувача.

Вирішення проблеми візуального дрейфу

Однією з найбільш стійких перешкод у генерації ШІ-відео є «візуальний дрейф» (visual drift) — тенденція персонажів, рис обличчя та просторового планування спотворюватися або неприродно змінюватися з часом. Alibaba розробила Wan3.0 саме для боротьби з цими невідповідностями.

Надаючи пріоритет збереженню деталей із референтних матеріалів, модель підтримує набагато вищу точність відтворення персонажів, реквізиту та складних інтерфейсів користувача. Такий фокус на часовій послідовності робить модель набагато придатнішою для професійних робочих процесів, де ідентичність бренду та безперервність персонажів є критично важливими.

Масштабоване ціноутворення та галузеве застосування

Wan3.0 доступна через вебсайт wan.video, Alibaba Cloud Model Studio або через API на Qwen Cloud. Alibaba пропонує два окремі рівні: версію Standard (зараз зі знижкою 30%) та високошвидкісну версію Prime. Ціна залежить від роздільної здатності: від $1,50 за 30-секундний кліп у 480p на рівні Standard до $8,40 за кліп у 1080p на рівні Prime.

Стратегія розгортання орієнтована на три окремі сектори:

  • Розваги: прискорення виробництва фільмів та створення коротких драм або кліпів для соціальних мереж.
  • Підприємство: перетворення маркетингових текстів та навчальних посібників на захопливі відеоактиви.
  • Deep Tech: надання реалістичних симуляційних кадрів для навчання автономних транспортних засобів та робототехнічних систем.

Цей запуск відбувся після масивних інвестицій з боку Alibaba, яка нещодавно провела великий продаж акцій для фінансування своєї агресивної експансії в галузі ШІ, навіть попри те, що високі інвестиційні витрати вплинули на квартальний прибуток.

Основні висновки

  • Покращена мультимодальність: Wan3.0 може перетворювати PDF, PowerPoint та вебсторінки на відео, підтримуючи складні промпти з використанням до 20 комбінованих медіаактивів.
  • Покращена послідовність: Модель спеціально вирішує проблему візуального дрейфу, забезпечуючи кращу стабільність персонажів, реквізиту та середовища протягом 30-секундних роликів.
  • Широке застосування: Розроблена для широкого кола користувачів — від креаторів контенту, яким потрібні кліпи для соцмереж, до інженерів, яким потрібні дані симуляції для навчання робототехніки.