Китайская модель мира Orca достигает уровня специализированной робототехники без меток действий

Прорыв китайских исследователей бросает вызов фундаментальному определению интеллекта ИИ, доказывая, что единая модель мира может освоить робототехнику без прямого обучения с учителем. Модель Orca демонстрирует, что, просто наблюдая за тем, как меняется мир через видео, ИИ может развить глубокое внутреннее понимание, способное управлять сложными физическими действиями.

Двухуровневый механизм обучения: бессознательный и сознательный режимы

Orca отходит от традиционных специализированных моделей, используя двухсторонний подход к обучению для построения своего внутреннего «состояния мира». Первый метод, «бессознательное обучение» (unconscious learning), включает обработку 125 000 часов неразмеченного видео. На этом этапе модель предсказывает будущие кадры в абстрактном пространстве, что позволяет ей улавливать паттерны движения, перекрытия объектов и динамику сцены без использования текстовых описаний.

Второй метод, «сознательное обучение» (conscious learning), вводит вербальные инструкции и описания. Разделяя видео на сегменты и помечая возникающие изменения состояний, Orca изучает причинно-следственную связь между конкретным действием и его физическим результатом. Такое сочетание позволяет модели преодолеть разрыв между чистым визуальным восприятием и высокоуровневыми лингвистическими рассуждениями.

Замороженное ядро со сменными интеллектуальными модулями

Архитектура Orca спроектирована для обеспечения исключительной универсальности. Она использует предварительно обученную языково-визуальную модель Qwen3.5 в качестве «замороженного ядра». Вместо переобучения всей системы для каждой задачи исследователи подключают к этому стабильному фундаменту специализированные легковесные «головы» (heads):

• Текстовый вывод: использует существующую языковую голову Qwen3.5.
• Генерация изображений: применяет небольшие адаптеры, подключенные к Stable Diffusion 3.5, для преобразования внутреннего состояния мира в визуальные предсказания.
• Управление роботом: использует специально разработанный модуль «Action Expert», обученный преобразовывать состояния мира в физические движения.

Такая модульность гарантирует, что центральное понимание мира остается неизменным, независимо от того, отвечает ли модель на вопрос, генерирует видео или управляет механическим манипулятором.

Превосходство над специализированными моделями и гигантами

Показатели производительности Orca-4B впечатляют. В текстовых видео-бенчмарках Orca-4B достигла в среднем 51,8%, превзойдя гораздо более крупные модели, такие как Emu3 (34B), и специализированные VLM, такие как DeepSeek-VL2-3B. В задачах предсказания изображений по бенчмарку PRICE-V0.1 Orca-4B набрала 59,8%, обойдя высококлассные генераторы, такие как FLUX.2 small.

Что наиболее впечатляюще, Orca демонстрирует паритет с $\pi$0.5 — системой, построенной исключительно на данных о действиях роботов — в пяти задачах манипуляции, таких как складывание мисок и зачерпывание сахара. Что крайне важно, Orca достигла этого, ни разу не видя меток действий в ходе своей масштабной фазы предварительного обучения. Она даже показала превосходную способность к исправлению ошибок, пробуя заново неудачные захваты там, где специализированные модели часто зацикливались.

Почему это важно для будущего ИИ

Orca решает одну из самых серьезных проблем современной робототехники: хроническую нехватку размеченных данных о действиях. Доказывая, что ИИ может изучать «физику мира» посредством пассивного наблюдения, это исследование прокладывает путь к универсальным роботам, которые могут быть развернуты в новых средах без необходимости в миллионах часов ручного сбора данных телеуправления с ручной разметкой.

Основные выводы

• Основа без учителя: Orca изучает динамику мира через «бессознательное обучение» на неразмеченном видео, снижая зависимость от дорогостоящих наборов данных, аннотированных человеком.
• Модульная архитектура: использование замороженного ядра Qwen3.5 со сменными адаптерами позволяет одной модели одновременно преуспевать в работе с текстом, изображениями и управлении роботами.
• Робототехнический паритет: Orca-4B соответствует производительности специализированных робототехнических систем в задачах манипуляции, несмотря на отсутствие предварительного ознакомления с метками действий во время обучения.