Эпоха исключительно цифрового ИИ трансформируется: стартапы стремятся преодолеть разрыв между программным интеллектом и физическим исполнением. Perceptron, новое предприятие, основанное бывшими исследователями Meta AI, возглавляет это движение, разрабатывая передовые модели компьютерного зрения, предназначенные для того, чтобы машины могли ориентироваться в реальном мире и взаимодействовать с ним.

Разрушая бинарность: универсальные модели против узкоспециализированных

На протяжении многих лет промышленная автоматизация находилась в техническом тупике. Разработчикам обычно приходилось выбирать между массивными универсальными базовыми моделями, требующими дорогостоящих выделенных облачных GPU для каждого отдельного экземпляра, или узкоспециализированными моделями, которые могут отвечать за восприятие или управление, но не обладают способностью делать и то, и другое одновременно.

Соучредители Perceptron, Армен Агаджанян и Акшат Шривастава — оба выпускники подразделения Meta Fundamental AI Research (FAIR) — пытаются решить эту проблему с помощью своей новой модели Isaac 0.5. В отличие от существующего программного обеспечения, предназначенного для выполнения одиночных повторяющихся задач, Isaac 0.5 является моделью общего назначения. Она наделяет роботов способностью «воспринимать, рассуждать и действовать», позволяя им адаптироваться к различным средам, а не быть жестко запрограммированными на одно конкретное движение.

Механика физического интеллекта

Чтобы понять сложность подхода Perceptron, нужно рассмотреть стандартную складскую задачу, например, сортировку посылок. Робот не может просто «взять коробку»; он должен сначала считать этикетки, провести пространственный анализ для картирования окружения, определить оптимальный порядок сборки и спланировать свою физическую траекторию.

Isaac 0.5 разработана для управления этими многоступенчатыми когнитивными процессами. Модель обучалась в огромных масштабах, поглотив миллион часов видеоданных общего характера для распознавания различных условий и сценариев. Чтобы освоить физическую ловкость, компания использовала «ego video» (видео от первого лица с носимых камер) и UMI-видео (записи повторяющихся действий человека), чтобы научить ИИ тому, как движение трансформируется в выполнение задачи. Шривастава отметил, что компания создала наборы данных петабайтного масштаба, охватывающие изображения, текст, видео и траектории движения роботов, чтобы достичь такого уровня «алгоритмической алхимии».

Стратегия открытых весов и расширение рынка

Стремясь обеспечить прозрачность и способствовать внедрению разработчиками, Perceptron выпускает Isaac 0.5 как модель с открытыми весами (open-weight model). Это позволяет исследователям и инженерам изучать её параметры и обучающие материалы, что является критически важным шагом для интеграции ИИ в высокорисковые промышленные среды, где предсказуемость имеет первостепенное значение.

При поддержке раунда финансирования в размере 21 миллиона долларов под руководством Bessemer Venture Partners, Perceptron позиционирует себя как интеллектуальный слой для широкого спектра секторов. Хотя основное внимание уделяется логистике и производству, компания видит возможности немедленного применения в сфере безопасности, мобильности и даже в медиа и развлечениях. Предоставляя гибкий интеллектуальный слой, Perceptron стремится изменить принципы работы роботов с компьютерным зрением во всем мировом промышленном ландшафте.

Основные выводы

  • Преодоление разрыва: Isaac 0.5 стремится устранить необходимость выбора между ресурсоемкими универсальными моделями и ограниченными узкоспециализированными моделями, предлагая универсальную структуру «восприятие, рассуждение и действие».
  • Масштаб обучения: Модель использует миллион часов видеоданных, включая ego-centric и UMI-видео, чтобы обучить роботов сложным пространственным и мануальным задачам.
  • Доступность открытых весов: Выпуская Isaac 0.5 с открытыми весами, Perceptron обеспечивает возможность более глубокого анализа и быстрой интеграции передового ИИ компьютерного зрения в промышленные рабочие процессы.

Perceptron представила Isaac 0.5 — модель компьютерного зрения с открытыми весами, которая обещает дать роботам единый «мозг» для восприятия, рассуждения и действия (perceive-reason-act). Стартап привлек 21 миллион долларов под руководством Bessemer Venture Partners и позиционирует модель как готовый интеллектуальный слой для логистики, производства и других рынков физической автоматизации.

Почему этот запуск важен

Промышленные роботы долгое время были вынуждены идти на компромисс. Развертываете массивную универсальную базовую модель — и платите за постоянный доступ к облачным GPU; придерживаетесь узкой специализированной системы зрения — и теряете гибкость при изменении среды. Isaac 0.5 позиционируется как золотая середина — одна модель, которая может управлять восприятием, планированием и контролем без необходимости выделенных облачных вычислений для каждого экземпляра.

Проблема современных «мозгов» роботов

Типичный складской робот делает гораздо больше, чем просто захватывает коробку. Он должен считать этикетку, найти предмет среди беспорядка, определить оптимальную последовательность захвата и рассчитать траекторию движения манипулятора без столкновений — и всё это в режиме реального времени. Существующие решения обычно разделяют эти этапы между отдельными программными компонентами: легковесным детектором для этикетки, созданным вручную планировщиком движений и контроллером выполнения на основе правил. Такое разделение создает накладные расходы на интеграцию и ограничивает способность робота адаптироваться при появлении нового продукта, типа упаковки или изменения планировки.

Как Isaac 0.5 пытается преодолеть этот разрыв

Сооснователи Perceptron, Армен Агаджанян и Акшат Шривастава, оба бывшие исследователи Meta FAIR, разработали Isaac 0.5 как единую сквозную (end-to-end) нейросеть. Модель обучалась примерно на одном миллионе часов общих видеоданных, охватывающих огромное разнообразие сцен в помещениях и на открытом воздухе. Что немаловажно, обучающий набор также включает «ego video» — видео от первого лица, снятое на носимые камеры, — и «UMI video», записи повторяющихся действий человека. По утверждению Perceptron, подавая в сеть визуальные потоки в сочетании с данными о траекториях робота, модель учится тому, как визуальные сигналы преобразуются в физические движения.

Компания заявляет, что её набор данных охватывает петабайты изображений, текста, видео и траекторий роботов. Такая широта охвата призвана дать Isaac 0.5 возможность распознавать новый объект, определять его аффордансы (возможности захвата) и генерировать план движения — и всё это без отдельного модуля управления.

Модель с открытыми весами: прозрачность и практичность

В отличие от большинства коммерческих ИИ-решений, предоставляющих только API, Perceptron выпускает Isaac 0.5 с открытыми весами. Инженеры могут изучать параметры, дообучать сеть на собственных данных или внедрять модель непосредственно в периферийное оборудование (edge hardware).