Article: The frontier of physical AI hits a massive bottleneck: we lack high-fidelity, real-world training data. Large Language Models grew by scraping the internet’s text; robotics needs a far costlier approach.

The Data Scarcity Problem in Robotics

For humanoid and warehouse robots to match human dexterity, they need a data scale that simply isn’t there. Vineeth Velmurugan, Encord’s head of robot learning and a veteran of OpenAI’s robot lab, says breakthrough requires a dataset about five times the size of YouTube’s entire video corpus.

Text is abundant and free to scrape. Physical data must be manufactured. Training from video alone often misses the fidelity needed for complex manipulation. The industry has therefore shifted from tweaking model architecture to solving the much harder problem of manufacturing high-quality, annotated physical data.

Beyond Video: Using Brain Waves and Muscle Signals

Startups like Encord are testing new data modalities to give robots deeper context. In a pilot with German neuroscience startup Zander Labs, Encord equips operators with brain-wave headsets. By measuring neural activity, researchers hope to infer intent, error and surprise.

Lucas Gehrke, a neuroscientist at Zander, says tracking brain activity lets model builders know exactly when a robot should fire its most powerful computational models for a tough task.

Encord also explores:

  • Electromyography (EMG): Sensors strapped to the forearm capture electrical signals in muscles, creating a 3-D map of hand movements that head-mounted cameras often miss.
  • Leader-Follower Rigs: Paired robotic arms where one mimics a human operator, capturing precise actions such as pouring liquids or stacking poker chips.
  • Dense Annotation: Labels like “right hand tightens bolt.” Velmurugan estimates this dense annotation is 100 × more valuable than raw ego video for training specific tasks.

The Economic Reality of Physical AI

Moving from digital-first AI to physical AI flips the economics of machine learning. LLM labs built models at near-zero marginal cost by pulling from the web. Producing robot training data demands hardware, human operators and painstaking annotation. Encord aims to make high-quality data 20 × more cost-effective than its delivered value, yet even that translates into multi-million-dollar projects for large robot fleets.

Companies that generate massive, richly annotated datasets first will dominate autonomous manipulation—from plugging in Ethernet cables to picking and packing items. Those that cling to video-only pipelines risk falling behind as competitors harvest richer signals from the human body and brain.

Key Takeaways

  • Data Manufacturing vs. Collection: Physical AI requires the expensive, manual manufacturing of high-fidelity datasets, unlike LLMs that scrape existing internet data.
  • Neurological Modalities: Adding brain waves and EMG lets robots grasp human intent, error and 3-D hand movements more effectively than video alone.
  • The Scale Challenge: Robotics models need a dataset far larger than the entire YouTube archive; data generation is now the primary business frontier.

Encord has begun a pilot with German neuroscience startup Zander Labs that equips operators with brain-wave headsets and forearm EMG sensors to capture high-fidelity training data for physical AI. The partnership aims to produce a dataset large enough to rival five times the total volume of YouTube videos—a scale researchers say is required for robots to reach human-level dexterity and could reshape how robotics learns.

Why robotics data is a bottleneck

Large language models grew by scraping the open web; the raw material was abundant and cheap. Physical AI, by contrast, needs data that must be manufactured. Every grasp, twist or pour must be recorded, annotated and linked to the forces and intentions that produced it. Ordinary video often misses the subtle cues needed for complex manipulation, leaving a gap between today’s models and the demands of factories, warehouses and homes.

Vineeth Velmurugan, Encord’s head of robot learning and a former OpenAI robot-lab veteran, says the field will not move forward until a dataset roughly five times the size of YouTube’s video corpus exists. The problem is no longer model architecture; it is how to manufacture the data.

Dodawanie fal mózgowych i sygnałów mięśniowych

Pilotażowy program Encord-Zander próbuje wypełnić tę lukę, dodając sygnały fizjologiczne do zapisu wizualnego. Operatorzy noszą słuchawki odczytujące elektroencefalografię (EEG) – aktywność elektryczną mózgu – podczas gdy czujniki EMG na przedramieniu rejestrują impulsy mięśniowe. Celem jest wnioskowanie o stanach mentalnych, takich jak intencja, zaskoczenie czy błąd, oraz przekształcenie surowej aktywności mięśniowej w trójwymiarową mapę ruchu dłoni, której sam obraz wideo nie jest w stanie uchwycić.

Lucas Gehrke, neurobiolog w Zander, wyjaśnia, że wiedza o tym, kiedy człowiek przewiduje trudne podzadanie, pozwala robotowi przydzielić swoje najpotężniejsze modele obliczeniowe we właściwym momencie.

Poza danymi neurobiologicznymi, Encord testuje kilka uzupełniających technik:

  • Elektromiografia (EMG): Czujniki na przedramieniu generują odczyt aktywacji mięśni w czasie rzeczywistym, umożliwiając precyzyjną rekonstrukcję trajektorii palców, które kamery montowane na głowie często pomijają.
  • Układy typu leader-follower: Para ramion robotycznych pracuje w tandemie, z których jedno naśladuje ruchy ludzkiego operatora. Pozwala to na rejestrację delikatnych zadań – takich jak nalewanie płynów czy układanie chipów – gdzie mają znaczenie błędy w skali milimetrowej.
  • Gęsta anotacja: Zamiast etykietować tylko działania na wysokim poziomie, zespół Velmurugana dodaje szczegółowe opisy, takie jak „prawa ręka dokręca śrubę”. Szacuje on, że ten poziom szczegółowości jest około 100-krotnie bardziej wartościowy dla trenowania konkretnej umiejętności manipulacji niż surowe wideo egocentryczne.

Ekonomia produkcji danych

Fizyczna sztuczna inteligencja (Physical AI) zmienia rachunek ekonomiczny uczenia maszynowego. Laboratoria LLM budowały modele przy niemal zerowym koszcie krańcowym, ponieważ internet dostarcza nieskończoną ilość tekstu. Jednak produkcja danych do trenowania robotów wymaga sprzętu, operatorów oraz żmudnej anotacji. Wewnętrznym celem Encord jest sprawienie, aby wysokiej jakości dane były 20-krotnie bardziej opłacalne w stosunku do wartości, jaką dostarczają klientom, ale nawet ta agresywna efektywność wciąż przekłada się na wielomilionowe projekty dla wielkoskalowych flot robotów.

Stawka jest jasna: firmy, które jako pierwsze wygenerują ogromne, bogato anotowane zbiory danych, zdominują rodzący się rynek autonomicznej manipulacji – niezależnie od tego, czy oznacza to podłączanie kabli Ethernet w serwerowni, czy kompletowanie i pakowanie towarów w centrum dystrybucyjnym. Te, które nadal będą polegać wyłącznie na potokach przetwarzania wideo, ryzykują pozostanie w tyle, podczas gdy konkurenci będą wydobywać bogatsze sygnały z ludzkiego ciała i mózgu.

Kontrargumenty i otwarte pytania

Nie wszyscy są przekonani, że sygnały neurobiologiczne są brakującym elementem. Krytycy argumentują, że dodatkowa złożoność sprzętowa może przeważyć nad korzyściami, zwłaszcza gdy połączenie wideo z czujnikami siły i momentu obrotowego zapewnia już wystarczającą wydajność w wielu zadaniach przemysłowych. Innym problemem jest skalowalność: wyposażenie tysięcy operatorów w słuchawki EEG i zestawy EMG może okazać się zbyt kosztowne dla mniejszych producentów.

Proces generowania danych pozostaje pracochłonny. Nawet przy użyciu układów typu leader-follower, uchwycenie szerokiego zakresu zadań niezbędnych dla prawdziwie ogólnego robota będzie wymagało ciągłego, skoordynowanego wysiłku wielu laboratoriów i fabryk. Rynek będzie musiał zdecydować, czy przyrostowe zyski w wydajności uzasadniają początkowe nakłady inwestycyjne.

Na co warto zwrócić uwagę

  • Kamienie milowe objętości danych: Twierdzenie Encord o zbiorze danych pięciokrotnie większym niż YouTube będzie konkretnym punktem odniesienia. Po jego ujawnieniu inni gracze będą mieli jasny cel do osiągnięcia lub przekroczenia.
  • Tempo adopcji sprzętu: Szybkość, z jaką urządzenia EEG i EMG staną się standardem w zestawach do zbierania danych, wskaże, czy to podejście można skalować poza fazę pilotażowych eksperymentów.
  • Metryki kosztowe: Jeśli Encord będzie w stanie udowodnić obiecującą 20-krotną przewagę kosztową, może to wywołać falę nowych podmiotów skupionych na „produkcji danych”, a nie na projektowaniu modeli.
  • Luki w wydajności