Brain2Qwerty v2 от Meta: преодоление разрыва в области неинвазивного ИИ для преобразования сигналов мозга в текст
Последний прорыв Meta в области нейротехнологий приближает нас к созданию бесшовных нейрокомпьютерных интерфейсов, не требующих хирургического вмешательства. Используя передовые языковые модели и массивные наборы данных, система Brain2Qwerty v2 демонстрирует, как неинвазивные датчики могут преобразовывать нейронную активность в связный текст.
Выход за пределы хирургических имплантатов
На протяжении многих лет для высокоточного преобразования сигналов мозга в текст требовались инвазивные хирургические имплантаты, позволяющие достичь низкого уровня ошибок. В то время как имплантированные системы на данный момент лидируют с уровнем ошибок в словах (WER) менее 2%, неинвазивный подход Meta с использованием магнитоэнцефалографии (МЭГ) стремительно сокращает этот разрыв. Измеряя магнитные поля снаружи черепа, исследователи из лаборатории Fundamental AI Research (FAIR) компании Meta могут фиксировать активность моторной коры — сигналы, посылаемые, когда человек намеревается пошевелить пальцами, — для реконструкции набранных предложений.
Масштаб этого исследования значителен: исследователи записывали данные девяти здоровых добровольцев в течение десяти часов каждый, что позволило получить набор данных из 22 000 предложений. Это в десять раз больше данных по сравнению с предыдущей версией Brain2Qwerty v1, что позволило модели отойти от необходимости точной временной метки каждого нажатия клавиши и перейти к асинхронному непрерывному окну сигнала.
Мощь интеграции LLM
Ключевой инновацией в Brain2Qwerty v2 является интеграция дообученной языковой модели Qwen3, которая выступает в роли семантического «сглаживателя». Система обрабатывает сигналы на трех различных уровнях: символы, слова и полные предложения.
Результаты демонстрируют любопытный компромисс между точностью символов и семантическим смыслом:
- Word Error Rate (WER): Модель v2 достигла среднего показателя WER 39%, что является огромным улучшением по сравнению с 55% у необработанного кодировщика и 43%, достигнутыми моделью N-gram в версии v1.
- Character Error Rate (CER): Интересно, что CER для v2 составил 31%, что фактически выше, чем у необработанного кодировщика (28%).
Это происходит потому, что языковая модель Qwen3 отдает приоритет беглости речи и грамматике. Если нейронный сигнал зашумлен, LLM «галлюцинирует» грамматически правильное предложение, которое может не соответствовать задуманным символам. Однако для клинического применения способность передать намеренный смысл (семантическая точность) гораздо важнее, чем идеальное посимвольное написание.
Оптимизация исследований с помощью ИИ
Используя мета-подход к инновациям, Meta задействовала трех независимых ИИ-агентов на базе Claude Opus 4.6 для оптимизации кода модели. Эти агенты успешно выявили высокоэффективные методы, такие как сглаживание меток (label smoothing) и исключение модальностей (modality dropout), превзойдя стандартные методы оптимизации, разработанные человеком. Хотя агенты испытывали трудности с задачами с открытым концом и стабильностью сложного кода, их успех в тонкой настройке гиперпараметров знаменует новую эру, в которой ИИ ускоряет разработку нейротехнологических инструментов.
По мере того как Meta исследует возможности создания портативных МЭГ-датчиков, работающих при комнатной температуре, путь к созданию неинвазивного устройства связи в реальном времени для людей с нарушениями моторики становится все более очевидным.
Основные выводы
- Семантический скачок: Благодаря интеграции языковой модели Qwen3, Brain2Qwerty v2 значительно снизила уровень ошибок в словах до 39%, отдавая приоритет смыслу, а не точности отдельных символов.
- Асинхронная обработка: Новая модель больше не требует точного времени нажатия клавиш, что приближает технологию к неинвазивному использованию в режиме реального времени.
- Модели, оптимизированные ИИ: Meta успешно применила агентов на базе Claude Opus для автоматизации и улучшения оптимизации кода нейронного декодирования.