Исследователи Калифорнийского университета в Сан-Франциско впервые одновременно преобразовали сигналы одного мозгового импланта в текст и жесты персонального цифрового аватара. Доказательство принципа проверили у двух людей с тяжёлым параличом; работу опубликовал журнал Nature Neuroscience.

Раньше интерфейсы «мозг — компьютер» обычно восстанавливали либо речь, либо движение. В новой системе 253 электрода считывали активность двигательной коры, а отдельные нейросетевые декодеры для каждого участника распознавали попытки произнести одну из заданных фраз и выполнить жест — например, кивнуть, помахать рукой или показать большой палец. Текст появлялся на экране, а распознанный жест выполнял аватар.

В одновременных офлайн-тестах точность распознавания речи составила 77,5% и 84%, жестов — 68,8% и 88,3% для двух участников. Модели, обученные на сочетаниях речи и жестов, справлялись с ними лучше моделей, видевших эти действия только по отдельности: смешанное выражение оказалось не простой суммой двух сигналов.

Это пока не устройство для повседневного использования. Система проводная, словарь и набор жестов ограничены, а разговорный тест включал лишь несколько коротких блоков у двух человек. Результат показывает, что один имплант способен вернуть сразу несколько каналов общения; теперь исследователи хотят проверить полностью имплантируемую беспроводную версию.