«У меня есть мысль, и я ее думаю»: ученые разработали технологию общения без слов
Нейробиологи из Стэнфордского университета расшифровали внутреннюю речь человека по записи активности моторной коры. С помощью технологий «мозг — компьютер» и алгоритмов машинного обучения им удалось в реальном времени декодировать мысленно произнесенные слова с точностью до 74 %.
Обычно для распознавания речи электроды устанавливают в моторную кору — участок лобной доли больших полушарий, — чтобы записывать активность двигательных нейронов, задействованных в произношении. Если же артикуляция невозможна, считывание слов значительно усложняется. Поэтому одна из ключевых задач для специалистов, создающих нейроинтерфейсы, — расшифровка внутренней речи пациентов, неспособных говорить или даже пытаться произнести слова.
Группе исследователей под руководством Фрэнсиса Уиллетта удалось создать такую технологию. В эксперименте участвовали четыре пациента с боковым амиотрофическим склерозом: трое страдали дизартрией — не могли внятно говорить, а четвертый был полностью парализован, находился на аппарате искусственной вентиляции легких и общался лишь с помощью движений глаз.
Участникам имплантировали массивы микроскопических электродов в моторную кору вдоль прецентральной извилины — области, отвечающей за планирование и реализацию движений, в том числе в речи. Во время эксперимента пациентов просили мысленно произносить слова и предложения разной длины, начиная с блока из 50 слов и расширяя словарь до 125 тысяч.
Записи мозговой активности позволили реконструировать нейронные паттерны внутренней речи и сравнить их с паттернами при реальной артикуляции. Выяснилось, что эти процессы активировали одни и те же регионы моторной коры, однако интенсивность сигналов без движения губ была значительно слабее.
Кроме того, пациентам давали различные задания, чтобы спровоцировать произвольную внут- реннюю речь. Одному из них, например, предложили смотреть на изображения трех стрелок и последовательно выполнять соответствующие движения джойстиком. Правильно определить направление системе удалось с точностью около 80 %. В конце участников попросили подумать на произвольные темы, например вспомнить любимую цитату из фильма или представить любимое блюдо. Декодер неплохо справлялся с задачей распознавания и в этом случае, однако расшифрованные фразы представляли собой лишь набор слов, а не цельное высказывание.
Так как эксперимент прошел довольно успешно, ученые отдельно обучили декодер предотвращать непроизвольное чтение мыслей. Технология запускает расшифровку сигналов только после мысленно произнесенного кодового слова. Например, в одном из опытов использовалась фраза Chitty Chitty Bang Bang. Наличие или отсутствие такого кодового ключа система правильно определяла в 98 % случаев.
Технологии речевых нейроинтерфейсов продолжают совершенствоваться: если ранее испытуемые могли лишь медленно управлять курсором силой мысли, то сегодня инвазивные устройства уже способны почти безошибочно расшифровывать внутреннюю речь. В будущем эта технология может стать обыденным и незаменимым инструментом для людей с различными речевыми нарушениями.
Фото на обложке: freepik.com
