Ученые нашли способ преобразовать сигналы в мозге в речь

Команда нейроинженеров из Колумбийского университета разработала систему, которая может преобразовывать мысль в разборчивую речь. В новом эксперименте специалистам удалось “озвучить” таким образом сигналы, формирующиеся в мозге при прослушивании слов. О своем исследовании они рассказали сегодня на страницах журнала Scientific Reports.

За десятилетия изысканий удалось узнать, что когда человек говорит или представляет, как он говорит, в головном мозге возникает характерная активность. Особые сигналы также формируются при прослушивании чьей-либо речи или представлении этого. Теперь же они задались целью записать и расшифровать эти сигналы, тем самым преобразовав их в понятную речь.

В данном эксперименте ученые использовали вокодер — компьютерный алгоритм, способный синтезировать речь, предварительно “научившись” этому путем анализа образцов человеческой речи. Эта же технология используется в Amazon Echo и Apple Siri для предоставления устных ответов после запроса. Чтобы научить вокодер интерпретировать активность в мозге, специалисты попросили пациентов, страдающих эпилепсией и проходящих курс лечения и подвергающихся оперативным вмешательствам на мозге, прослушать несколько предложений, начитанных разными людьми. При этом фиксировалась электрическая активность в их головном мозге. Таким образом вокодер “натренировался” анализировать нейронную деятельность. Затем тех же добровольцев попросили прослушать, как начитываются цифры от 0 до 9; формирующиеся при этом сигналы в мозге записывались вокодером, а затем система могла их преобразовать. Звук, производимый вокодером в ответ на данные сигналы, анализировался системой нейронных сетей — искусственным интеллектом, имитирующим структуру нейронов в мозге. В результате синтезировалась речь — робот начитывал последовательность цифр, услышанных пациентами, при этом разобрать сказанное можно было в 75% случаев. Такая точность является чрезвычайно высокой.

Ученые надеются, что новая технология поможет вновь взаимодействовать с людьми тем, кто говорить не может, например, больным, страдающим боковым амиотрофическим склерозом (БАС) или восстанавливающимся после инсульта. В дальнейшем они хотят протестировать систему, сможет ли она обрабатывать более сложные слова и целые предложения, а также применяться для преобразования сигналов в мозге во время речи или представления ее.