Психологическая помощь новости психологии и психотерапии
Технология расшифровки мыслей становится все ближе. Нейробиологи из Техасского университета впервые расшифровали данные неинвазивного сканирования мозга и использовали их для восстановления словесного описания и смысла историй, которые люди слышат, видят или даже воображают.
В новом исследовании, опубликованном в Nature Neuroscience, Александр Хут и его коллеги успешно восстановили суть словесного описания, а иногда и точные фразы, используя записи функциональной магнитно-резонансной томографии (фМРТ) мозга трех участников.
Технология, которая может воссоздавать речь на основе сигналов мозга, может быть чрезвычайно полезна для людей, которые не могут говорить из-за таких расстройств, как заболевание двигательных нейронов. В то же время это вызывает опасения за конфиденциальность наших мыслей в будущем.
Расшифровка речи
Модели языкового декодирования, также называемые “декодерами речи”, направлены на использование записей активности мозга человека для обнаружения слов, которые он слышит, воображает или произносит.
До сих пор речевые декодеры использовались только с данными от устройств, хирургически имплантированных в мозг, что ограничивает их полезность. Другие декодеры, которые использовали неинвазивные записи мозговой активности, могли расшифровать отдельные слова или короткие фразы, но не непрерывную речь.
В новом исследовании использовался зависящий от уровня кислорода в крови сигнал, полученный во время ФМРТ-сканирования, который показывает изменения в кровотоке и уровнях насыщения кислородом различных частей мозга. Сосредоточив внимание на паттернах активности в областях мозга и сетях, которые обрабатывают речь, исследователи обнаружили, что их декодер можно обучить реконструировать непрерывную речь (включая некоторые конкретные слова и общее значение предложений).
В частности, декодер использовал реакции мозга трех участников, когда они слушали истории, и генерировал последовательности слов, которые, вероятно, вызывали эти реакции мозга.
Эти последовательности слов хорошо передавали общую суть историй, а в некоторых случаях включали точные слова и фразы.
Исследователи также попросили участников посмотреть немые фильмы и представить истории во время сканирования. В обоих случаях декодеру часто удавалось предугадать суть историй.
Например, одна участница подумала: “У меня еще нет водительских прав”, а декодер предугадал: “Она еще даже не начала учиться вождению”.
Кроме того, когда участники активно слушали одну историю, игнорируя другую, воспроизводимую одновременно, декодер мог определить смысл активно прослушиваемой истории.
Как это работает?
Исследователи начали с того, что предложили каждому участнику лечь внутри фМРТ-сканера и прослушать 16 часов рассказываемых историй, в то время как записывались реакции их мозга.
Затем эти реакции мозга использовались для обучения кодировщика – вычислительной модели, которая пытается предсказать, как мозг будет реагировать на слова, которые слышит пользователь. После тренировки кодировщик мог довольно точно предугадать, как сигналы мозга каждого участника отреагируют на прослушивание заданной цепочки слов.
Однако двигаться в противоположном направлении – от записанных реакций мозга к словам – сложнее.
Модель кодеровщика предназначена для того, чтобы связывать реакции мозга с “семантическими особенностями” или широкими значениями слов и предложений. Для этого система использует оригинальную языковую модель GPT, которая является предшественницей сегодняшней модели GPT-4. Затем декодер генерирует последовательности слов, которые могли бы вызвать наблюдаемые реакции мозга.
| Таблица, показывающая кадры из анимационного фильма рядом с описаниями действия, расшифрованными с помощью МРТ-сканирования. Декодер мог также описывать действие, когда участники смотрели немые фильмы. (Тан и др. / Nature Neuroscience) |
Затем проверяется точность каждой “догадки”, используя ее для прогнозирования ранее зарегистрированной мозговой активности, после чего прогноз сравнивается с фактической зарегистрированной активностью.
Во время этого ресурсоемкого процесса одновременно генерируется несколько догадок, которые ранжируются в порядке точности. Плохие догадки отбрасываются, а хорошие сохраняются. Процесс продолжается угадыванием следующего слова в последовательности и так далее, пока не будет определена наиболее точная последовательность.
Слова и значения
Исследование показало, что для наиболее точных прогнозов необходимы данные из нескольких специфических областей мозга, включая речевую сеть, теменно–височно-затылочную ассоциативную область и префронтальную кору.
Одним из ключевых отличий этой работы от предыдущих стала расшифровка данных. Большинство систем декодирования связывают данные мозга с двигательными особенностями или активностью, зарегистрированной в областях мозга, задействованной в последнем этапе произнесения речи – движении рта и языка. Вместо этого этот декодер работает на уровне идей и смыслов.
Одним из ограничений использования данных фМРТ является их низкое “временное разрешение”. Сигнал, зависящий от уровня кислорода в крови, повышается и понижается примерно в течение 10-секундного периода, в течение которого человек может услышать 20 или более слов. В результате этот метод не может определять отдельные слова, предугадывая только потенциальные значения последовательностей слов.
Не стоит паниковать из-за конфиденциальности… пока
Идея технологии, способной “читать мысли”, вызывает опасения по поводу неприкосновенности частной жизни. Исследователи провели дополнительные эксперименты, чтобы решить некоторые из этих проблем.
Эти эксперименты показали, что нам пока не нужно беспокоиться о том, что наши мысли будут расшифрованы, пока мы идем по улице, или вообще без нашего активного сотрудничества.
Декодер, обученный мыслям одного человека, плохо справлялся с предугадыванием семантических деталей на основе данных другого участника.
Более того, участники могли нарушать расшифровку, отвлекаясь на другую задачу, например, называя животных или рассказывая другую историю.
Движение в сканере также может нарушить работу декодера, поскольку фМРТ- сканер очень чувствителен к движению, поэтому важное значение имеет сотрудничество участников. Учитывая эти требования и потребность в мощных вычислительных ресурсах, крайне маловероятно, что чьи-то мысли могут быть расшифрованы против их воли на данном этапе.
Наконец, декодер в настоящее время не работает с другими данными, кроме фМРТ, что является дорогостоящей и часто непрактичной процедурой. В будущем группа планирует протестировать свой подход на других данных мозга, полученных неинвазивным путем.
Помощь психолога
