Компьютеры воссоздают наши мысли
Ученые представили нейросеть, способную реконструировать изображения букв, геометрических фигур, образы животных и предметов из данных о мозговой активности людей, которые смотрят на эти изображения. Об этом сообщает интернет-издание N+1 со ссылкой на препринт, опубликованный в репозитории bioRxiv.
Исследователи из Киотского университета под руководством Юкиасу Камитани (Yukiyasu Kamitani) разработали новую технику декодирования, которая расшифровывает сложные цветные образы, например, изображения людей и животных. Они не стали учить нейросеть распознавать отдельные пиксели или простые формы, а имитировали работу человеческого мозга, который обрабатывает визуальную информацию иерархически.
Созданная учеными нейросеть работает с помощью декодера образцов изображения в мозговой активности. Ее обучили на небольших изменениях активности нейронов, возникавших при просмотре мало отличающихся друг от друга изображений. Для этого добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии, продемонстрировали 1200 изображений. Каждую картинку участники эксперимента видели по пять раз. В результате эксперимента нейросеть удалось реконструировать по данным МРТ изображения реальных объектов. Это значит, что компьютер научился обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений.
Такой результат получен за счет введения в систему дополнительной глубокой генеративной нейросети. Она делает свойства полученного из мозговой активности изображения максимально похожими на свойства изначального изображения.
Авторы алгоритма отмечают, что эффективность новой нейросети оказалась достаточно высокой, и планируют продолжать работу над ее улучшением.