Специалисты Университета Пердью научили сверхточную нейронную сеть считыванию визуальных образов из мозга. Они смогли научить искусственный интеллект декодировать сигналы фМРТ, пока люди смотрели видео.
Сверточные нейронные сети — это специфический алгоритм глубокого обучения, который позволяет изучать то, как мозг обрабатывает статические изображения и другие зрительные стимулы. Они впервые использовались для того, чтобы обрабатывать динамичные сцены, что стало ещё одним шагом к расшифровке мыслей.
Исследователи изучили 11,5 часов фМР-сканирования мозга трех женщин, которые просмотрели 972 видеоклипа с присутствием людей или животных в городской среде или на природе. Данные использовались для того, чтобы обучить нейросеть прогнозировать в процессе просмотра видео активность зрительной коры.
Затем на основе этого ученые создали модель, которая смогла точно декодировать данные фМРТ в определенные категории изображений. После этого настоящие видео запускались вместе с интерпретацией компьютером мозговой активности. Итог компьютерной обработки оказался не слишком качественным, но это только начало.
Исследователи также смогли использовать эту модель для того, чтобы на основании данных, полученных от одного человека, предсказать и декодировать мозговую деятельность другого — так называемое кодирование и декодирование по перекрестным темам.