Чтение мыслей стало реальностью: как британские учёные воссоздали видео по сигналам мозга

Около 8 000 нейронов одновременно записывались у каждой мыши. Когда говорят «вижу тебя насквозь» — ученые имеют в виду именно это.

Если закрыть глаза и представить лицо друга, в голове возникает не чёткая фотография, а что-то размытое. Представьте теперь, что сторонний наблюдатель может увидеть эту «фотографию». Звучит как фантастика, но британские учёные добились подобного эффекта — правда, пока на мышах, пишет Hi-NEWS. Исследователи восстановили 10-секундные видеоклипы, опираясь исключительно на нейронную активность грызунов.

В последние годы учёные пытались «обратить» работу мозга: превратить нейронные сигналы обратно в изображение. Раньше для этого применяли фМРТ — метод, фиксирующий приток крови к участкам мозга. Он даёт общий обзор, но теряет детали, потому что регистрирует активность больших групп нейронов одновременно.

Другой подход — одиночные нейроны

Команда британских исследователей выбрала иной путь: они записывали активность отдельных клеток зрительной коры мыши. Это позволило наблюдать каждый нейрон в отдельности и получить принципиально более тонкие данные. Как пояснил ведущий автор исследования доктор Джоэл Бауэр, существующие методы плохо обобщаются на новые ситуации; поэтому учёные стремились создать модель, фиксирующую именно то, что представлено в мозге, и сопоставлять это с реальностью.

Как именно работал алгоритм

В основе метода — так называемая динамическая модель нейронного кодирования (DNEM). По сути, это предсказательная система, обучающаяся прогнозировать, как каждый отдельный нейрон отреагирует на конкретный кадр видео.

Модель учитывала не только видеоряд, но и поведение мыши: движения тела и расширение зрачков. Внутреннее состояние животного влияет на восприятие — при активном движении или расширенных зрачках нейроны реагируют иначе, чем в спокойном состоянии.

Для отслеживания «включённых» клеток исследователи фиксировали локальные всплески уровня кальция — надёжный маркер нейронной активности. Реальную активность сравнивали с предсказанием модели для сценария с пустым экраном. Начиная с «чистого холста», алгоритм по шагам обновлял пиксели на основе отклонений от предсказанной активности, пока восстановленное изображение не стало соответствовать тому, что видела мышь.

Что удалось восстановить

Кульминация эксперимента пришлась на проверку: учёные показали мышам новое видео, которое не использовалось при обучении модели, и попытались его реконструировать только по нейронным сигналам — и им это удалось.

Доктор Бауэр отмечает: точность реконструкции зависит от объёма данных. В эксперименте активность записывалась примерно с 8 000 нейронов зрительной коры каждой мыши.

Качество оценивали методом пиксельной корреляции — статистикой, сравнивающей оригинал и сгенерированную версию покадрово. Предыдущие попытки восстанавливать статичные изображения показывали корреляцию около 0,24. Новый подход воссоздал динамическое видео с корреляцией 0,57 — почти вдвое лучше и для полноценного видеоряда.



Мысли мышей, которые ученым удалось расшифровать. Источник изображения: YouTube-канал
Mouse EyeSpy

Что это говорит о памяти и восприятии

Самое интересное — не только чёткость восстановления, но и характер ошибок. Мозг мыши, как и человеческий, не ведёт запись реальности «как есть»: он активно интерпретирует и преобразует поступающую информацию.

По словам доктора Бауэра, у нас нет идеальной внутренней «копии» мира. Зрительный поток искажается и модифицируется: мозг усиливает одни сигналы и игнорирует другие, что помогает животному ориентироваться и выживать. Другими словами, мозг — не пассивный регистратор, а редактор восприятия, отбирающий важное и отбрасывающий лишнее.

Зачем это нужно

Исследователи намерены повысить разрешение реконструкций, чтобы шире охватить то, как мозг «видит» мир и точнее фиксировать его искажения. Практические применения выходят за пределы базовой науки: технология поможет понять, как разные виды воспринимают окружение, и может пролить свет на визуальные нарушения и неврологические болезни, связанные с нарушениями «монтажа» реальности.

Возможность «посмотреть» глазами другого организма впечатляет, но важнее то, что учёные получили инструмент для ...иза того, как мозг формирует и трансформирует представления о мире — а это может оказаться важнее любой идеальной копии.

Чтение мыслей стало реальностью: как британские учёные воссоздали видео по сигналам мозга • Опубликовано на FiNE NEWS

Источник