Не впечатляет картина? А ведь это – прорыв. В первый раз человек смог вернуть (нижняя надпись) увиденный другим человеком образ (верхняя надпись), "считывая" его прямо из коры мозга. Не без помощи техники, очевидно (иллюстрация с веб-сайта chunichi.co.jp).
Не вводя в мозг какие-либо электроды, экспериментаторы научились чётко определять — что лицезреет испытуемый. Хотя предъявляемые его взгляду изображения пока ещё чёрно-белые и содержат всего сотку достаточно больших пикселей (применялось изображение 10 х 10), — это большущее достижение в осознании "шаблонов" нейронной активности, связанных со настолько сложными процессами, как восприятие зрительной инфы.
Умопомрачительный опыт японских учёных открывает дорогу к распознаванию в мозге человека и тех изображений, которые он никогда не лицезрел наяву — снов либо воображаемых миров. Только представьте работу художника либо дизайнера, который просто посиживает в кресле и закрыв глаза выдумывает образы, которые здесь же возникают на дисплее компьютера.
Доктор Камитани гласит: "Эта разработка также может применяться в других сферах, не только лишь в распознавании (в голове) зрительных образов. В дальнейшем она, может быть, сможет выявлять чувства и сложные чувственные состояния" (фото с веб-сайта cns.atr.jp).
Такую потрясающую перспективу отрисовывают Юкиясу Камитани (Yukiyasu Kamitani) и его команда из лаборатории вычислительной неврологии института передовых телекоммуникационных исследовательских работ (ATR Computational Neuroscience Laboratories). Вместе с несколькими учёными из ряда других японских институтов и институтов они выполнили первую в мире визуализацию того, что лицезреют люди, основанную на снятии характеристик мозговой активности.
Камитани, кстати, знаком неизменным читателям "Мембраны". Это он и его коллеги в 2006 году выстроили и испытали любопытную вариацию интерфейса мозг-машина (Brain Machine Interface — BMI): человек, лежащий в кольце томографа, демонстрировал рукою разные жесты, а компьютер, делая упор лишь на рисунки мозговой активности, распознавал движения пальцев и выдавал надлежащие команды руке бота, которая повторяла жесты за человеком.
Новенькая работа является глубочайшим развитием того опыта. Лишь на сей раз учёные сосредоточили своё внимание на распознавании в мозге зрительных образов. Зачем, по-прежнему, применили многофункциональную магнитно-резонансную томографию (fMRI).
Опыт 2006 года был намного проще сегодняшнего. Ведь у человека был выбор всего из трёх "символов" – "камень", "ножницы" либо "бумага". Научив машину с неплохой точностью различать эталоны активности нейронов, связанных с этими жестами, жители страны восходящего солнца пошли далее (фото Honda).
Очевидно, никакой томограф не увидит в голове человека "лодки под парусами" либо "солнце над рекой". Всё что он может — это показать изменение в кровотоке через определённые зоны коры, связанные с активностью тех либо других групп нейронов. Но, осознав закономерности в таких конфигурациях, можно научиться делать оборотное преобразование — от возбуждения нейронов к тому, что вызвало эту реакцию — будь то голоса, мысли либо те же самые рисунки, стоящие перед очами.
Этот подход, заметим, отличается от интенсивно развивающегося параллельного направления чтения мыслей, в каком используются обручи либо шлемы с датчиками электроэнцефалограммы. Учёные уже демонстрировали, как таким методом можно управлять гуманоидным роботом, а некие компании даже подготовили к выходу на рынок коммерческие версии BMI такового типа.
С одной стороны, применение массивного сканера fMRI (в отличие от носимых на голове датчиков мозговых волн) ограничивает опыты по чтению мыслей стенками лабораторий (либо госпиталей), с другой, оно позволяет еще детальнее рассмотреть секундные конфигурации в различных зонах коры, вызываемые тем либо другим раздражителем.
Не так давно, кстати, исследователи из Нидерландов научились выявлять в картине мозговой активности следы отдельных звуков речи, услышанной человеком. От этой работы до "телепатического общения" (которое так хочет заполучить Пентагон) — реальная пропасть. Да и 1-ые шаги на этой ниве — важны. Вот и японские экспериментаторы во главе с Юкиясу разъясняют, что даже получение на дисплее 100-пиксельных чёрно-белых картинок, "вынутых" из мозга человека, — только начало. А ведь и этот опыт, если разобраться, не так прост.
Итог нескольких тестов технологии на 2-ух испытуемых. Вверху – предъявленные рисунки. Ниже – сырые реконструированные изображения, каждое получено после 1-го сканирования. Самый нижний ряд – усреднённые восстановленные рисунки (иллюстрация Yukiyasu Kamitani et.al.).
О "ориентировочном угадывании" оковём перебора всех вариантов картинок и их сопоставления с "мозговым отпечатком" здесь не могло быть и речи. Это очень непроизводительно, ведь даже картина, состоящая из 100 чёрных либо белоснежных квадратов, в пределе даёт 2100 вероятных композиций. Это означает, что машина должна была выявлять в картине активности нейронов фактически каждый пиксель увиденной человеком рисунки по отдельности.
Для этого компьютер поначалу был должен выявить закономерности в отклике тех либо других нейронов на предъявляемые рисунки. Чтоб научить машину, экспериментаторы демонстрировали испытуемым 440 "стопиксельных" изображений (сгенерированных случайным образом), в течение 6 секунд каждое (с 6-секундными паузами). Томограф исправно поставлял компу картинки активности групп нейронов в зрительной коре (причём — в трёхмерном пространстве). Потом последовала ещё серия изображений, но уже не со случайным шумом, а с ординарными геометрическими фигурами либо отдельными знаками.
После такового обучения программка отыскала корреляцию меж пикселями на тестовом изображении и включающимися нейронами. А как составленные "правила" оказались верны — было просто проверить.
Во-1-х, людям предъявляли различные обыкновенные картинки (в границах всё той же решётки 10 х 10 точек), которые с неплохой достоверностью "проявлялись" на мониторе. А во-2-х, испытуемым демонстрировали слово Neuron — и оно также исправно отражалось на компьютерном экране.
Аналогичный опыт с предъявлением изображений в течение всего 2 секунд. Как лицезреем, восстановленные по "зрительным мыслям" рисунки размыты, но полностью распознаваемы (иллюстрация Yukiyasu Kamitani et.al.).
Ключом к успеху стало построение моделей отклика групп нейронов на разном масштабе для одной и той же рисунки. Другими словами, получив сигнал с томографа, программка разбивала гипотетичное поле 10 х 10 пикселей (которое ей предстояло заполнить) на перекрывающиеся зоны различного размера (1 х 1 пиксель, 1 х 2 пикселя, 2 х 1, 2 х 2 и т.д.). Потом, пользуясь своими шаблонами, она определяла, какова возможность, что данная группа пикселей белоснежная, чёрная либо является композицией 2-ух этих цветов.
Огромное количество таких оценок позволяло машине выставлять цвет уже для каждого пикселя по отдельности, и такое реконструированное изображение оказывалось очень близким к тому, что лицезрел человек по сути, хотя, естественно, не совпадало стопроцентно.
(Детали этой работы можно отыскать в статье в журнальчике Neuron.)
Общий принцип декодирования "зрительных мыслей" (иллюстрация Yukiyasu Kamitani et.al.).
Чтоб значительно повысить разрешение таких опознаваемых образов, а заодно — научиться считывать и информацию о цвете пикселей, будет нужно ещё пару лет тестов. Зато на горизонте вырисовываются симпатичные картины.
О рисовании одной силой мысли фактически картин либо дизайнерских набросков мы уже упоминали (кстати, в компанию этой области внедрения новейшей технологии навязывается мысленное сочинение музыки, опыты по которому уже издавна идут).
Но это не всё. Врачи, скажем, охотно получили бы "доступ" в мир галлюцинаций на психическом уровне нездоровых людей. Как упростилась бы диагностика и контроль за исцелением заболевания, если б доктора могли на дисплее компьютера следить — что мерещится их подопечным!
Конечная цель японских экспериментаторов смотрится уже незапятанной фантастикой – получение высококачественных цветных образов "впрямую" из мыслей человека (иллюстрации с веб-сайтов pinktentacle.com и chunichi.co.jp).
Доктор Кан Чэн (Kang Cheng) из японского института исследования мозга (RIKEN Brain Science Institute) предвещает, что предстоящее развитие этой технологии в течение 10 лет не только лишь позволит добавить к картинам цвет, но вообщем – перейти к буквальному чтению мыслей "с некоторой степенью точности".
