智东西（公众号：zhidxcom）
编 | 心缘
堪比“读心术”的脑机接口又有了新进展。
只要戴上脑电帽，你脑海里的画面就会被实时复制到计算机屏幕上。
这项新研究刚刚登上《Nature》子刊，由来自俄罗斯公司Neurobotics和莫斯科物理与技术学院（MIPT）的研究人员实现。其研究成果的预印本已在bioRxiv上发表，暂未经同行评审认证。
研究人员采用非侵入式脑机接口，开发了一种新型深度学习神经反馈模型，让受试者观看由多个不同类型的视频片段所组成的连续视频，试图将受试者看到的画面实时重建在计算机屏幕上。
效果如下，虽说实现的效果还比较模糊，但基本上足够分辨图像内容所属的类型。根据测试结果，约90%的重建图像可被轻松归类。
▲基于脑机接口和深度学习模型重建受试者看见的画面
论文链接：https://www.biorxiv.org/content/biorxiv/early/2019/10/16/787101.full-text.pdf
一、用深度学习模型提取脑电图特征
为了开发由大脑控制的设备，探索认知障碍治疗和中风后康复的方法，神经生物学家需要了解大脑如何编码信息。
其中一个关键方面，即是研究人们在观看视频时感知视觉信息的大脑活动。
然而，现有的两种常用解决方法，使用功能磁共振成像（MRI）、通过植入物直接从神经元提取信号，在临床实践和日常生活中的应用都相当有限。
对此，MIPT和Neurobotics研究人员在研究中设立了两个核心目的：
（1）探索视觉刺激对受试者大脑活动状态的持续影响；
（2）研发一种模型，能从给定类别的观察中提取脑电图（EEG）特征，并重建相同类别的自然图像空间。
他们假设观察不同类别的视觉刺激，会触发不同的大脑状态，借助非侵入式脑机接口，不需要在头皮植入任何外来物，即可通过无创地紧贴头皮的电极，记录脑电波，然后基于人工神经网络，分析大脑活动并实时重建受试者看到的图像。
▲脑机接口系统的操作方法。（图源：Anatoly Bobe/神经机器人）
MIPT初级研究员、Neurobotics的程序员Grigory Rashkov，据他解释：“脑电图是从头皮记录的大脑信号的集合。研究人员过去认为，通过脑电图研究大脑的过程就像通过分析蒸汽火车遗留的烟雾来弄清蒸汽发动机的内部结构一样。”
MIPT Neurorobotics实验室负责人Vladimir Konyshev表示，他们正在进行国家技术计划的神经网络辅助技术（Neuronet Assistive Technologies）项目，该项目的重点是打造一种脑机接口，使中风患者通过控制外骨骼手臂以神经康复，或者使瘫痪患者的患者能驾驶电动轮椅。
二、研究实验的两个阶段
这一研究实验基于脑电图来完成，主要分为两个阶段。
在第一阶段，神经生物学家要求健康的受试者观看21分钟的视频序列。
这些视频序列由117个随机混合的视频剪辑组成，每个剪辑时长6-10秒，并在连续的剪辑间插入了1-3秒的黑屏过渡。每个视频序列由25个视频剪辑组成，考虑到类别的低变异性和此类视频引起的疲劳效果，仅显示出17个视频剪辑片段。
该小组随机选择了五个视频类别：抽象形状、瀑布、人脸、移动装置、赛车。通过分析脑电图数据，研究人员发现，每种视频类别的脑电波模式都是不同的。 这使团队能够实时分析大脑对视频的反应。
▲每种刺激类别中的一些视频剪辑实例
在第二阶段，研究人员从最初的五个类别中随机选择了三个随机类别进行模型训练。
研究人员首先假定一个合适的视觉反馈应满足如下标准：
（1）动态表示脑波的解码过程；
（2）至少保留重建对象的通用性内容，以便对象始终可识别解码后的类别；
（3）即使信号变得嘈杂或不一致，也应避免在类别类型之间快速或突然切换；
（4）以适当形式的“不确定”图像来表示分类器不确定性。
为了满足这些需求，他们开发了一种基于深度学习的可视化神经反馈模型（neurofeedback model），由两个单独训练的深度神经网络组成。其中一个用于解码不同类别的图像，另一个将脑电图特征转换为图像解码器的空间域。
下一步，研究团队训练两个网络协同工作，将脑电图信号转化为与测试对象所看内容相似的实际图像。
三、图像解码模型与脑电图特征映射网络
具体而言，将在降维阶段后获得的20维脑电图特征向量，映射到预训练图像自动编码器的潜空间中，能够重建几个预先学习的类别的自然图像。
图像解码模型独立于任何神经生理学数据，仅凭一组刺激图像就可以进行预训练。而特征映射模型需要单独训练，因为它需要使用脑电图特征库和训练好的图像解码器。
1、图像解码器
图像解码器（ID）是图像到图像卷积自动编码器模型的一部分。 编码器部分基于预训练的VGG-11模型； 解码器部分由一个全连接输入层组成，用于增强维度，然后是5个解卷积块，每个解卷积块都包含一个解卷积层，再之后是ReLU激活，最后是解卷积块包含双曲正切激活层。一个解码器会产生192x192x3维的彩色图像。（如下图a）
除了图像重建之外，解码器模型应有一个潜在空间的特定分布。研究人员们通过引入如上图b所示的训练过程来解决这一问题。
2、脑电图特征映射网络
脑电图特征映射网络（FM）的目的是将数据从脑电图特征域（f）转换为图像解码器潜在的空间域（f’）。
▲脑电图特征映射器。 a）模型结构； b）训练过程
理想情况下，受试者观察到的图像和在观察时被记录的脑电图，最终将转换为相同的潜在空间矢量，以便解码器能根据受试者刚才看到或想象的内容，生成适当的可视化效果。
另一个问题是如何应对嘈杂的数据或不一致的数据。
由于存在未检测到的伪像，或者受试者分散注意力，实时记录场景中的脑电图信号属性可能会发生显着变化。此时应避免反馈系统出现混乱的图像切换，因为这会给受试者带来过大的压力。
使用连续数据这一事实，为利用循环网络模型解决任务奠定了基础。在研究中，研究人员们使用长短期记忆网络（LSTM）细胞作为循环单元。
他们还引入了注意力机制，使模型强调了关键数据的特征，并确保了对异常值的更好的稳定性。
四、约90%的重建图像可被轻松归类
神经反馈模型的实时评估和结果用Python实现，深度学习模型使用了PyTorch库，运行于装有Intel i7处理器、NVIDIA GeForce 1050 Ti GPU和8Gb RAM的计算机上。实时采集脑电图数据则通过来自放大器的实时读取数据流（LSL， lab streaming layer）实现。
从脑电图数据采集、过滤、特征提取到图像重建，处理速度接近每秒3帧。
在做实时实验前，研究人员们针对不同主题记录的数据，以仿真的形式测试其神经反馈模型。他们在三个类别上训练了反馈模型，但由于尚无反馈可视化质量的客观标准，该研究依靠主观判断来衡量获得的结果。
通常，约90%的重建图像可被轻松归类。当分类器预测的越多，越是建立分类器预测与重建图像对象类别间的正确对应关系。
▲4种物体类别的重建图像示例
为了测试系统可视化大脑活动的能力，研究人员向受试者显示了以前从未观看过的相同类别的视频。
为了实时测试其神经反馈系统，研究人员们让其中一位受试者再次观看测试中的实验视频，结果发现模型的表现与在仿真阶段的表现相同。
他们还让受试对象观看呈现的反馈图像，而不是实际的视频剪辑，并尝试根据自己的意愿在不同类别之间进行切换。 在10分钟的训练中，受试对象设法掌握了三个被提供类别中的两个类别之间的虚构切换。
如图是正在运行的实时实验，屏幕左上角可看到原始大小（192×192）的重建图像，研究者将脑电图记录软件窗口放置在与神经反馈输出相同的显示器上。 在评估过程中，他们隐藏了此窗口，以最大程度地减少对受试者的干扰。
结语：对认知障碍患者或将大有裨益
这项研究的实验结果表明，通过视频剪辑的形式向受试对象呈现视觉刺激，可调节脑电活动。同时，研究学者们提出的非侵入式脑机接口系统，可根据受试者的脑电图特征进行实时图像重建。
其刺激方案可被认为是一种认知测试，每个人对不同类别的视觉测试都会有特定的反应。
这使得有效的脑机接口系统可能从一些刺激中获得重要价值，另一个好处是不需要额外的认知任务来进行注意力或记忆，并且受试者可以在整个实验过程中保持完全被动的状态，这对认知障碍患者可能是个福音。
研究人员Grigory Rashkov感慨道：“我们没想到它包含足够的信息来甚至部分重建一个人观察到的图像。但是事实证明这是完全可能的。”
他表示，这一研究用作实时运行的脑机接口的基础，它令人十分放心。像埃隆·马斯克设想的那种侵入性神经接口，会面临复杂手术和感染等带来的风险，而这组来自俄罗斯的团队希望最终可以设计出更经济的、不需要植入的神经界面。
文章来源：TechXplore，bioRxiv
