基于深度学习的EEG信号处理技术与前沿应用

谢朋洋，郭亮晖，李 阳

(1.北京航空航天大学 计算机科学与技术，北京 100191；2.北京航空航天大学 自动化科学与电气工程学院，北京 100191)

0 引言

脑电图(Electroencephalography，EEG)是一种测量大脑产生电信号的非侵入式技术[1,2]，它通过置于头皮的电极记录神经元周围电流产生的电位。EEG具有卓越的时间分辨率，能捕捉毫秒时间尺度上发生的事件；而另一方面，介于传感器与信号源之间的人体组织覆盖，污染了EEG信号，使得其空间分辨率低，通道之间往往具有很高的空间相关性。

EEG被广泛用于研究睡眠模式[3]、癫痫[4]和各类与大脑电场变化相关的情景中(例如多动症[5]、意识障碍[6]等)。同时，在神经科学与心理学相关的研究中，EEG也大放异彩，作为研究大脑功能的得力工具。因其对个体情绪、心情[7]、疲劳、精神负担[8]等客观的检测能力，EEG在认知和情感检测方向也有广阔的发展前景。脑机接口(brain-computer interface, BCI)作为获取、分析大脑信号的重要途径，可以将EEG信号解码为外围设备的控制指令[9]，从而实现脑机交互。

近年来，随着深度学习技术的蓬勃发展，基于深度学习的EEG信号处理技术逐渐成为领域内的热门。人工智能与神经科学的融合发展也为EEG信号的应用开拓了新的研究潜力。

1 基于深度学习的EEG信号分类

1.1 传统EEG处理技术面临的挑战

尽管EEG在许多领域具有关键作用，目前想要分析处理它仍面临几个重大挑战。

(1)EEG具有较低的信噪比(signal-to-noise ratio，SNR)[10]。记录大脑活动时总是会有诸如环境、生理和活动特定的噪声源产生的“伪迹”。想要从记录的信号中提取出真正的脑部活动信息，必须使用不同的滤波器和降噪技术来减小噪声的影响。

(2)EEG是一种非平稳信号[11]，时变率高。因此，在时间跨度有限的用户数据上训练出的分类器可能在同一个体、不同时间记录的数据上表现出贫乏的泛化能力。

(3)个体化差异较大也限制了EEG的应用。这种现象是由受试者之间的生理差异产生的，这些差异会严重影响理模型泛化能力[12]。

另一方面，对于BCI而言，如何有效地解码EEG是获取大脑意图的关键。一个完整的BCI系统由五个部分组成：用户、EEG信号采集、信号处理、控制系统和受控设备[9, 13]。传统(2007年以前)的EEG分类算法包括线性分类器、神经网络、非线性贝叶斯分类器、最近邻分类器和多种分类器的组合[14]。然而，这些方法在很大程度上受限于上述困难，因此近年来，越来越多的研究开始关注于解决这些难题[15]。

例如迁移学习，一种旨在将源域上学习到的知识应用到不同但相关的领域或问题中的机器学习方法[16]。迁移学习通过在源域数据上的训练，使模型能够应用到小样本数的目标域上，避免因EEG数据的不足导致模型性能下降的问题。

同时，为了弥补EEG信噪比低、非平稳等问题，黎曼几何分类器、张量方法和深度学习等方法也被用于一些能将特征提取、特征选择和分类一步完成的新方法[15]。

本文将在下一节详细讨论深度学习在EEG信号处理上的应用，并分析其对分类效果的提升。

1.2 利用深度学习提升EEG处理效果

深度学习是一种具有多层结构，能够从原始输入提取出更高层次特征的机器学习算法，它能通过自适应特征提取和分类模块实现端到端学习，使得模型不再依赖复杂的手动特征提取。目前，深度学习已在文字、图像和语音等复杂数据的处理上产生了丰硕的研究成果。

深度学习同样能够多维度地提升、拓展现有的EEG处理方法。其主要体现在：

(1)深度学习不依赖手动特征提取，减少了对领域专用处理方法的需求。深度学习使得其能从未经处理或经过最小程度处理的数据上提取特征[17]。

(2)深度学习拓宽了EEG数据使用的领域，将其引入了生成模型[18]等方向。利用深度学习的方法能合成高维度的结构化数据，例如图像、语音等。近年来，一些研究[19-23]将基于视觉刺激产生的EEG信号与生成对抗网络(Generative Adversarial Nets，GAN[18])结合，利用EEG特征辅助生成图像。

(3)深度学习有望为EEG的分析处理提升性能，获得更有效的特征信息与更高的分类准确率[24]。

1.2.1 数据预处理

EEG信号的预处理一般包含下采样(downsampling)、带通滤波(band-pass filtering)、加窗(windowing)和消除伪迹(如独立主成分分析、剔除坏段)等。大部分利用深度学习处理EEG的项目都使用了至少一种预处理方法，例如下采样或是重参考(re-referencing)[17]；然而有相当一部分的项目没有使用消除伪迹的方法[17]，这表明深度学习的应用需要一定程度的预处理，但能有效避免传统EEG处理中复杂的、需要领域专业知识的伪迹消除手段。然而，最近另一项研究[25]则显示，未经合理预处理的EEG数据可能会导致结果出现严重错误，影响研究人员的判断。因此，对于采用深度学习的EEG分析方法，必要的预处理过程十分重要。

深度学习可以应用于特征提取与分类等各个环节中(如图1)，下面将详细讨论深度学习在这些方面的应用。

图1 EEG信号的处理、分析与应用

1.2.2 特征提取与分类器

近来，许多深度学习模型都被用于处理EEG信号，例如：卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、自动编码器(Auto Encoder，AE)、受限玻尔兹曼机(Restricted Boltzmann machine，RBM)、深度信念网络(Deep Belief Network，DBN)、生成对抗网络(GAN)和全连接网络(Fully Connected Network，FCN)等。其中，CNN、RNN和DBN在脑电图分类任务上较之其他模型拥有更高的准确率[26]。近年来，CNN逐渐成为应用的主流，将CNN与RNN结合的模式也受到越来越多研究的青睐[17](图2)。

图2 基于深度学习的EEG处理模型的几种常见类型

CNN能实现端到端学习并有效利用数据的层次结构，实现有监督的特征学习。RNN则擅长处理序列数据，广泛应用于文字、音频和视频的处理，长短期记忆人工神经网络(Long Short-Term Memory,LSTM)在RNN的基础上引入了细胞状态与门机制，有效控制特征的流通与损失，解决了RNN长期依赖的问题[27]。由于EEG内在的时序结构，RNN也适用于处理EEG信号。

Bashivan等[28]将EEG信号转化为一系列多频谱的图像，保留其拓扑结构，并将其用于训练深层循环卷积网络，此举旨在保留EEG的时空、频谱特征以降低其对变化与失真的敏感度。该方法在认知负荷分类任务上展现了超前的性能。

Zheng等[23]利用LSTM提取序列特征与CNN获得局部特征的能力，将二者结合，在EEG数据上抽取具有视觉刺激类别信息的向量表示，用于EEG信号分类并为后续应用提供高维度的信息。

Yang等[29]将CNN与RNN结合，有效学习原始EEG数据流的时空成分表示以对情感状态进行分类。其中CNN模块通过将链状的EEG信号序列转换为二维的帧序列，挖掘物理层面上相邻信道的相关性，而LSTM模块则被用于挖掘时序特征。可以看到，RCNN(Recurrent-Convolutional Neural Networks)能有效处理并准确解码EEG信号。

2 EEG信号的前沿应用

2.1 利用EEG特征的计算机视觉技术

视觉是人类感知系统的重要组成部分[30]，计算机视觉则是一门旨在让机器学会“看”的科学，是利用计算机及其他设备对人类视觉的模拟[32]。当人眼接受到刺激时，大脑的神经元就会释放锋电位[31]。视觉刺激诱发大脑产生的神经电位的研究是探索人类处理视觉信息的机理与发展计算机视觉的关键[33]。

作为获知大脑活动的重要途经，EEG因成本低、安全性好而备受关注。越来越多的研究着手于利用深度学习对EEG信号进行解码并将EEG特征融入图像生成或分类模型中[19-23,30,34-42]。这一技术被视为可视化大脑活动的雏形，“读心术”可能近在咫尺。

2.1.1 目标分割

Mohedano E[38]等将图像分割为若干小窗，以快速连续视觉呈现[43](Rapid Serial Visual Presentation，RSVP)的方式展示给被试，采集其EEG信号，并将该信号转化为一张由每一小窗包含目标物体的概率组成的图，最后将此图作为GrabCut[44]分割算法的输入对目标进行分割(图3)。实验表明，BCI和简单的EEG信号分析能有效地应用到图像分割领域中。

图3 基于EEG特征的目标分割技术

2.1.2 图像分类

PeRCeiVe Lab的研究人员将神经科学与计算机视觉的融合推向了一个新的阶段(http://www.perceivelab.com)。Spampinato等[35]表示，他们首创了人脑信号驱动的视觉目标分类器以实现阅读人类思维并向计算机迁移人类视觉能力的目标。他们将模型分为两个阶段(图4)。

图4 利用EEG特征的图像分类技术

第一个阶段是“读心”，其旨在找出二维(通道和时间)EEG空间中的低维流形，该流形的表征能区分不同的类别。具体来讲，将被试观察图片产生的EEG数据输入由RNN组成的编码器中，借此从原始数据中获取EEG特征。训练过程由EEG输入序列所对应的图像类别进行监督，并在此过程中共同训练EEG特征分类器。

第二个阶段是“向机器迁移人类的视觉能力”，旨在直接从图像中提取EEG特征。该阶段让一个CNN模型学习从视觉特征描述符到EEG特征的映射，这样将新的图片输入该回归模型就能得到该图像的EEG特征，再将该特征输入第一阶段的分类器中就能预测相应的图像类别。

Fares和Zhong等[42]则更进一步地考虑了大脑功能的偏侧化以及来自过去和未来的电激活与当前的自发反应和主体状态之间的动态相关性，提出了大脑区域级堆叠双向深度学习(BiLSTMs)方法用于优化基于EEG的图像分类。

2.1.3 图像生成

为了更具象地展现“读心”的过程，Palazzo[19]、Kavasidis[20]、Tirupattur[21]、Jiao[30]、Zheng[23]和Kangassalo[41]等提出了EEG信息驱动的GAN模型，用以生成图像。

此类模型主要包含两个部分(图5)：EEG特征学习和综合EEG特征的图像生成。第一部分中，在真实图像刺激下，被试产生原始的EEG信号，该信号通过基于深度学习的编码器得到向量形式的EEG特征，此特征包含视觉相关的具有判别力的信息。第二部分中，EEG特征被加入生成对抗模型中用以产生综合EEG特征的图像使得该图像的类别与EEG特征向量吻合。实验表明，综合EEG信息生成的图像与原始图像高度相似，该技术为“读心”提供了一种可行的思路。

2.2 基于EEG-BCI的脑卒中康复系统

BCI是一种记录、解码并将可测量的神经生理信号转换为计算机可读指令，用以控制单个或系列输出设备的基于计算机的系统[45]。

BCI系统(图6)可分为侵入式和非侵入式。侵入式的BCI系统又可分为直接放置在大脑表面进行皮质脑电图(electrocorticography，ECoG)成像的电极阵列与植入大脑皮层的微电极阵列。在实验中，大脑表面电极又分为硬脑膜表面电极[46]和硬脑膜下电极[47-49]。然而，侵入式BCI系统在获取信号的长期鲁棒性方面存在问题[50]，体内情况成功率有限[51]，因而常用于体外实验。另一方面，非侵入式系统便携、舒适、成本低，更适合采集相关大脑信号(比如EEG)[45]。非侵入式系统将多个电极置于头皮上以获取EEG信号，从获取的信号中提取出运动意图相关特征并用其控制指定的致动设备[52-54]。近年来，无线EEG系统以其用户友好、能减少线材移动造成的噪声而备受青睐[55]。非侵入式系统可分为干电极、凝胶电极、半干电极。相较半干和干电极，凝胶电极能最有效减少获取信号的时间。

图6 BCI的分类

BCI通过EEG采集系统记录大脑的活动。根据脑信号的采集方式可以将基于EEG的BCI系统分为四种范式[56-60](图7)。

图7 基于EEG的BCI系统的四种范式

由图7可知，对于脑卒中患者而言，运动想象(motor imagery, MI)更便于研究运动相关的大脑活动并帮助病人进行神经康复治疗。基于运动想象EEG解码的BCI已被用于设计脑卒中患者的神经康复系统(图8)。相较于传统的康复疗法，这些策略能够准确测定患者的MI模式，并能相应给予患者反馈，这种技术叫做“配对联想刺激”(PAS)，它能有效改善康复效果。

图8 基于EEG-BCI的康复系统的研究方法

目前BCI系统的控制/反馈单元主要有三种：功能性电刺激(Functional Electric Stimulation，FES)[61]、机器人辅助系统[62]和基于虚拟现实的混合方法[63]。基于BCI的康复系统从系统设计到实现的总体方法主要包括三个阶段：康复前阶段、康复训练阶段和康复后阶段(图9)。

图9 基于EEG-BCI的脑卒中患者神经康复系统的整体设计与实施示意图

2.2.1 BCI-FES康复系统

FES通过刺激神经来重建运动通路中的连接，从而诱发患肢的肌肉运动，是一种非侵入式的解决方案。该系统结构如10图所示。

2.2.2 BCI-机器人康复系统

机器人康复系统可以分为主动的、被动的和辅助性的[64]，主要取决于患者的受损情况。使用机器人系统进行脑卒中康复的主要目的是，通过提供感觉运动反馈来恢复受损肢体的运动。此系统结构与BCI-FES相似，仅需替换图10中的FES单元为机器人控制单元(包含机器人、BCI-机器人接口)。

图10 BCI-FES神经康复系统示意图

2.2.3 BCI-VR混合康复系统

镜像疗法是一种用以增强康复治疗环境真实性、刺激性并激励患者参与治疗的方法。在治疗过程中，患者移动其健康的肢体，期间产生的镜像反射使得大脑相信患肢也在移动[65]。实验表明，这种方法增加了大脑同侧初级运动皮层区域的兴奋性。然而，随着时间的推移，患者会逐渐失去注意力和参与实验的兴趣与动力[66]，VR技术的加入可以有效提供触发镜像神经元所需的刺激的视觉反馈，给患者带来身临其境的体验[67]。3D环境可以根据病人病情的改善和治疗的进展进行调整，以保证用户在整个康复过程中的参与度。同时，VR系统能模拟出现实世界的活动[68]，这在常规治疗中是无法实现的。

2.2.4 对比讨论

FES对患肢完全丧失运动能力的病人无效并且缺乏有效控制刺激参数的方法，同时使用表面电极的FES在选择性刺激更深的肌肉群时也表现地差强人意。而机器人辅助系统则能帮助运动功能损坏的患者根据其意图移动他们的患侧肢体。由于需要处理大量的脑电数据，要设计能在实时场景中精确控制机器人运动的BCI系统是极富挑战性的，并且BCI-机器人的低便携性与高复杂性使得其应用受限[69]。目前，结合VR的BCI康复系统的脑卒中研究较少，数据量相对缺乏。同时，VR图形化质量不高，成熟使用的VR康复系统也很少结合到BCI中。

综上，基于BCI的康复系统仍具备很大的提升空间，并且难以在非临床环境下实现，设计一款“智能康复系统”的必要性显而易见，其每一个部件都能做到无线、便携易用且智能，如图11所示[45]。

图11 EEG-BCI智能康复系统示意图

另一方面，柔性电子(Flexible Electronics，FE)[70,71]也可能成为该体系的新成员，作为放大信号、实现闭环交互及精确传感的柔性硬件平台，为脑卒中患者提供更为灵活的康复系统(图12)。

图12 FE在神经科学中的应用

3 结论

随着人机协作、人机交互和先进机器学习模型的出现，基于深度学习的大脑解码方法越来越受到人们的关注。EEG作为广泛使用神经生理学工具，正处于研究的前沿。基于深度学习对EEG信号进行处理并将EEG特征用于计算机视觉、基于BCI的脑卒中康复等领域体现了深度学习、计算机视觉、神经科学的高度融合，是目前跨学科跨领域研究的热点与趋势。