基于注意力与多尺度的4类脑电信号解码

任玲玲, 王力,2*, 黄学文, 詹倩倩

(1.广州大学电子与通信工程学院， 广州 510006； 2.广州市信息处理与传输重点实验室， 广州 510006)

脑-机接口(brain-computer interface, BCI)是一种建立人脑与外部设备之间通信和控制通路的技术[1-4]。在BCI的帮助下，大脑活动可直接转化为驱动设备的指令，而不依赖于外周神经和肌肉组织。人的大脑想象意图在BCI中起着至关重要的影响，可以提高人机系统交互的性能。解码人的想象信号主要分为脑电图信号和肌电图信号两种[5],相比于肌电图信号，脑电图信号可以更直接的检测到运动意图，解码人的想象意图可以帮助用户执行特定的任务操作[6]。通过BCI的指令，机械外骨骼可以直接由运动障碍患者的大脑进行控制[3]，这可帮助他们获得更高质量的康复训练，并极大提高他们的生活质量。此外，还能作为健康的人在日常生活中一种新型交流方式和娱乐设备，如机器人控制，单词拼写和智能家居控制[4]。

脑电图(electroencephalogram, EEG)以其安全性、低成本和较高的时间分辨率被广泛应用于BCI[5]。其中可分为诱发EEG和自发EEG[7]，使用者可以不依赖外界刺激设备，实现自主操作的属于主动式BCI，也是本文研究的研究对象。如运动想象[8]，也可以因为外部刺激诱导而做出反应，如听觉、视觉刺激[9]。稳定状态视觉诱发电位(steady-state visual evoked potentials, SSVEP)和P300诱发电位均属于被动式实验范式，分别利用了信号的频率特性和时间特征。被动式实验范式具有分类精度高的优点，但依赖额外的刺激设备，使用起来繁琐。对于主动式实验范式(如运动想象、意识任务)，使用者可以根据自己的想法进行操作，不需要额外的刺激设备[10]。执行运动想象任务时，大脑运动皮层的EEG存在事件相关去同步化(event-related desynchronization，ERD)和事件相关同步化(event-related synchronization,ERS)现象[11]。除上述实验范式外，研究人员还提出了言语想象等新的实验范式[12]。语言是人类大脑皮层高级思维活动的产物，由这类想象诱发的EEG信号具有显著的空间特征，被提出作为控制BCI。

运动想象和言语想象均可诱发自发性EEG信号，且两者之间存在显著差异，因此结合运动想象和言语想象的实验范式被提出[13]。同类想象过于单调，多模态实验范式具有足够的研究价值，在结合单一模式的基础上，提高了BCI的实用性和操作性。通过分析EEG信号，计算机能够解码用户的意图，但EEG信号的空间分辨率较低，分类准确率随着识别数目增多而显著降低，这限制了指令集的数量。为了扩展主动式BCI的指令集，本文研究提出了基于运动想象和言语想象的四分类时序编码实验范式，时序编码是按照时间顺序将想象任务进行排序组合，包括了运动想象，言语想象，先运动想象再言语想象和先言语想象再运动想象。

由于脑电信号的非线性，非平稳性，低信噪比等特点，传统的预处理和手工选择特征的方法不能全面反映大脑活动，深度学习方法可以自动从原始脑电数据中学习高级的潜在特征。深度学习模型已成功应用在许多领域，如医学诊断[14-16]、语音分析[17]，获得了显著的性能效果，越来越多的研究人员使用深度学习方法对EEG进行分类Schirrmeister等[18]构建了3种不同的端到端模型：Deep ConvNets模型、Shallow ConvNets模型、Hybrid ConvNets模型对脑电信号进行分类，但是上述模型大多都是使用单一尺度的卷积，这样提取到的特征只能反映脑电信号其中一个方面的特性。因此设计一个通用的自动提取脑电信号特征的方法尤其重要，现采用基于注意力的多尺度卷积神经网络架构(attention multiscale eeg neural network, AMEEGNet)，该方法基于EEGNet，并将其扩展为多尺度卷积提取不同频带内的关键信息，同时添加挤压激励模块给不同特征进行权重化操作，最后利用全连接层进行分类。4类想象的脑电信号基于神经网络的解码，不仅丰富了BCI指令集的数量，也为智能穿戴设备的发展提供理论基础。

1 实验范式设计

本实验数据来自12位身体健康、心理状况良好的受试者(其中9位男性，3位女性，年龄在22～26岁)。在后续的实验结果中分别用S1-S12来表示。所有受试者都是右利手，并且有5位受试者首次参加类似的EEG信号采集实验，其他受试者第二次参加类似的实验。在参加实验前要求保证足够的休息，同时在实验前24 h之内禁止喝茶或者咖啡等刺激性饮品。受试者调整座椅至舒适状态完成整个采集实验，并在采集数据的过程中保持放松状态。通过注视前方的液晶显示屏来获得提示信息。本实验已经通过广州大学伦理审查委员会的批准，实验前所有受试者阅读了实验相关的说明和注意事项，并签署了《实验知情同意书》。

图1 一次实验的时序图Fig.1 Timing of a trial of the experimental paradigm

本次实验是无反馈采集数据，实验提示界面由E-prime软件设计完成，一次完整实验流程的时序图如图1所示。流程分为如下：0～3 s，显示器出现一个“*”，表示空闲期，受试者在这3 s内可以进行适当的休息；3～4 s，屏幕显示一个“+”，表示准备期，要求受试者做好准备；4～5 s，屏幕中央随机显示右手、“壹”、右手+“壹”以及“壹”+右手这4种提示信息，表示提示期，告知受试者即将想象的内容；5～7 s，显示屏显示黑屏，7～9 s，显示屏显示紫屏，这 4 s 都为想象期，单次实验持续时间为9 s。如果提示是右手，要求受试者不断想象右手运动直至想象期结束。如果提示是汉字“壹”，要求受试者在想象期内不断默念“壹”。如果提示是前面出现右手，后面出现“壹”，则要求受试者在黑屏阶段不断想象右手运动，在紫屏阶段不断默念“壹”。如果提示是前面出现“壹”，后面出现右手，则要求受试者在黑屏阶段不断默念“壹”，在紫屏阶段不断想象右手运动。在想象期内，受试者需要保持稳定状态，不要移动身体产生肌肉电位的变化，同时也不能眨眼、咬牙。每位受试者根据实验范式流程采集7组数据，每组数据包含40次想象任务，其中4类想象各四分之一，因此4类想象共有280组数据，每一类想象各70组。

2 注意力与多尺度神经网络

EEGNet是一种紧凑型的卷积神经网络，可以应用于几种不同范式的BCI。它由普通卷积，深度卷积和可分离卷积组成，时域特征是由普通卷积生成的，频域特征是由普通卷积和可分离卷积生成的，空域特征是由通过频域特征的深度卷积生成的。最终通过一个具有Softmax激活函数的全连接层输出4个概率值，得到类别结果[19]。在BCI的深度学习技术领域，EEGNet是一种适用性广的算法，它具有一定的可解释性，但它是单一尺度的神经网络，尤其特征选择部分难以理解，特征空间的增加容易导致过拟合。因此设计了基于注意力与多尺度神经网络(AMEEGNet)，网络模型总体框架如图2所示。保持EEGNet主体不变，首先通过3个不同尺度的普通卷积和1个空洞卷积提取信号的时域特征，然后与EEGNet网络一致，使用深度卷积和可分离卷积提取频域特征和空域特征。最后，使用挤压和激励块进行特征的自适应选择。

Input 为输入；Pooling 为池化；BatchNorm 为归一化；Dense 为全连接；Flatten 为扁平化；ELU为激活函数；Conv2D 为二维卷积；AveragePooling2D 为平均池化；DepthwiseConv2D 为深度卷积；Dropout 为退出概率；Concatenate 为连接；SeparableConv2D 为可分离卷积； Atrous Conv2D 为空洞卷积；Output 为输出图2 AMEEGNet网络总体框架Fig.2 AMEEGNet network framework

2.1 多尺度网络模块

AMEEGNet模型利用二维卷积和空洞卷积来实现多尺度卷积，用多个卷积核替换一个卷积核来实现多输入的方法。空洞卷积层是在标准卷积中注入孔，这样的方式能够扩大感受野，有效的关注脑电图时域内更多尺度信息，普通卷积和空洞卷积的并行操作构成了时间多尺度模块，从不同大小的接受域提取时间维度特征。每个卷积操作之后包括标准化和激活操作，激活函数采用指数线性单元(exponential linear unit，ELU)，ELU函数最大优点是它混合了Sigmoid函数和RELU(rectified linear unit)函数[20]。对于ELU函数，它的线性部分作用是缓解梯度消失问题，软饱和区域使它对输入变化或噪声更具有鲁棒性，这也是选择ELU适用于脑电信号端到端模型解码的原因。

使用一个大小为(C,1)的深度卷积来学习一个空间滤波器，该操作能直接学习每个时间滤波器的空间滤波器，从而有效提取特定频率的空间特征。在应用ELU之前，沿着特征映射维数使用批归一化[21]。应用一个大小为(1，4)的平均池化层来对信号进行降采样。为了正则化效果，应用Dropout[22]，概率设置与EEGNet结构值一致为0.5，防止小样本训练时出现过拟合。接下来使用一个可分离的卷积，可分离卷积的优点是减少了要拟合的参数的数量，通过对每个通道进行独立的空间卷积后再合并通道，然后明确地解耦特征映射内部和相互之间的关系，达到最优后合并输出。

2.2 通道注意力模块

引入一个挤压激励模块(squeeze excitation，SE),该模块来自图像处理中二维卷积神经网络的SE模块[23]，它能自适应关注更重要的特征。SE块由挤压和激励组成，挤压解决了通道依赖的问题，通过使用全局平均池化，将整个通道压缩起来形成压缩向量mq，即

(1)

式(1)中：Fsq为压缩操作；Uq为输入的特征图；L为特征映射的大小。

激励(excitation)操作是对压缩后的数据经过两个全连接实现的，第一个全连接是降低特征维度，其后使用RELU激活函数。第二个全连接操作是恢复到原来的维度，再通过一个Sigmoid函数，获得归一化的权重系数。两个连接层相比用一个连接层的优势是具有更多的非线性，从而更好地拟合通道间复杂的相关性。权重Sq定义为

Sq=Fex(mq,W)

(2)

式(2)中：Fex为激励操作；W为比值参数调节激励操作。

最后是重新分配权重，激励输出的权重是经过特征选择后每个特征通道的重要性，通过乘法逐通道加权到输入的特征图上，在通道维度上对原始特征分配权重：

fq=Fscale(Uq,Sq)=UqSq

(3)

式(3)中：fq为SE块的输出；Fscale为赋权重的操作。

3 实验结果

3.1 数据采集

运动想象与大脑运动皮层有关，言语想象与语言皮层有关，处理他们的大脑皮层分布较广，为了更全面地记录EEG信号，选择了能够覆盖大脑皮层的布罗卡氏区、韦尼克区、顶叶以及初级运动皮层的16个电极。在使用导电膏后，受试者戴着这顶电极帽，坐在提示屏前。脑电帽的电极位置分布图如图3所示，这些电极遵照国际10/20导联系统设置。采集EEG信号的设备为博睿康科技股份有限公司生产的Neusen W2无线脑电采集系统。接地电极放置在前额以减少50 Hz工频干扰。EEG信号的采样频率为250 Hz，数据采集过程中的电极与头皮之间的阻抗控制在5 kΩ以内。

F3/F4为左右额电极；Fz/Cz为中心电极；FC5/FC1/FC2/FC6/为 额和中央之间的电极；CP5/CP1/CP2/CP6为中央和顶之间的电 极；C3/C4为左右中央电极；P3/P4为左右顶电极图3 电极位置分布图Fig.3 Channel positions of the EEG setup

3.2 数据描述

采集脑电信号过程包含若干时间节点，实验用到的数据节点是从提示开始至想象期结束，这两个节点间记录的脑电信号。实验数据由4种不同的想象方式的脑电信号组成，数据集标签对应提示依次设为1、2、3、4。定义数据集名称为4类想象时序编码，形状为(N，C，T)，其中N表示脑电信号的样本数量280；C表示通道数16；T表示脑电信号的采样点数1 000。

3.3 数据分析

EEG信号的有用特征主要分布在8～30 Hz范围内，因此对采集的数据首先进行预处理，利用一个6阶的巴特沃斯带通滤波器在这个范围内对信号进行滤波，接着通过50 Hz陷波器去除工频干扰。当大脑的思维活动发生变化时，EEG信号的能量也会随之改变。ERD/ERS可以表征EEG能量的相对增加或减少。以事件发生前的EEG信号为参考，ERD表示事件发生后信号的能量相对下降，ERS表示信号的能量相对上升[24]。为了分析4类时序编码想象的差异，EEG信号首先经4～45 Hz带通滤波，然后利用EEGLAB绘制出事件相关谱扰动(event-related spectral perturbation, ERSP)图[25]，ERSP图是每次同类实验数据能量谱的叠加。受试者S9分别进行4类想象时C3电极的ERSP图如图4所示，其中时间轴上0 s的位置是提示出现的时刻，1 s后开始进行想象任务。根据时频分析结果图，可以看出4类想象信号的电极C3在时序上能量变化差异显著，在进行语言想象时，信号能量明显升高，运动想象时信号能量明显降低，先言语想象时能量变化是先升高再降低，先运动想象再言语想象能量变化是先降低再升高，因此可以观察到时频图中存明显的ERD/ERS现象，为后续数据的分类提供了依据。

图4 4类想象的ERSP图Fig.4 ERSP diagrams of four types of imagination

3.4 实验结果

为了评估模型的效果，使用了五倍交叉验证，ELU激活函数，RMSProp(root mean square propagation)优化设置，模型学习率为0.000 1，Dropout概率为0.5，训练过程中使用早期停止策略，采用多分类交叉熵(categorical crossentropy)指标作为损失函数。将本文模型与以下开源的端到端模型进行比较。

Shallow ConvNet[26]：浅层卷积网络模型端到端的提取信号的时域和空域特征，类似于传统算法中的带通步骤和空间滤波操作，没有手动选择特征的情况下解码原始脑电信号中的相关信息，该模型是深度学习在脑电信号领域的首次探索。

EEGNet[19]：深度学习模型利用具有深度卷积和可分离卷积的单尺度神经网络，构建了一种统一的架构来分类不同的BCI实验范式，是一种紧凑型的卷积神经网络，在小数据集训练上有较好的性能。

MMCNN[27]：多分支多尺度卷积神经网络模型有效地解码原始脑电图信号，没有任何预处理，包括滤波。同时，多分支多尺度卷积结构成功地解决了基于并行处理的主题差和时间差问题。此外，多尺度卷积可以实现不同频带内信息的表征，从而有效地解决了最佳卷积尺度难以确定的问题。

TSGL-EEGNet[28]:利用临时约束稀疏组算法，提高了EEGNet算法的性能，该方法主要是将传统的机器学习算法与深度学习模型进行比较，可视化神经网络学习到的频率和空间特征，用传统算法来解释神经网络的可靠性。

表1显示了本文方法和其余几种基线模型在4类想象时序编码实验数据集上的解码效果，加粗的数字表示被试在该模型上取得最优的结果。

从表1的结果可以看出，本文方法在好几个被试中都达到最佳的分类精度，4类时序编码实验数据应用本文提出的AMEEGNet平均准确率达到71.1%，高于其他几种模型的平均分类结果。与EEGNet相比，AMEEGNet算法明显提高了分类精度，t检验的p=1.580 5×10-4,远小于0.05，具有显著性差异。由于EEGNet采用单一尺度的卷积核，未能充分提取脑电信号隐含的特征信息，一定程度上说明注意力与多尺度卷积机制的网络在4类时序信号识别中有良好的性能。对于MMCNN，t检验的p=5.401 8×10-4，AMEEGNet兼顾减轻网络复杂度的因素，进而获得良好的识别率。与Shallow ConvNett检验的p=0.052 1，没有突出显著性差异，但在大多被试上AMEEGNet的性能还是优于Shallow ConvNet、Shallow ConvNet也是采用单一卷积核尺度，网络层数少，存在一定程度上信息损失。与TSGL-EEGNett检验的p=0.022，TSGL-EEGNet模型是用传统算法在深度学习模型上进行优化，是用传统的机器学习算法进行优化，通过可视化操作解释模型学习到脑电信号的特征。在同一数据集的情况下，说明本实验范式采集的数据具有良好的可分性和可解释性。

3.5 消融验证

为了验证空洞卷积和并行网络支数增加对分类精度的影响，在本实验范式采集的数据集上进行验证。从最开始仅使用空洞卷积一个分支开始，逐步递增普通二维卷积分支的个数，直到与本文提出的网络结构中分支数一致，得到的结果图如图5所示。从图5中可以看出，分类准确度随着分支数的增加而提高，当分支数与模型结构一致时达到最高分类结果。这说明随着卷积分支个数的增加，网络的感受野不断扩大，从而提取到更多的特征。

为了探讨AMEEGNet网络结构中挤压激励模块的影响，设置两组实验进行对比，一组是删除挤压激励模块，另一组是保留挤压激励模块，将这两组变体应用在本文的自采集数据12位被试上，如图6所示，移除挤压激励模块后除了被试2和被试6之外，每个受试者分类准确度呈现不同程度的降低，因此，说明了挤压激励模块在本文模型中是有效的应用，基于此模块可以自动学习不同特征的重要程度，进而提升分类效果。

图5 不同分支组合的性能Fig.5 Performance of different branch combinations

表1 本文模型与基准模型在四分类数据集上的结果对比

图6 挤压激励块移除前后实验结果对比图Fig.6 Comparison of experimental results before and after removing extruded excitation block

12位受试者的平均分类准确率为71.1%，其中有6位受试者的分类结果超过了70%。分类准确率最高的受试者是S11，他的结果为88.6%。对于四分类25%的随机概率，本实验范式的分类准确率远远高于该数值。分类结果表明基于运动想象和言语想象的时序编码实验范式可有效增加主动式BCI指令集的数量，进而提高了BCI的实用性。

4 结论

BCI的效果通常体现在脑电信号的分类精度上，针对脑电信号分类准确率随着识别数目增多而显著降低，提出了运动想象和言语想象的实验范式设计。在4类想象的时序编码实验数据集上统计结果表明，本文设计的模型达到了最高的平均分类精度。与EEGNet基准模型相比，在AMEEGNet模型设计上添加了新的部分，用空洞卷积和不同尺度的二维卷积组合来提取脑电信号时域上更多的特征；深度卷积和可分离卷积的应用，以最大限度挖掘原始信号的频域、空域特征，按照特定方式进行加权融合来提高分类效果。同时验证注意力模块、多尺度设计对脑电信号分类性能提升的效果，经对实验数值结果分析，得到以下结论。

(1)实验结果表明面向运动和言语想象的实验范式是有效的，采集的280组4类EEG信号具有可分性，丰富了主动式BCI的指令集数量。

(2)AMEEGNet网络框架应用在采集的四分类数据上，12名被试的平均分类准确率为71.1%，比EEGNet、MMCNN、Shallow ConvNet、TSGL-EEGNet分别高出13.2%、10.6%、2.8%、2.7%。

后续将计划引入其他方式的想象任务，以组成更丰富的控制指令，探索脑电信号的多任务分析。此外，考虑将该实验范式用于同步BCI在线控制系统，以检测其实时控制的能力，为进一步探究脑机接口的深入发展提供研究价值和意义。