基于卷积神经网络的单试次注视相关电位分类方法*

2021-11-24沈俊杰宋爱国

传感器与微系统 2021年11期

沈俊杰, 曾洪, 李潇, 宋爱国

(东南大学仪器科学与工程学院，江苏南京 210096)

0 引言

脑机接口(brain computer interface，BCI)是不依赖于大脑外周神经和肌肉系统，实现人脑与外部设备之间交流互动的通道[1]。随着BCI技术的发展，国内外一些学者开始对基于注视相关电位(fixation related potential，FRP)的BCI技术进行研究。FRP是一种反映了人脑在识别感兴趣视觉目标时的脑电活动[2](与事件相关电位(event related potential，ERP)类似)，但由于其无需由BCI系统提供的Oddball刺激诱发，因此,可更好地应用在自然场景的探测、识别任务当中，例如图像目标搜索、文本信息处理、安全检查等领域[4～6]。

单试次脑电(electroencephalogram,EEG)信号分类是大多数BCI系统的重要环节，其中,特征提取和分类方法对系统的最终输出结果有着决定性作用。近年来，对单试次FRP信号分类的常规方法主要基于特征工程，即将原始FRP信号进行特征提取后再将特征值送入分类器进行分类[3～6]。这类方法的主要局限在于需要依靠研究人员的先验知识进行复杂的数据预处理和特征提取，但由于EEG具有非平稳性、随机性，在预处理过程中容易剔除隐含的有用特征，导致分类结果的准确性和可靠性较低。

卷积神经网络(convolutional neural network，CNN)由于其能从原始数据中自适应学习有利于分类的特征，有效减少人为特征选择造成的主观性和不完备性的特点，在图像处理、目标跟踪与检测、人脸识等领域获得巨大成功[7～9]。最近几年，越来越多研究人员将目光投向卷积神经网络，并尝试运用该方法对EEG进行分类。例如Lawhern V J等人提出的EEGNet[10]，Schirrmeister R T等人提出的DeepConvNet,ShallowConvNet[11]均验证了卷积神经网络相比于传统基于特征工程的学习方法对EEG的分类结果更佳。然而，这些研究虽然取得了一些成果，但由于网络未能充分关注卷积滤波后各个卷积核输出特征映射之间的重要性关系，对全局信息利用不够充分，因此分类结果距离实际应用仍有差距。

针对此问题，本文提出了基于改进卷积神经网络的单试次FRP分类方法。通过在DeepConvNet中嵌入特征通道权重分配模块，自适应学习各特征通道的重要程度，增强重要特征的权重并抑制不重要的特征，从而有望提升对单试次FRP分类的准确性。

1 视觉刺激实验与数据预处理

1.1 实验对象与范式

共有10名志愿者参与本次实验，其中包括4名女性，6名男性，年龄范围在21～26岁之间，校正后视力正常。每位志愿者进行4轮共计1 000次视觉刺激实验，每一轮实验后可获得时长约为10 min的休息时间。视觉刺激范式如图1所示，首先，在刺激开始呈现之前，包含本轮实验目标字母的提示语在屏幕上呈现3 s；其次，待观察字母和引导圆圈呈现在屏幕之中，待观察字母均匀呈现在屏幕中的固定位置，引导圆圈每秒移动一次并包围一个待观察字母。引导圆圈包含目标字母的概率为12 %，志愿者需要判断引导圆圈每次所包含字母是否为目标字母，如果是目标字母则用右手食指敲击键盘上的指定按键。引导圆圈每移动 5次自动进入一次时长为2 s的黑屏放松间隔，当刺激再次呈现时，屏幕上所有待观察字母的位置将随机打乱一次。

图1 视觉刺激范式

1.2 数据采集

由于FRP的潜伏期时锁于注视起始时刻，因此在实验中需要对志愿者的脑电与眼动数据进行同步记录。本实验数据采集系统主要由SR Research公司的Eyelink 1000眼动仪、Neuroscan 公司的SyncAmps2脑电记录仪以及BrainProducts公司的ActiCap主动电极帽组成(如图2所示)。

图2 数据采集系统

实验时选择对19个电极的信号进行记录(如图3所示)，参考电极为左侧乳突，并将所有电极阻抗降至10 kΩ以下。在采集过程中，脑电与眼动数据通过并口定时发送上升电平保持同步，采样频率均为1 000 Hz。

图3 所选电极分布

1.3 数据预处理

数据预处理环节利用MATLAB仿真软件实现，主要目的是提取FRP并提高其信噪比。首先，对眼动仪输出的注视事件进行筛选，提取志愿者正确观察字母后的第一次注视事件；其次，对脑电数据进行降采样至128 Hz,独立成分分析(independent component analysis，ICA)去伪迹和1～40 Hz的二阶巴特沃兹带通滤波；最后，以注视起始时刻为原点，向后截取1 s内的脑电数据，同时利用前0.2 s至前0.1 s的数据进行基线校正。经数据预处理后，共从10位志愿者中提取到7 818个FRP数据样本，其中,目标(target，T)共有1 015个，非目标NT(non-target，NT)共有6 803个(如表1所示)。

表1 各志愿者FRP数据样本数

2 分类方法

2.1 基于DeepConvNet的分类方法

DeepConvNet是卷积神经网络在EEG信号中的典型应用，在多数脑电分类任务中均获得了较优的结果。该网络主要参考图像分类经典模型AlexNet[7]设计，利用多层卷积滤波实现特征提取并利用全连接层(fully connected layer，FC)实现分类，主要流程如图4所示，其中Conv表示卷积层，Pooling表示池化层。

图4 DeepConvNet分类流程

DeepConvNet主要由4个卷积模块和全连接层组成。第1个卷积模块由2个卷积核大小分别为1×5和Nc×1(其中Nc为脑电数据的通道数)的卷积层对EEG数据进行时/空域卷积滤波，卷积核数量均为25。第2至第4卷积模块各自均由卷积核大小为1×5的卷积层组成，卷积核数量分别为50,100和200。每个卷积模块输出的特征映射(feature map)均使用ELU函数进行非线性激活，并利用核大小为1×2的最大值池化函数进行降采样。同时，为了加速网络训练速率，减小过拟合程度，网络对所有卷积层的输出数据均进行批标准化(batch normalization，BN)处理。卷积模块对EEG的特征进行自适应学习后，由全连接层将最后一个卷积模块输出的特征进行平压(flatten)，形成特征向量，最后利用SoftMax函数对各类别的预测概率进行计算。

DeepConvNet模型通过多层卷积滤波实现对EEG特征的自适应学习，相比于人为对数据进行处理的特征工程方法分类结果显著提高，但仍然具有模型结构未能充分关注到不同特征通道信息之间的关系，对全局信息利用不够充分的缺点。

2.2 改进DeepConvNet的分类方法

针对DeepConvNet的缺点做出如下改进：引入特征通道权重重分配模块，充分利用各通道间的全局信息，重新分配各通道权重，通过整个网络端到端训练，提升网络的分类能力。改进后的网络记为DeepConvNet-SE。

SENet[12](sequeeze-and-excitation network，SENet)是由Momenta公司的胡杰等人提出的新型网络结构。该结构通过对各通道之间依赖关系建模，标定各通道权重，以此对各特征通道权重进行重新分配，其结构如图5所示。

图5 SENet结构

图5中，U为卷积层输出的特征映射，Fsq(·)，Fex(·)，Fscale(·)分别为全局信息嵌入函数、自适应校正函数、乘积函数；为特征通道重分配后输出的特征映射。SENet模块计算过程主要分为两步：1)全局信息嵌入Fsq(·)，通过全局平均池化(global average pooling，GAP)对每个特征映射进行压缩，使该描述子具有全局感受野，将W×H×C的特征数据压缩为1×1×C的一维向量。2)自适应校正Fex(·)，该步骤捕捉通道之间的依赖关系，包含2个全连接层，ReLU和Sigmoid两个非线性分类器，计算过程为

S=Fex(z,W)=σ(W2δ(W1z))

(1)

式中z为步骤(1)过程的输出；σ为SigMoid函数；δ为ReLU函数；W1，W2为两个全连接层的网路权重；S为模块通过网络训练学到的各通道重要性权重。最终经通道权重分配后的特征可由U与S的乘积得到，即

(2)

将SENet模块嵌入后得到的改进卷积层结构记为Conv-SE，改进网络DeepConvNet-SE的分类流程如图6所示。

图6 DeepConvNet-SE网络

3 实验与结果

所有实验均在配置为Intel i5—4460 3.2 GHz处理器，12 GB运行内存，NIVIDA GeForce GTX 1060ti 6 GB的台式机上运行。

3.1 叠加平均实验

在单试次分类实验之前，首先对所有志愿者Fz,Cz,Pz电极两个类别(T/NT)的FRP进行叠加平均。如图7所示，两类别叠加平均后的FRP，在离注视起始时刻后300～500 ms左右有明显的区别，说明本文在数据获取环节中成功诱发并提取了各志愿者的FRP脑电成分。

图7 Fz、Cz、Pz电极FRP叠加平均结果

3.2 单试次分类实验

经数据预处理后各志愿者的FRP数据可记为Xn∈R(Nc×Ns×Nt)(n=1,2,…,10)，其中，Nc为脑电通道数(Nc=19)，Ns为采样点数(Ns=128)，Nt为志愿者n提取到的FRP数据样本数(见表1)。考虑到脑电数据具有个体差异性，本文选择分别对每位志愿者的FRP进行单试次分类实验。

为验证提出方法有效性，在开源深度学习框架Keras中分别利用DeepConvNet-SE和DeepConvNet网络对每位志愿者的FRP数据进行5折交叉验证试验。两种网络均在相同参数下训练，主要参数如表2所示，其中学习，率设置为Keras框架中Adam函数的默认值。

表2 模型参数

由于FRP数据中两个类别样本数量不平衡(T︰NT≈1︰7)，因此，本文在对分类结果进行评价时，使用对样本类别比例不敏感的指标AUC。实验结果表明(如图8所示)，本文提出的DeepConvNet-SE网络对大部分志愿者的FRP数据均获得更好的分类结果，平均AUC(如表3所示)从0.901 8±0.030 0(均值±标准差)提升至0.926 9±0.030 7(均值±标准差)，说明在DeepConvNet中融入SENet模块后，通过计算不同特征通道的重要性权重并分配给各通道，提升了对单试次FRP分类重要的特征权重，抑制了不重要特征的权重。