基于GST-ECNN的运动想象脑电信号识别方法

金海龙, 邬 霞, 樊凤杰, 王金萍

(燕山大学 河北省测试计量技术及仪器重点实验室, 河北 秦皇岛 066004)

1 引 言

脑-机接口技术(brain-computer interface,BCI)是一种涉及神经科学、信号检测、信号处理和模式识别等多学科的交叉技术,其主要功能是在人脑和外部设备之间建立起直接的交流与控制通道。通过对脑电(electroencephalogram,EEG)信号进行有效解码,使得身体严重残疾但大脑意识正常的患者能够自主与外界交流成为可能,故BCI技术在康复领域获得了广泛应用[1]。

运动想象脑电信号的分类识别主要包括4个步骤：数据采集、数据预处理、特征提取和分类。目前,众多研究者研究了不同的运动图像特征提取和图像分类的方法：Fu等应用稀疏共空间模式(sparse common spatial pattern, SCSP)对脑电信号进行特征提取,并采用线性判别分析(linear discriminant analysis, LDA)进行分类,此方法多用于二分类任务中[2]；Hu等使用短时傅里叶变换(short-time Fourier transform, STFT)和CNN的组合对运动想象脑电信号进行分析,并取得了不错的分类准确率,但STFT具有窗函数尺寸固定的缺陷[3]；Hsu等利用小波变换(wavelet transform,WT)对脑电信号进行特征提取,虽然此算法克服了STFT窗函数尺寸固定的不足,但其存在容易丢失局部频率之间的连接,合适的母波函数难以选择等缺点[4]；Dai等提出了一种混合尺度CNN结构(HS-CNN),该结构可以在混合尺度上进行卷积,以提高分类准确率[5]；Lawhern等提出了一种基于脑电BCIs的精简卷积神经网络(enhanced convolutional neural network, ECNN)脑电网络,引入深度卷积和可分离卷积构建脑电图特征模型,封装了脑机接口脑电图特征提取的概念[6]；Tabar等提出了一种结合CNN和栈式自动编码器(stacked autoencoders, SAE)的方法,利用CNN进行特征提取,SAE进行分类,获得了更好的分类准确率[7]。随着研究的深入和多样化,深度信念网络DBN(deep belief network)和混合迁移学习HTR(hybrid transfer learning)作为分类器在运动想象分类中也取得了不俗的成果[8,9]。

目前,对多通道脑电信号进行通道选择的研究主要有：Chaurasiya等通过改进支持向量机(support vector machine, SVM)算法进行通道选择[10]；付荣荣等提出了一种贪婪搜索的方法得出了最佳通道组合[11]；Arvaneh等充分考虑通道间的相关性,通过在CSP中加入l0范数正则化引入稀疏实现通道选择,并得到了较好的分类效果[12]。

针对目前存在的一些问题,本研究旨在对多通道脑电信号进行特征提取和分类以实现运动想象的解码。首先利用广义S变换(generalized S transform, GST)进行脑电信号特征提取,再结合Relief算法和向前选择搜索策略(forward selection search strategy,FSSS)的包裹式方法进行通道选择,最后利用引入SELU激活函数和分层正则化的增强卷积神经实现特征分类。利用第Ⅳ届BCI的数据集I对本研究提出的算法组合进行了验证。

2 材料与方法

2.1 数据集准备

本研究使用的验证数据集来源于BCI比赛第Ⅳ届的数据集I[13]。实验中每位受试者根据屏幕上出现的左手、右手或者脚3类指示类别选择2类进行想象运动,每人进行200次无反馈实验,采样通道数为59,采样频率为1 000 Hz,数据集中a、b、f、g为真实数据,c、d、e为人工合成数据。为了后续实验的进行,先对数据集进行100 Hz降采样,再对数据集进行有效数据段的截取,选取其中最有效的4 s数据,最后使用FIR数字滤波器进行1～30 Hz的带通滤波,人工剔除眼电和肌电伪迹等[14]。

2.2 基于广义S变换的特征提取算法

S变换是地球物理学家Stockwell在1996年提出的一种时频分析方法[15]。它吸收并发展了短时傅里叶变换(STFT)与连续小波变换(CWT)。它既克服了STFT窗口高度和宽度固定的缺陷,同时含有相位因子,这是CWT所不具有的特性。

一维连续S变换表达式如式(1)、式(2)所示：

(1)

(2)

式中：x(t)为信号函数；f为频率；τ为平移因子；控制窗口函数在时间轴t上的位置；i为虚函数；Sx(τ, f)为变换之后的时频谱矩阵；w(t-τ, f)为高斯窗函数；σ1(f)为窗函数的标准差,其与频率f密切相关,表达式如式(3)：

(3)

标准差函数σ1(f)的存在正是ST优于其它时频分析方法的主要原因。ST采用高斯窗函数作为窗口函数,其窗宽与频率的导数成比例,即在低频处具有优越的时间和频率分辨率,在高频处也具有良好的时间分辨率。但是,由式(2)、式(3)可知,标准差函数固定为频率倒数导致窗函数对于所有频率范围内的函数都是固定的,而脑电信号具有频率成分多、易受采集环境和受试者情绪影响等特点,故某些情况下ST得到的时频分辨率还不够理想。因此,基于ST的改进方法被提出,广义S变换(GST)就是其中之一。

GST与ST的主要区别在于引入p和q两个自适应参数,改进了ST的高斯窗函数,其表达式见式(4)～式(6)：

(4)

(5)

(6)

由式(6)可知,当p=1,q=1时,GST为ST,即ST是GST的特殊情况。GST能根据脑电信号的频率分布,灵活得调节窗函数随频率尺度f的变化趋势,GST比ST具有更好的灵活性和实用性。

(7)

由于正常成年人运动想象脑电的主要成分集中在alpha节律(8～13 Hz)、beta节律(14～30 Hz),故选取PSD特征的频率范围为7～30 Hz。每次实验的单通道特征提取过程如图1所示。每次实验经过GST时频映射和PSD特征计算,最终提取到24个特征值,单次试验59个通道最终能提取到1 416(59×24)个特征值。

图1 单次实验单通道特征提取过程图Fig.1 Single-channel feature extraction process diagram of a single experiment

2.3 包裹式通道选择方法

由于脑电信号为多通道数据,从多通道中剔除无关或与脑电分类相关性低的通道,挑选出最优组合,既能提高分类准确率又能提高分类效率。本研究提出了一种结合Relief算法和向前选择搜索策略(FSSS)的包裹式方法进行通道选择,其流程图如图2 所示。本文数据集为59通道,经过Relief计算后丢弃了权重靠后的20个通道。剩余的39通道计算平均准确率m和每个通道的分类准确率k(i),准确率排名前n个通道准确率稍大于或者等于39通道准确率m,此后依次增加一个通道,增加通道后的准确率(ACC)若大于m,则保留此通道,若小于或者等于m,则丢弃此通道,以此类推,直到39个通道遍历完毕,确定最后的最佳通道组合K。

图2 包裹式通道选择方法流程图Fig.2 Flow diagram of wrapped channel selection method

在通道选择模型中,Relief算法能够根据各个通道特征和类别的相关性赋予特征不同的权重,并按照从小到大排序。本研究将权重值排名后20个通道直接丢弃,以达到对数据快速降维的作用。在此基础上,再采用FSSS挑选出最佳通道组合K,为后续的分类判别做好准备。通过对比实验证明,最后保留24个通道既保留了绝大多数的优质通道,又利于后续的卷积神经网络的计算。

2.4 增强卷积神经网络

卷积神经网络常用的激活函数是ReLU,但其具有一定的局限性。当学习率较高时,容易形成过多的死亡节点,导致训练中断。当学习率较小时,网络很容易陷入局部最优。为了克服上述缺陷,本文使用SELU激活函数来训练模型。SELU引入了一种自归一化属性,在有效避免死亡节点的同时自动收敛到零均值和单位方差。SELU函数由Günter Klambauer提出[16],定义为：

(8)

式中:λ=1.050 7;α=1.673 3。SELU函数具有以下优点[17]:(1) 可以训练多层深度神经网络;(2) 采用强正则化;(3) 增强了网络学习的鲁棒性。

深度学习模型中不同层的输出具有不同的维度,故各层的承载能力也不同。若所有层使用同一个正则化参数,很容易导致过度正则化。为了克服这个缺陷,本文对不同层使用不同的正则化参数,由于每一层的矩阵维数代表逐层递减深度的特征,遵循正则化参数值逐层递减的原则,将前隐层的特征矩阵广义定义为粗粒度数据,将其他层的特征矩阵广义定义为细粒度数据,以此可以获得更好的分类精度。

如图3所示为7层ECNN的分类结构图,包括：输入层、第一层卷积层、第一层池化层、第二层卷积层、第二层池化层、全连接层和softmax层。ECNN模型各项参数如表1所示。通过比较不同正则化强度组合的精度,将第1、2层的正则化强度分别设为0.1、0.05为最佳。

图3 7层ECNN的分类结构图Fig.3 Classification structure diagram of 7-layers ECNN

表1 网络训练参数设置Tab.1 Network training parameter settings

3 实验结果与分析

3.1 GST参数的确定

时频分析算法GST与ST最主要的区别在于,GST引入了2个参数p和q,改造了ST的高斯窗函数,使GST具有更灵活多变的窗函数。图4是基于ST和GST的时频图。由图可以看出GST时频图像比ST时频图像的幅值更高,时频带宽更宽,且GST能量带更加清晰,GST在时频域比ST具有更理想的时频空间分布和更高的时频分辨率,进一步说明GST具有更强的特征提取能力。

图4 时频图Fig.4 Time-frequency diagram

GST特征提取的能力与参数p和q密切相关。p和q的不同取值,决定窗函数的窗口宽度不同,提取到的特征也不尽相同。因此,为选取到最佳参数组合,需要通过实验不断寻优。图5为不同的p、q取值时,对应的分类准确率。由图5可以看出,当p=0.50～0.52时,系统都能取得较高的分类准确率,其中,当q=1时,分类准确率最高,能达到98%左右。

图5 p和q的取值与分类准确率的关系图Fig.5 The relationship between the values of p and q and the classification accuracy

3.2 最佳通道的确定

本文提出的包裹式通道选择包括2个步骤：1) Relief算法权重筛选；2) 向前选择搜索策略(FSSS)二次筛选。

首先,利用Relief算法计算每一个通道的权重,根据权重的大小进行第一轮的通道筛选。以数据集g为例,该数据集59通道的权重分布如图6所示。由图6可以看出,前36个通道(除通道4以外)的权重占比较高,后23个通道虽然也有个别通道权重较高,但是总体权重较低。第1轮筛选将权重排名后20位的通道(4、34、37～39、42～44、47～48、50～59)直接剔除其次,再利用本文提出的FSSS进行第2轮通道筛选。第1轮筛选后的39通道平均准确率为94.36%,39个通道的平均准确率见图7所示。按照本文提出的FSSS方法,剔除掉干扰通道之后保留下的24个优质通道如图7中红色标注所示。从选中的通道可以看出,绝大多数准确率高的通道都被选中,但其中包含几个准确率不高的通道(如通道12、22、29),推测原因可能是因为通道之间的联系也是通道选择重要考虑的因素之一。

图6 数据集g的59个通道权重占比分布图Fig.6 Distribution of 59 channel weights in dataset g

图7 39个通道的平均准确率及选中通道示意图Fig.7 The average accuracy of 39 channels and the schematic diagram of the selected channels

3.3 分类结果评价

本研究使用的数据集中a、b、f、g为真实数据,c、d、e为人工合成数据,分别对7个数据集进行GST特征提取、包裹式通道选择、改进卷积神经网络特征分类,为了减少结果的随机性,采用10折交叉验证,分类结果如表2、表3所示。

表2 真实数据分类结果Tab.2 Classification results of real data

表3 合成数据分类结果Tab.3 Classification results of synthetic data

表2、表3中,ACC(accuracy)为准确率,SPE(specificity)为特异性,SEN为(sensitivity)为灵敏度,PPV(positive predictive value)为阳性预测值,AUC(area under curve)为工作特性曲线下面积,STD(standard deviations)为各自的标准差。由表2可以看出,受试者g获得了最好的分类效果,其平均准确率高达98.44±0.5%,AUC值高达93.36±1.4%,4个真实受试者的平均分类准确率达到了93.17±2.0%。通过表2、表3的对比可知,真实数据(a、b、f、g)的各项统计参数值普遍高于人工合成数据(c、d、e)。

由于采集的脑电数据因人而异,每位受试者最后选中的24个通道各不相同,但均获得较好的分类结果,进一步说明了本研究提出方法的有效性和普遍适用性。

4 讨 论

在BCI脑机接口系统中,能快速有效地从原始脑电信号中进行特征的提取并准确的分类是任务的关键。本文提出利用广义S变换算法解码EEG数据并提取7～30 Hz的24个PSD特征,再利用提出的结合Relief算法和向前选择搜索策略的包裹式方法进行通道选择,挑选出24个高质量通道组合,最后将得到的n个24×24矩阵输入增强的卷积神经网络进行分类。

与Chang等[18]采用ST算法提取PSD特征相比,虽然他们也提取到明显的特征并获得了较好的分类结果,但是本文采用的GST算法提取PSD特征的方法更加灵活,能量的聚集性更好,提取的特征更加明显。付荣荣等提出的利用SCSP提取特征,贪婪搜索模式挑选通道,Fisher进行分类,最后得到真实数据平均准确率90.73%,合成数据平均准确率80.13%,虽然该方法保留的信道较少(3～5个),但本文提出的方法在真实数据平均准确率提高2.44%,合成数据平均准确率提高了5.11%,在分类精度上略占优势。Xu等[19]利用GST提取特征,采用优化包裹式方法挑选出32个信道组合,最后以32×32的矩阵输入CNN进行分类得到最高97%的准确率。与本文提出的方法相比,其分类准确率略低,且该方法保留的通道更多,使得计算负担更重,计算效率更低。另一方面,本文提出的ECNN比该方法使用的CNN拥有更优的过拟合能力和更高的鲁棒性。此外,本文的研究结果证明,真实的脑电数据与人工合成的数据各分类指标差异较大,即本文提出的方法也可作为区分真实数据与合成数据的一种手段。

5 结 论

针对运动想象脑电信号解码过程中遇到的新问题,本文提出了一种基于广义S变换特征提取和增强卷积神经网络分类的方法,并创新性地提出包裹式通道选择方法,获得了最好98.44%的分类精度。与传统的ST算法相比,GST提取特征的频率范围更广,提取到的特征更加明显；与传统的CNN相比,提出的ECNN能获得更高的分类精度和具有更好的适应性；此外,提出的包裹式通道选择方法,有效减少了模型的计算负担,提高了分类效率。实验结果充分证明,本文提出的方法实现了对多通道的运动想象脑电信号正确、高效地分类。