用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

脑-机接口(BCI)是构建大脑与外部信息交流的一种技术方式,通过采集神经系统的电活动信号,将其分类到特定指令的不同类别中,来实现解码用户意图并与计算机等外部设备进行通信的人机接口技术

。近年来,BCI技术在人机交互、智能感知、医疗康复等领域得到了广泛的应用

。在脑电波采集过程中,人的大脑活动会受到不同类型刺激的影响而产生预期的信号反应,稳态视觉诱发电位(SSVEP)是脑机接口中被广泛应用的外源性刺激诱发信号类型之一,它是外界周期性视觉刺激诱发大脑视觉中枢系统产生的周期性响应

,在大脑中产生由视网膜接收到的3.5 Hz～75 Hz范围相同频率或倍数频率的电生理活动

,具有信噪比高、无需训练、稳定性高等优势。

由于脑电信号微弱,易受到外界环境因素的影响,以及其他生物电信号等背景噪声的干扰,从而导致SSVEP信号识别困难

。如何进一步提高目标识别效率是SSVEP-BCI系统中的一个重要问题,在算法研究方面,特征提取算法优化以及分类器改进一直是SSVEP信号分类研究的重点。在传统SSVEP信号目标识别方法中,通常是以人工提取信号的特征信息,再对特征向量进行有监督的分类方式来进行识别

。文献[9]结合经验模式分解(EMD)和功率谱峰值分析(PSPA)方法,以基频功率谱峰的突出度和宽度的最大比值与从窄频带分量中计算的谐波来对SSVEP信号进行分类,但是分解后的各基本模式间并非严格正交,存在混叠现象。文献[10]利用典型相关分析(CCA)方法,运用结合叠加平均和快速傅里叶变换,提取与多通道SSVEP信号相关的频率信息进行相关分析,仅提高了低频率刺激下的识别精度,存在局限性。文献[11]利用小波包分解(WPD)对脑电信号进行特征提取,结合时域和频域中的特征信息,进一步提高了信号识别准确率,但是小波基函数的选择多依赖于经验,结果随函数影响较大。

目前,深度学习方法在近期的许多研究中被成功地应用于学习特征和分类不同类型的数据,然而在BCI的应用中采用深度学习方法的研究数量较为有限

。卷积神经网络(CNN)是一种通过多个滤波器及其特殊卷积结构进行信号特征提取、细化的深度学习方法,所得特征在一定程度上具有平移、翻转及缩放不变性,相较于传统算法具有分类精度高且能够自动学习特征和解码等优势,有效避免了人工特征提取过程中存在的信息丢失等不确定性问题,有望实现更高的目标识别性能。文献[13]提出一种CNN与多层感知器(MLP)并行的网络结构,分别处理静态能量和动态能量,并且取得了较高识别准确率。文献[14]构建了一种时频CNN模型运用到SSVEP信号分类中,由两个空域和时域滤波器卷积层以及快速傅里叶变换组成,将卷积层抽象得到的特征转换至频域特征进行分类。基于该研究,文献[15]提出以CNN与支持向量机(SVM)组合分类器的方法,进一步提高了网络对脑电信号的识别正确率。文献[16]构建了一种多尺度卷积核的CNN脑电分类模型,通过不同大小的卷积核来增加特征提取时的视野维度,提高了分类精度,但是由于数据转换成的是二维数字矩阵,并不像图像数据那样具有丰富的信息,因此存在一定的局限性。

上述基于CNN的分类识别方法虽然均能达到较好的识别效果,但是若只考虑单一尺度或单一层级下的特征,将会导致特征提取过程中存在特征缺失或冗余等问题,从而限制了识别精度。因此,本文提出一种基于多尺度特征融合卷积神经网络(MFCNN)的信号分类识别方法,利用卷积神经网络在图像处理中的强大优势,将SSVEP信号数据转化为二维时频图像作为输入,基于MFCNN模型框架有效提取目标信号多尺度级联特征,实现SSVEP信号目标自适应特征提取及端到端识别。

1 基于多尺度特征融合卷积神经网络的目标识别方法

1.1 卷积神经网络

CNN的网络结构一般由输入层、交替叠加的卷积层与池化层、全连接层和分类器组成

。卷积层将对输入样本的局部区域和滤波器内核之间进行内积运算,每个滤波器都通过相同的内核来获得输入信号的局部特征。设前层图像大小为

,则卷积过程描述如下

+1,

=

,

⊗

+

,

(1)

式中:

,

和

,

分别为第

层中第

个滤波器内核的权值矩阵和偏置项;

+1,

为第

+1层中第

个滤波器卷积后的输出;⊗表示卷积计算。

max(0,

+1,

)+

min(0,

+1,

)

An on-chip bias circuit for the W-band SiGe HBT power amplifier is proposed in this work. This bias solution has the advantages of improving the output power of the power amplifier, temperature insensitivity, and smooth controllability.

+1,

=

(

+1,

)=

卷积之后,利用激活函数来获得非线性特征,本文采用LeakyReLU激活函数加速CNN的收敛过程,该函数在ReLU基础上保留部分小于零的输入,激活后的输出值

+1,

表达式如下

(2)

式中:

+1,

为

+1,

激活后的输出值;

为负值区域的非零斜率。

池化层将提取到的特征降维简化,减少卷积后的特征空间和网络参数,本文采用最大池化来降低数据维度和网络复杂度,输出采样区域的最大值,如下式

(3)

1.2 时频化处理

由于SSVEP信号的非平稳、非线性、时变特性

,传统的时域或者频域分析方法具有信号处理的不确定性,谱分析无法反映各个频段能量随时间的变化情况,也不能完整地表达信号的特征参数。小波变换在传统傅里叶变换基础上,引入尺度和时间变量来分析信号的不同频率成分,同时提供时域和频域的信息特征

,适合处理短时间内的突变信号。因此,本文利用小波变换对SSVEP信号进行时频化图像处理,将时频域特征生成时频图,以不同颜色分布表征不同类别的信号差异,如下式

(4)

式中:

,

(

)为第

层中第

个帧中第

个神经元的值,

∈[(

-1)

+1,

];

+1,

为池化操作后第

+1层中神经元对应的值;

为池化区域的宽度。

式中:

为可选目标数;

为识别一次刺激所需时间。

1.3 多尺度特征融合卷积神经网络

小波变换将SSVEP信号转化成频率-时间-小波系数图(时频图),不同颜色分布的图像作为输入,利用CNN进一步提取图像特征进行学习并分类。

CNN利用浅层单元能够从图像中提取边缘、颜色等细节特征,该类特征分辨率较高,但是伴随较多噪声,随着卷积层的加深,网络能在浅层特征的基础上进一步提取图像的深层全局语义特征,但是同步增加的卷积等操作也导致模型过饱和、信息丢失等问题。因此,本文考虑利用从不同层次的特征来构建MFCNN网络模型,以获取图像各层级不同尺度特征加强网络分类效果。模型主要由特征提取、多尺度特征融合以及模式识别3个单元组成,整体结构如图1所示。

1.3 观察指标 比较两组受试者血清CXCL12、IL-33水平，观察组不同预后患者的临床特征指标，分析血清CXCL12与IL-33的相关性及其对AIS患者预后的评估价值。预后情况通过mRs评分进行评价，此量表总分0～5分，分值越高表示预后越差。

“你要离开/这山盟海誓巷口/说好了/一定回头”本身即是对丈夫的无线谴责。兼之此处与前文书生的“不再回头”形成映衬，正反对比之中暗示妻子与书生爱情必然以悲剧结局。

特征提取单元将SSVEP信号分段利用小波变换构造时频化图像输入,图像大小为32像素×32像素,样本图像依次经过3个卷积层。第1个卷积层的卷积核大小为5×5、步长为2,得到输出特征图大小为16×16×

,

为卷积核数,卷积时进行边界补零填充,避免提取过程中的未知信息丢失

;第2个卷积层的卷积核大小为5×5,步长为1;第3个卷积层的卷积核大小为3×3,步长为1。每个卷积层后都跟有一个激活函数层和池化层,同时加入批量归一化层,防止训练过程出现过拟合现象,最大池化层降低数据维度并保留主要的特征信息,池化核大小为2×2,步长为2。

多尺度特征融合单元保证网络同步提取细节及全局特征,该部分以特征提取单元的输出作为输入,在保证特征多样化表达的同时进行融合,其中设计池化层来统一参与融合特征向量的维度,第1层级池化核大小为4×4,步长为4;第2层级池化核大小为2×2,步长为2;第3层级池化核大小为2×2,步长为1,最后输入到融合层中进行特征衔接,得到融合特征,表达式为

={∪

}

(5)

式中:

为融合特征;

为第

级特征。设需融合的两个向量分别为

(

,

,

)和

(

,

,

),

=

,

=

,则融合后得到特征向量

=(

,

,

+

)。

模式识别单元将融合特征作为输入进行识别,全连接层与Softmax分类器输出

分类的识别准确率,表达式为

（2）碾压试验参数初拟定为：对于本工程面板堆石坝的主堆石区的铺层厚度选择80cm和100cm两个碾压试验参数；对于本工程面板堆石坝的过渡区则选用40cm和50cm两个碾压试验参数；对于本工程面板堆石坝的垫层区则选用30cm和40cm两个碾压试验参数。在碾压次数的参数选定方面，采用了6遍、8遍和10遍三个不同的试验参数。

(6)

式中:

为第

个类别的线性概率;

为

个类别的线性概率之和;

(

)为类别归一化结果。

1.4 网络模型的参数选择

MFCNN模型的前向传播与CNN相同,采用误差的反向传播算法加以训练,利用前向传播特征传递,对训练数据在网络中前向输出值与期望输出值之间进行误差计算,并反向传播来修正各层的网络权值和偏置

。本文网络训练采取了小批量训练,权值的优化调整采用随机梯度下降(SGD)优化器,通过最小化损失来调整训练参数,以优化网络模型各环节并判断模型是否训练终止,损失越小,网络拟合效果越好。在训练中加入L2正则化提高泛化能力

,防止网络过拟合。针对数据集统计模型训练参数,并从输入图像大小和融合特征层网络结构进行分析,重复实验记录平均识别准确率及训练时长,对比得到MFCNN针对该数据集时的训练参数如表1所示。

1.5 目标识别模型

基于MFCNN的SSVEP目标识别方法对应的识别流程如图2所示。首先,采集受试者在不同闪烁目标刺激下的多通道SSVEP信号,经过预处理整合后输入至网络模型中,利用小波变换构造SSVEP信号为二维时频图像样本集,随机选取数据集的70%为训练集对MFCNN模型进行训练,30%为测试集,之后通过MFCNN中特征提取单元、多尺度特征融合单元进行信号特征的提取与融合,并输入至分类识别单元计算模型最终解码性能,实现SSVEP信号自适应特征学习及端到端识别。

2 稳态视觉诱发电位实验分析

2.1 实验范式设计

为了验证本文方法对SSVEP-BCI目标识别的实际效果,实验范式设计引用基于场景动画的稳态视觉刺激诱发范式

,该范式将生活情景划分为相应的独立刺激场景图,经过灰度标准化处理后再通过方波调制模式对黑白反转色图片进行视觉刺激。刺激范式界面的设计和呈现由PsychoPy3软件实现,场景动画诱发范式如图3所示,实验所使用的显示器分辨率为1 920像素×1 080像素,刷新频率为60 Hz,屏幕背景色为深灰色,共有4张刺激图片分别以上、右、下、左的顺序对应于6 Hz、7.5 Hz、8.57 Hz、10 Hz的频率进行闪烁以诱发SSVEP信号。

2.2 实验流程

实验招募7名视力正常或矫正视力正常的健康受试者(S1～S7)作为受试对象,包括4名男性,3名女性,年龄均在22～26岁之间。实验处于安静的房间内进行,并要求受试对象保持舒适坐姿,与显示器的距离约为70 cm。由于视觉皮层中央放大效应,受试者需将视觉注意力注视点集中在特定的目标上,尽量避免肢体的移动和眼部的运动。每名受试者按照流程顺序依次注视闪烁频率为6 Hz、7.5 Hz、8.57 Hz、10 Hz的刺激目标,对应标签1、2、3、4。图4(a)给出了每轮实验的时序流程安排,图4(b)给出了实验场景。实验开始时,受试者有2 s的静息准备时间,当PC机提示音响起,正式开始闪烁,重复20次为一轮,单次刺激目标的呈现时间为4 s,随后提示音响起闪烁停止,受试者间隔休息2 s后再次进行下一次闪烁,每个刺激目标呈现3轮,轮与轮之间也给予受试者充足的休息时间。

2.3 信号采集与预处理

实验采用图5(a)所示Neuracle公司生产的NeuSen W16无线脑电信号采集系统完成受试者信号的采集,采样频率为1 000 Hz,电极分布按照国际标准10/20电极安放法放置,视觉刺激通过视觉通路传递到大脑皮层,处在枕叶区的视觉皮层负责处理视觉信号的感知等一系列任务,故实验采集枕叶区P3、Pz、P4、O1、Oz、O2共6个通道的信号,接地电极放置在AFz处,参考电极放置在CPz处,脑电图记录的通道位置如图5b红圈所围部分,实验过程中通道阻抗保持在10 kΩ以下。

为了获得脑电信号中的有效信息,对采集到的原始数据进行预处理,以平均电位作为参考,对信号进行工频干扰消噪以及5～45 Hz的带通滤波来提高SSVEP信号的信噪比,并按照标签进行分段处理,以时序、通道数、次数的3维数据矩阵结构进行存放。

2.4 传统方法的对比分析

(2)功率谱密度分析(PSD)结合支持向量机(SVM)方法

,采用welch法提取功率谱密度特征,特定频段

、

、

、

节律的功率信息,并得到特征向量输入至SVM中训练,接着对测试集进行有监督测试;

MFCNN针对受试者S1在1 s时间窗长度的训练集最终训练结果如图6a所示,模型训练准确率最终收敛至99.38%,损失值收敛至0.031 9。利用训练完成如图6b所示MFCNN验证测试集的目标识别结果混淆矩阵,绿色块代表模型对该类标签样本的识别准确数以及该准确数的占比(准确数与标签样本总数的比值),红色块代表模型对该类标签样本的识别错误数以及该错误数的占比,浅灰色块表示对应标签样本的识别准确率和错误率。可以分析出识别后所得的预测标签结果与真实标签基本一致,识别正确率为96.8%,最多是在8.57 Hz频率中出现7个错误分类,占该类样本的3.7%、整个测试样本的0.9%。

本文针对SSVEP信号提出识别方案,为验证该方法的有效性,利用同组数据集设置以下3种方法作为对比:

(3)CNN方法,普通CNN网络仅从前层进一步进行特征学习提取深层特征,在网络后半部容易产生信息遗漏,以MFCNN相同设定参数搭建普通CNN网络结构进行识别。

定义识别准确率

以及信息传输率

作为评价指标。识别准确率表达式见式(6)。

代表单位时间周期内所传递的总信息量,表达式为

(7)

这条线路主要以体验为主，为了使游客更加深入对茶文化进行了解，可以将游客安排在寺庙中居住，与寺内的僧侣一起坐禅、用斋及品茗等，充分感受庐山西海真如寺的佛教文化和茶文化。

2.5 实验结果分析

实验计算在Matlab2019环境中进行,采用配置为Intel(R)Core(TM)i5-4200H CPU @ 2.80 GHz、8 GB运行内存的计算机,Matlab Deep Network工具箱

用于设计和测试所提出的网络,以图1所示模型结构搭建深度学习网络。为了获得受试者在不同时间窗长度刺激下的目标识别准确率,本文取单次刺激的前3 s数据划分成6个不同时间段进行分析,分别按照前0.5 s、前1 s、前1.5 s、前2 s、前2.5 s以及前3 s的时间窗口截取数据长度。

(1)典型相关分析方法

,信号预处理后,直接使用CCA方法计算相关系数并进行无监督分类,设置谐波数为2;

针对受试者S1～S7的数据集利用CCA方法、PSD结合SVM方法、CNN方法3种对照方法来验证本文模型识别效果和特征提取对识别结果的影响,对不同时间窗长度下的数据重复进行10次实验以避免偶然性,统计不同受试者在不同时间窗长度的识别准确率、标准差以及多受试者平均识别准确率,实验结果如图7所示。

反转式教学作为一种新型教学模式在教育学界产生了巨大的反响，它颠覆了传统的教学流程，利用网络信息平台，构建了协助化和个性化学习平台，学生可以根据自我学习情况进行自主安排，强调以学生为主体、关注学生个性特点进而达到理想的学习效果。与传统的教学模式相比，反转式教学运用了网络高科技手段，体现了时代特征和新课程教学特点，未来发展前景广阔，应用在医学继续教育教学中有着重要作用。

从图7所示实验结果可以看出,MFCNN方法在对不同受试者的不同时间窗长度下均具有最高的识别准确率,与PSD结合SVM方法、CCA方法相比提升效果显著。尤其是对于受试者S1、S3、S5,本文方法相比CCA方法最少提升了5.98%,最多提升了24.81%,相比PSD结合SVM方法最少提升了5.36%,最多提升了21.73%。对于其他受试者S2、S4、S6、S7,在不同时间窗长度下,识别准确率均有所提升,在0.5 s、1 s的短时间窗长度时最为显著,验证本文所提方法相较于这两种传统方法能够提高解码性能。从所有受试者的平均识别准确率实验结果可知,在1 s时间窗长度下,相较于这两种传统方法,本文方法对平均识别准确率的提升分别为18.57%和20.08%,且标准差为0.988 1,低于两种传统方法的1.781 2、1.596 4,可见本文方法在提高了识别准确率的同时也具有更好的稳定性,优于CCA方法、PSD结合SVM方法。

4.2 生态效益 金花茶是常绿灌木至小乔木，通过项目建设利于保持水土、涵养水源、调节气候、生态环境保护。紫檀树内含根瘤菌，可以固氮保水、改良土壤结构、提高地力，项目实施不但对周围环境没有污染，而且提高森林质量和覆盖率，对改善当地小气候具有促进作用。

功能设计能够按预案类别、名称、编制单位、适用范围等不同标准对预案进行查询、浏览，并能够将查询结果以HTML、EXCEL、PDF等常用格式进行输出、打印，并支持打印预览、设置。查询界面如图10所示。

相较于普通CNN结构单纯从前层进行特征学习,在后期容易发生信息丢失特点,尤其是在时间窗长度较短、输入信息较少的情况下,频率特征尚不明显,对比平均识别准确率实验结果可以看出,当时间窗长度仅为0.5 s时,MFCNN的平均识别准确率为85.03%,高出CNN方法8.12%;当时间窗长度为1 s时,MFCNN的平均识别准确率为94.25%,高出CNN方法7.03%。验证MFCNN结合网络浅层细节特征以及深层语义特征,即携带更多的信号特征,能够充分利用信号不同层次特征加强网络学习能力,以提高识别准确率。随着时间窗长度的不断增加,频率特征逐渐明显,当时间窗长度大于2 s后,MFCNN与CNN的识别准确率并无较大差异。分析表明,融合特征能够在短时间窗长度下携带更多的脑电信息,有利于SSVEP信号的目标识别,MFCNN模型要优于普通CNN结构特征分类模型。

与治疗前相比，观察组和对照组治疗后1、2个月的骨保护素水平均显著升高(P<0.05)；其中观察组治疗后2个月骨保护水平显著高于治疗后1个月(P<0.05)。组间相比，治疗前和治疗后1个月，观察组牙周组织骨保护素水平与对照组相比均无统计学差异(t=1.765, t=1.766；P>0.05)；治疗后2个月，观察组牙周骨保护素水平显著高于对照组(t=5.925，P<0.05)(表1)。

则灯器连续工作20个日历天的耗电量为50A▪h(灯器工作在阴雨天气下，考虑电池在20天内没有发生充电，连续处于放电之下)。同时为保证连续的放电不对电池造成损伤，放电深度应控制在55%。由此可知，电池容量要求为：

各受试者在1 s时间窗长度时4种识别方法的信息传输率如表2所示。由于受试者S7本身对SSVEP响应特征较为明显,本文方法相比于CNN方法对其识别准确率的提升有限,存在个体差异性,信息传输率又同时受识别时间和识别准确率的影响,所得计算结果略低于CNN方法,但是综合实验所有受试者平均数据结果可得,MFCNN的平均信息传输率为96.86 bit/min,对比CCA方法和PSD结合SVM方法,在信息传输率上有显著提升,分别提升了53.15 bit/min、49.58 bit/min,对比CNN方法提升了12.15 bit/min,说明MFCNN在提升了识别准确率的同时,也能提升信息传输速率,具有较高的目标识别效率,表明本文方法能有效提高SSVEP-BCI系统在较短时间窗长度刺激时的识别性能,

3 结 论

本文针对传统目标识别方法在对SSVEP信号进行识别时存在的局限性,提出基于多尺度特征融合卷积神经网络的信号识别方法,利用小波变换对信号进行时频域图像转化,搭建多尺度网络模型进行信号特征学习,提取图像不同层次特征并进行融合,建立多尺度特征向量作为分类依据,最终实现SSVEP信号端到端的目标识别。实验结果表明,本文方法对于场景动画刺激范式在较短时间刺激下具有明显的识别优势,当时间窗长度刺激为1 s时,平均识别准确率就已达到94.25%,信息传输率达到96.86 bit/min,高于无训练CCA方法、有训练PSD结合SVM方法和普通CNN方法,说明本文方法适用于SSVEP信号,可进一步提高信号的识别准确率,同时还具有较高的信息传输率,为稳态视觉诱发电位脑机接口在特征提取和识别准确率提高等方面提供了参考。

:

[2] 于淑月,李想,于功敬,等.脑机接口技术的发展与展望 [J].计算机测量与控制,2019,27(10):5-12.

YU Shuyue,LI Xiang,YU Gongjing,et al.Development and prospect of brain computer interface technology [J].Computer Measurement &Control,2019,27(10):5-12.

[3] CHAMOLA V,VINEET A,NAYYAR A,et al.Brain-computer interface-based humanoid control:a review [J].Sensors,2020,20(13):3620.

[4] 葛松,徐晶晶,赖舜男,等.脑机接口:现状问题与展望 [J].生物化学与生物物理进展,2020,47(12):1227-1249.

GE Song,XU Jingjing,LAI Shunnan,et al.Brain computer interface:current situation,problems and prospects [J].Progress in Biochemistry and Biophysics,2020,47(12):1227-1249.

[5] 徐光华,张锋,谢俊,等.稳态视觉诱发电位的脑机接口范式及其信号处理方法研究 [J].西安交通大学学报,2015,49(6):1-7.

XU Guanghua,ZHANG Feng,XIE Jun,et al.Brain-computer interface paradigms and signal processing strategy for steady state visual evoked potential [J].Journal of Xi’an Jiaotong University,2015,49(6):1-7.

[6] VIALATTE F B,MAURICE M,DAUWELS J,et al.Steady-state visually evoked potentials:focus on essential paradigms and future perspectives [J].Progress in Neurobiology,2010,90(4):418-438.

[7] 张黎明,张小栋,陆竹风,等.用于稳态视觉诱发电位特征频率提取的同步压缩短时傅里叶变换方法 [J].西安交通大学学报,2017,51(2):20-26.

ZHANG Liming,ZHANG Xiaodong,LU Zhufeng,et al.A synchrosqueezing short-time Fourier transform method for characteristic frequency extraction of steady state visual evoked potential [J].Journal of Xi’an Jiaotong University,2017,51(2):20-26.

[8] 杜光景,谢俊,张玉彬,等.用于稳态视觉诱发电位脑机接口目标识别的深度学习方法 [J].西安交通大学学报,2019,53(11):42-48.

DU Guangjing,XIE Jun,ZHANG Yubin,et al.A deep learning method for target recognition in steady-state visual evoked potential-based brain-computer interface [J].Journal of Xi’an Jiaotong University,2019,53(11):42-48.

[9] ANTELIS J M,RIVERA C A,GALVIS E,et al.Detection of SSVEP based on empirical mode decomposition and power spectrum peaks analysis [J].Biocybernetics and Biomedical Engineering,2020,40(3):1010-1021.

[10] CHEN Guang,SONG Dandan,LIAO Lejian.A multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis in the frequency domain [J].Advances in Intelligent Systems and Computing,2014,215:603-616.

[11] WU Ting,YAN Guozheng,YANG Banghua,et al.EEG feature extraction based on wavelet packet decomposition for brain computer interface [J].Measurement,2008,41(6):618-625.

[12] TABAR Y R,HALICI U.A novel deep learning approach for classification of EEG motor imagery signals [J].Journal of Neural Engineering,2017,14(1):016003.

[13] SAKHAVI S,GUAN Cuntai,YAN Shuicheng.Parallel convolutional-linear neural network for motor imagery classification [C]∥Proceedings of the 2015 23rd European Signal Processing Conference.Piscataway,NJ,USA:IEEE,2015:2736-2740.

[14] CECOTTI H.A time-frequency convolutional neural network for the offline classification of steady-state visual evoked potential responses [J].Pattern Recognition Letters,2011,32(8):1145-1153.

[15] 于鸿伟,谢俊,何柳诗,等.基于卷积神经网络和支持向量机的事件相关电位识别方法 [J].西安交通大学学报,2021,55(12):47-54.

YU Hongwei,XIE Jun,HE Liushi,et al.An event-related potential recognition method based on convolutional neural network and support vector machine [J].Journal of Xi’an Jiaotong University,2021,55(12):47-54.

[16] 李玉花,柳倩,韦新,等.基于卷积神经网络的脑电信号分类 [J].科学技术与工程,2020,20(15):6135-6140.

LI Yuhua,LIU Qian,WEI Xin,et al.Classification of electroencephalogram signals based on convolutional neural network [J].Science Technology and Engineering,2020,20(15):6135-6140.

[17] LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition [J].Proceedings of the IEEE,1998,86(11):2278-2324.

[18] 张小栋,郭晋,李睿,等.表情驱动下脑电信号的建模仿真及分类识别 [J].西安交通大学学报,2016,50(6):1-8.

ZHANG Xiaodong,GUO Jin,LI Rui,et al.A simulation model and pattern recognition method of electroencephalogram driven by expression [J].Journal of Xi’an Jiaotong University,2016,50(6):1-8.

[19] 于淑月,李想,于功敬,等.脑机接口技术的发展与展望 [J].计算机测量与控制,2019,27(10):5-12.

YU Shuyue,LI Xiang,YU Gongjing,et al.Development and prospect of brain computer interface technology [J].Computer Measurement &Control,2019,27(10):5-12.

[20] 陈保家,陈学力,沈保明,等.CNN-LSTM深度神经网络在滚动轴承故障诊断中的应用 [J].西安交通大学学报,2021,55(6):28-36.

CHEN Baojia,CHEN Xueli,SHEN Baoming,et al.An application of convolution neural network and long short-term memory in rolling bearing fault diagnosis [J].Journal of Xi’an Jiaotong University,2021,55(6):28-36.

[21] 张鹏.基于卷积神经网络的多尺度遥感图像目标检测方法研究 [D].西安:西安电子科技大学,2019:37-39.

[22] 李睿,张小栋,张黎明,等.面向假肢的场景动画稳态视觉诱发脑控方法 [J].西安交通大学学报,2017,51(1):115-121.

LI Rui,ZHANG Xiaodong,ZHANG Liming,et al.Brain-controlled prosthesis manipulation based on scene graph-SSVEP [J].Journal of Xi’an Jiaotong University,2017,51(1):115-121.

[23] 何柳诗,谢俊,于鸿伟,等.融合眼动追踪和目标动态可调的稳态视觉诱发电位脑机接口系统设计 [J].西安交通大学学报,2021,55(10):87-95.

HE Liushi,XIE Jun,YU Hongwei,et al.A design of brain-computer interface system for steady-state visual evoked potential integrating eye movement tracking and target dynamical adjustment [J].Journal of Xi’an Jiaotong University,2021,55(10):87-95.

[24] MANSHOURI N,MALEKI M,KAYIKCIOGLU T.An EEG-based stereoscopic research of the PSD differences in pre and post 2D&3D movies watching [J].Biomedical Signal Processing and Control,2020,55:101642.

[25] PALM R B.Prediction as a candidate for learning deep hierarchical models of data [D].Lyngby:Technical University of Denmark,2012:46-51.