VR环境下运动想象脑电分类算法及脑机交互应用

田杰铭，程时伟

(浙江工业大学 计算机科学与技术学院，杭州 310023)

E-mail：tjmwly@163.com

1 引 言

随着脑机交互技术的发展，出现了运动想象(Motor Imagery，MI)[1]等不同的脑机接口范式.检测不同脑区的激活状态来判断用户意图，可以实现与外部系统设备间的直接通信与控制，进而自然的交互[2].虚拟现实技术(Virtual Reality，VR)的诞生，有助于构建模拟各种虚拟场景.使用虚拟现实技术构建运动想象脑电实验场景，将用户运动想象脑电信号转为控制信号控制VR场景下的元素，可以在保证用户拥有良好沉浸感的同时，免去外部设备(比如电动机械臂、电子传感器)的复杂构建，因此用户在VR环境下可以获得良好的MI训练，并控制VR下的脑机交互应用.

构建良好的VR脑机接口(Brain-Computer Interface，BCI)，最为重要的一步就是构建性能良好的分类器.由于运动想象脑电信号有非平稳、信噪比低的特点，导致脑电信号的特征提取仍然具有挑战性.通道连通性特征与时序特征是运动想象脑电信号重要的特征[3].而事件相关去同步(Event-Related Desynchronization，ERD)和事件相关同步(Event-Related Synchronization，ERS)现象[4]中主要就包含以上两类特征.

使用传统算法对运动想象脑电信号分类结果精确度较低.近年来，深度学习算法被逐渐应用于脑机接口领域，其中二维卷积神经网络(Two-Dimensional Convolutional Neural Network，2D CNN)[5]的二维卷积核可以提取到两种通道连通性特征，一种是不同通道同一时刻的相关特征，另一种是不同通道相邻时刻的相关特征，但是算法很难捕捉时序特征；而长短期记忆网络(Long Short-Term Memory，LSTM)作为一种特殊的循环神经网络，可以充分提取到脑电信号中的时序特征.

因此，提出了新的算法2D CNN-LSTM，并将其用于VR下脑机交互的实时分类.本文主要有以下创新点：

1)2D CNN-LSTM算法可以充分提取脑电信号特征.将预处理后的脑电数据分成10个连续片段，并使用Kears框架中Timedistributed方法[6]，保证了2D CNN可以同时提取各片段脑电信息中的通道连通特征，并有效的维护了原始脑电的时序特征，有利于LSTM后期提取时序特征，提升离线脑电数据分类准确率.

2)本文运用2D CNN-LSTM，构建了一个实时分类准确率达到91.7%的VR-BCI系统，并设计了不同的游戏，有效的提升了VR-BCI交互体验.

2 相关工作

VR下的运动想象脑机接口主要用于康复运动，但是现阶段的分类准确率并不高，所以构建一个鲁棒性更好的分类器应用于VR-BCI系统有着积极意义.其中，徐森威等人[7]使用传统共空间模式(Common Spatial Pattern，CSP)提取MI脑电特征后进行分类，离线模型的二分类准确率达到了84.5%，在线分类准确率达到81.9%，将此VR场景用于上肢功能障碍患者的康复训练.Wang等人[8]邀请了5名健康被试，对上肢康复系统进行测试，也使用传统方法分类，平均正确率约为87.3%.Alchalabi等人[9]使用线性判别与支持向量机等方法进行分类控制虚拟角色的前进后退，达到80%的平均分类准确率.张桃等人[10]开发了VR下基于MI的脑机接口康复系统，该系统可以进行离线与在线的康复训练，邀请了5名健康的被试通过训练后实时控制3D手臂的准确率达到78%.这些研究虽然使用了VR技术构建场景进行康复训练，但多数使用传统分类算法，导致识别准率并不高.

目前运动想象脑电分类领域的传统特征提取算法主要包括：小波变换(Wavelet Transform，WT)、CSP、自回归模型、样本熵等.用于运动想象脑电特征提取最多的方法是WT与CSP.其中，He等人[11]提出了一种新的基于经验模态分解的CSP方法实现对脑电信号频带的自动选择，并使用BCI Competition IV数据集评估了该方法，平均分类准确率达到82.14%.Zhang等人[12]将小波变换应用于运动想象脑电信号特征提取，并使用支持向量机(Support Vector Machine，SVM)进行分类，达到了84.29%的准确率.Ma等人[13]先使用小波变换与样本熵对脑电信号进行特征提取，再使用线性判别法分类，平均准确率达到了88.9%.

近年来，深度学习方法的快速发展，使得无需单独的特征提取算法，而是交给神经网络自动捕捉特征.其中卷积神经网络[14]在脑电信号自动特征提取和分类方面表现出了良好的效果，研究人员使用卷积神经网络分类脑电信号，简化了特征提取过程，提高了分类准确率.2D CNN在分析脑电图数据方面有着优秀的性能，二维卷积核可以充分的提取通道连通特征.比如，Taheri等人[15]提出了一种基于2D CNN的分类算法，在BCI Competition III-IVa数据集上，5个被试的平均分类准确率超过98%.Hou等人[16]也使用2D CNN自动提取特征，并结合源成像对MI脑电信号进行分类，在Physionet数据集上达到了94.5%的平均准确率.

而LSTM[17]作为一种特殊形式的循环神经网络，可以记录前一层生成的历史信息作为后期网络层的参考，并且其可以从时间维度的数据中较好的提取特征[18]，此外，它是专门为解决循环神经网络中的梯度消失问题而设计的.Li等人[19]使用LSTM对BCI 2008数据集进行分类，分类准确率达到93.6%，比其他算法高出近10%.近年来，很多研究人员运用一维卷积与长短期记忆网络(1-Dimensional Convolutional Neural Network-Long Short-term Memory，1D CNN-LSTM)对脑电信号进行分类.比如，Wilaiprasitporn等人[20]使用1D CNN-LSTM对脑电情绪数据集DEAP进行分类，结果表明，该算法对情绪状态检测有着不错的效果.Xu等人[21]使用1D CNN-LSTM对癫痫病人的EEG数据进行端到端分类，平均准确率达到了82%.Garcia-Moreno[22]等人也将1D CNN-LSTM用于分类左右手运动想象脑电信号，他们发现验证集的平均准确率为96.5%，验证集损失为0.25，此外测试集的平均准确率为87%.

3 实验数据采集和处理

3.1 被试与设备

VR场景下MI脑电信号采集实验，共招募了10名被试(7男3女)进行实验，平均年龄为23.2岁.每位被试都知晓实验流程与任务，并签署了知情同意书.使用 Ishihara测试[23]、爱丁堡惯用手量表[24]、7点李克特量表[25]对被试的色觉、惯用手、VR下的眩晕感进行测试，发现被试均无色觉缺陷、右利手、无较为明显的眩晕感.本实验通过大学实验室伦理委员会批准.实验设备使用的是NeuSen W(1)http：//www.neuracle.cn/productinfo/148706.html无线数字脑电采集系统，采样频率为1000Hz，使用的VR设备是HTC VIVE(2)https：//www.vive.com/cn/.

数据采集场景如图1所示，实验前为脑电帽上的每个电极注射脑电膏，先在参考电极上注入脑电膏，降低头皮与电极之间的阻抗，有利于提升运动想象脑电的准确性.实验时，根据10-20系统法[26]将64个电极戴在被试头部对应的位置上，再带上无线放大器，通过阻抗观测软件捕捉变化.由于MI脑电变化一般发生在大脑的中央部位，又考虑VR头盔的束带形成压迫，所以实验中选取F3、F4、C3、C4、P3、P4、Pz这7个通道的脑电数据进行分析，在预处理阶段的平均重参考后，再选取C3、C4、F3、F4[27]通道进行分析.在实验开始前，要求被试者被试坐在显示器前，眼睛到屏幕的距离为50cm，由于脑电容易受到周围环境或者电磁波的干扰，因此为了降低外界因素对实验结果的影响，选择了一个光线强度适中、安静的实验场所，每次只允许被试和研究人员进入.

图1 实验采集场景Fig.1 EEG acquisition scene

3.2 数据采集

以经典的运动想象实验范式进行脑电数据的采集.一个试次的运动想象任务时长为10秒钟：前4秒为被试的休息和准备时间，其中前3秒VR环境正前方仅仅显示灰色加号，提示被试可以休息，第四秒加号变亮，提示被试准备实验.第4秒到第10秒正前方出现随机顺序的箭头符号，该方法可以有效防止被试对箭头顺序形成记忆，从而干扰实验结果.被试根据随机出现的左右箭头进行对应的左、右手的运动想象.为保证实验过程中对左右手标记的同步性，记录程序在箭头出现时，通过trigger box打上对应的标记.被试在实验过程中需要保持大脑放松，注意力集中.每位被试进行4组实验，每组20次，总计80次实验(左右手各40次)，各组实验之间休息3分钟，总耗时约20分钟.实验结束后，经过对每位被试运动想象脑电信号的分析后发现，有效被试为10人，使用Pi 表示第i位被试(i=1，2，3，…，10).

3.3 数据分析

如图2所示，MI脑电数据的分析包括4个阶段，分别是数据采集、数据预处理、深度学习算法分类和分类结果.原始数据由采集系统记录，之后对数据进行预处理以消除噪声和伪迹并调整数据维度.下一阶段，将数据输入到提出的2D CNN-LSTM网络中，得到每个预测标签的概率，计算分类准确率.

图2 脑电数据处理流程Fig.2 EEG data processing flow

运动想象脑电数据采集过程中，会受到外界环境的干扰，其中最常见的有50Hz的工频干扰[28]，此外被试的眼电、肌电、眼动、头动等生理电信号与动作会形成干扰，脑电采集设备放大器也会使运动想象脑电中包含直流偏置等噪声数据.因此在进行特征提取之前，需要先对脑电数据进行充分的预处理，以此来减少各种噪声，提高运动想象脑电信号的信噪比[29].

本文使用了Python工具包MNE[30]分析EEG，可以将脑电数据可视化.首先对脑电信号进行下采样到250Hz，然后为消除脑电信号的中的噪声并提取有效的脑电频段，采用了频率为0.5Hz的高通滤波器[31]和频率为45Hz的低通滤波器[32].之后做了平均重参考，将每个通道平均值作为参考，该操作可以降低单个通道脑电信号不稳定所造成的干扰，并选取需要的通道进行分析.为了去除眼电、肌电等噪音成分进行了独立成分分析，再对所有试次的脑电信号进行ERP的平均堆叠后，得到了进行左右手运动想象过程中的脑电的能量变化.

通过预处理分析发现明显的ERD/ERS现象基本出现在VR下提示箭头出现后的0.5 秒，并且较为明显的ERD/ERS现象会持续1.5秒左右.由于预处理进行了降采样，为了不遗漏每个试次重要的变化，本文适当增加了时间窗，选取该四通道的0.5秒至3.06秒时间窗的数据进行分析处理.因此得到后续处理的数据维度为250Hz×4通道×2.56秒×80试次.

4 算 法

4.1 2D CNN-LSTM

2D CNN-LSTM详细的网络结构如图3所示，主要运用多层二维卷积层结合池化层再输入到LSTM网络中分类运动想象脑电信号.特征提取首先是使用多层二维卷积层提取通道连通性特征，之后连入LSTM层对时序特征进行提取，最后连接全连接层分类.由于输入数据的维度为250Hz×4通道×2.56秒×80试次，为了在多层二维卷积神经网络提取特征之后还可以保持原有的时序性，将预处理之后的脑电数据分为具有时序相关的10个片段，每个片段的维度为250Hz×4通道×0.256秒，每个片段按照F3、F4、C3、C4循环从上到下进行排列，转为16×16×1的大小.第2步每层的二维卷积核从2个方向进行滑动，可以提取到不同脑电通道相邻时刻的特征，以及不同通道同一时刻的特征.为了更细化的捕捉特征，在池化之前卷积核大小为3×3，池化后卷积核大小为2×2，所有二维卷积网络层和池化层使用的卷积核个数、卷积核大小以及步长等参数如表1所示.

图3 2D CNN-LSTM网络结构图Fig.3 2D CNN-LSTM network structure diagram

表1 二维卷积层和池化层参数Table 1 Two dimensional convolution layer and pool layer parameters

本文使用Keras框架的TimeDistributed方法实现同时对10个片段进行特征提取，并有效的维护原始脑电信号的时序性.TimeDistributed方法在时间维度上是完全连接的，因此每个时间序列段可以共享网络层的参数，使二维卷积层在保持原始数据的时间序列的同时提取每个段的特征.

提取好通道连通性特征后，使用LSTM提取序列片段中的时序特征.此外，还引入了Dropout层以避免过拟合问题[33]，算法中Dropout层分别为 0.3、0.3.LSTM提取时序特征后传送到全连接层，运用softmax函数激活，得到结果的分布概率.

该算法使用了将公式(1)作为交叉熵损失函数[34]：

(1)

其中x表示为样本，y表示为期望的输出，a表示为神经元实际输出，n则是样本总数.

若使用CEi表示第i个样本的交叉熵，则CEi可表示为：

(2)

其中，cij表示为第i个样本属于j类的真实概率.由于在分类前对标签使用了独热编码[35]，因此cij本质是一个标签矩阵，每行只有一个1对应标签，其余的都为0.aij表示为第i个样本属于j类的预测概率.

最后，使用Adam优化算法[36]对2D CNN-LSTM的各个参数进行优化.Adam算法和传统的随机梯度下降不同，随机梯度下降保持单一的学习率并更新所有的权重，学习率在训练过程中并不改变，而Adam算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率.

4.2 其他算法

本文将2D CNN-LSTM算法与其他算法进行了比较，包括2D CNN、1D CNN-LSTM、CSP-SVM和WT-SVM.其中，2D CNN和1D CNN-LSTM算法中也同样使用了交叉熵损失函数和Adam优化算法.

1)2D CNN.本文中使用4层二维卷积网络和2层池化层，并插入Dropout层防止模型过拟合，最后加上全连接层使用softmax函数激活输出.实验过程中，发现2D CNN训练的准确率较高，但是其中有几位被试的数据训练时出现损失不断上升，本文加入了Batchnormalization层一定程度上解决该问题.

2)1D CNN-LSTM.该算法中1D卷积层的作用主要是降低数据量的同时保留脑电的变化信息.本文一共使用5层1维卷积层和3层LSTM层，输入层的大小为640×4，并插入4层Dropout层防止模型过拟合，最后加上全连接层.

3)CSP-SVM.CSP关注的重点是不同运动模式下空间能量的分布差异.该算法通过构建空间滤波器最大化一类任务的方差，同时最小化另一类任务的方差，从而得到特征.而SVM已广泛用于EEG的分类，本文使用核函数为RBF的 SVM 分类器来进行分类比较.

4)WT-SVM.WT[37]通过将小波基进行平移或者是伸缩得到一系列的小波函数，将这些小波函数进行叠加就可以得到原始信号.

假设运动想象脑电信号的长度为N，用x(n)表示，则其能量E的计算公式[38]：

(3)

将能量值作为SVM分类器的输入向量.

5 结 果

5.1 个体模型

个体模型指针对每位被试建立一个独自对应的模型，以评估不同分类算法的性能.在保证样本均衡分布的同时，每位被试的MI脑电数据被随机分为训练集与测试集，其中70%的脑电数据用于训练模型，其余30%的脑电数据用于测试模型.

准确率和F1-score值两个指标用于评估各个算法的性能.每个模型进行10折交叉验证以防止某一次的结果过高或过低，最后取所有被试平均准确率衡量每个算法的性能表现.表2展示了10位被试的脑电数据分类准确率.实验结果表明：1)2D CNN、1D CNN-LSTM、2D CNN-LSTM算法模型的平均分类准确率均超过90%，优于传统算法(CSP-SVM和WT-SVM).其中，2D CNN-LSTM 模型的平均准确率最高，达到了 94.7%；2)为分析各算法之间存在的差异进行了单因素方差分析[39]，结果显示这些算法之间存在统计学上的显著差异，F=35.77，p<0.05.此外，本文使用Tukey事后分析以比较2D CNN-LSTM算法与其他算法之间的差异.2D CNN-LSTM的平均准确率比2D CNN高2.5%，两者之间无显著差异(p=0.06)；比1D CNN-LSTM算法高3.5%，两者之间存在显著差异(p<0.05)；比WT-SVM高6.3%，两者之间存在显著差异(p<0.05)；比CSP-SVM高8.3%，两者之间也存在显著差异(p<0.05).总的来说，2D CNN-LSTM达到了最高的平均识别准确率，平均准确率表现优于其他算法.

表2 各算法个体模型准确率Table 2 Accuracy of individual model of each algorithm

使用 F1-score来评估每个算法的性能，该指标精准度与召回率的调和平均数，可以评估模型对每类样本的分类性能.F1-score结果如表3所示，分析后发现：1)2D CNN-LSTM、2DCNN、1D CNN-LSTM的平均F1-score超过0.9.2D CNN-LSTM的平均F1-score最高，为0.951；2)同样，进行了单因素方差分析结果表明各算法之间存在统计学上的显著性差异，F=40.13，p<0.05.使用Tukey事后分析以比较2D CNN-LSTM 算法与其他算法之间的差异.2D CNN-LSTM比2D CNN高0.027，两者之间存在显著性差异(p<0.05)；它比1D CNN-LSTM高0.04，两者之间存在显著性差异(p<0.05)；比WT-SVM高0.06，两者之间存在显著性差异(p<0.05)；比CSP-SVM高0.087，两者之间也存在显著性差异(p<0.05).通过分析后发现被试P1与P5，无论是平均准确率还是F1-score都相对较低，通过分析这两位被试每个试次的MI脑电后发现，其中ERD/ERS不明显的试次相对较多，从而导致了个体模型的分类性能较差些.总的来说，2D CNN-LSTM算法有着更好的精准率与召回率，在分类MI-EEG方面具有最佳性能.

表3 各算法个体模型F1-scoreTable 3 Individual model F1 score of each algorithm

此外，还计算了2D CNN-LSTM算法的受试者工作特征曲线(Receiver Operating Characteristic，ROC)曲线下面积(Area Under the Curve，AUC)，所有被试的AUC值都超过了0.9，最高达到了0.988.

5.2 多人模型

多人模型指针对所有被试的运动想象脑电信号数据进行了建模.与个体模型相比，多人模型的数据集规模足以满足训练，因此在训练过程种增加一个验证集，本文将7位被试的数据作为训练集，训练集中20%的数据作为验证集，3位被试的数据用于模型的测试，该方法更有利于测试多人模型的泛化性.验证集的作用在于确定模型是否在给定的训练集下达到了足够的准确率，如果没有验证步骤，模型很可能会过度拟合.本文统计1D CNN-LSTM、2D CNN和2D CNN-LSTM算法，因为这些算法的平均准确率和F1-score都较高.3个算法通过100个epoch的训练后进行了评估，并统计了3个算法AUC值分别为2D CNN-LSTM(0.957)、2D CNN(0.946)、1D CNN-LSTM(0.937)，可见2D CNN-LSTM表现更好.

如同个体模型，多人模型也统计了验证集与测试集的平均准确率与F1-score值，结果如表4与表5所示.从表中可以得出，多人模型中2D CNN-LSTM表现更为稳定，在验证集有着超过95%的平均准确率，F1-score达到了0.963，测试集上的平均准确率达到了93.4%，F1-score达到了0.936，可以得出2D CNN-LSTM模型有着更优秀的泛化性能.

表4 各算法多人模型准确率Table 4 Accuracy of multi-person model of each algorithm

表5 各算法多人模型F1-ScoreTable 5 F1-score of multi-person model of each algorithm

此外，本文还统计了各模型在训练过程中验证集的损失值(如图4所示).1D CNN-LSTM和2D CNN-LSTM的损失在迭代过程中呈现迅速下降，直到收敛.经过100个epoch的训练，2D CNN-LSTM的损失下降到大约0.1，相较于1D CNN-LSTM低0.1，相较于2D CNN低0.15.为了验证2D CNN-LSTM模型的性能，将本文多人模型与Garcia-Moreno的工作[22]进行了比较，本文实验比他们多招募6名被试，测试集损失比他们降低了0.15，测试集上的平均准确率提升了6.4%.综上所述，可以得出2D CNN-LSTM算法在多人建模中可以表现出好的性能.

图4 验证集的损失图Fig.4 Loss diagram of validation set

5.3 公开数据集

本文还针对世界脑控机器人大赛2020运动想象公开数据集(3)https：//oneuro.cn/n/competitiondetail/chinabci_2020_mi_with_training/doc0进行分类和讨论.该数据集原始EEG数据由博睿康64导联设备采集(仅包含59个导联的脑电数据，其中60-64导联无效)，采样率为1000Hz.共提供15位健康被试的运动想象数据，每位被试的block1～block3作为训练数据被公开.每个block包括20个左手、20个右手的运动想象任务.单个试次时长为7.5秒，包含了1.5秒的提示、4秒的运动想象任务、2秒的休息.官方对MI脑电数据统一进行了250Hz的下采样处理并进行了滤波以去除了50Hz的工频信号干扰.

个体模型准确率如表6所示，首先对每位被试的脑电数据进行降采样到200Hz.其余的预处理过程与节3.3数据处理流程相同.结果分析发现：1)2D CNN、2D CNN-LSTM和WT-SVM模型的平均分类准确率均超过80%，优于CSP-SVM和1D CNN-LSTM模型.在这3种算法中，2D CNN-LSTM 的平均准确率最高，达到了88.7%；2)进行了单因素方差分析，结果表明这些算法之间存在统计学上的显著性差异，F=18.04，p<0.05.进行Tukey事后分析以比较2D CNN-LSTM 算法和其余算法的平均准确率是否存在显著性差异性，发现2D CNN-LSTM与其他算法相比，它的平均准确率比2D CNN高1.9%，两者之间存在显著性差异(p<0.05)；2D CNN-LSTM比1D CNN-LSTM高12.7%，两者之间存在显著性差异(p<0.05)；比WT-SVM高6.0%，两者之间存在显著性差异(p<0.05)；比CSP-SVM高9.0%，两者之间存在显著性差异(p<0.05).这些结果表明本文的算法在该公开的数据集中表现良好，2D CNN算法的表现比1D CNN-LSTM算法好许多，很可能针对该数据集，脑电信号的通道连通特征相较于时序特征更重要所造成.

表6 各算法个体模型准确率Table 6 Accuracy of individual model of each algorithm

6 脑机交互应用实例

构建一个可靠的VR-BCI，无论是应用于患者的康复训练，还是对普通被试在VR环境下增加一种交互手段，都有着积极的意义.通过结果部分的分析，可以看出2D CNN-LSTM对VR下MI脑电信号的分类有着优秀的性能，特别是使用个体模型对被试本身的脑电信号的分类有着最好的性能，平均F1-score达到了0.951.因此本文将每位被试的个体模型应用于实时VR-BCI中的分类.

构建的VR游戏场景如图5所示，其中图5(a)为实时台球移动游戏，被试通过出现的左右箭头提示进行运动想象控制台面上球的左右移动，由于箭头刺激的出现时间为第4秒后，所以本文选取的分析时间窗和离线分析保持一致，并使用箭头刺激出现前0.5秒的数据作为基线数据；图5(b)为实时击球游戏，一次击球的总时长为10秒，前4秒依旧是准备阶段，第5秒出现左右箭头提示被试球飞行的方向(只出现1秒)，被试根据球飞行的方向想象左右手挥手，控制虚拟角色的手抬起击球，选取的分析时间窗为提示箭头出现后的2.56秒的数据，使用提示箭头出现前0.5秒的数据作为基线数据.随后将记录到的脑电数据通过UDP实时传输，使用训练好的模型对数据进行分类，并通过UDP将分类标签回传给VR程序，对虚拟台球与虚拟角色进行实时的控制.

图5 VR游戏场景Fig.5 VR game scene

整个流程如图6所示，以台球移动游戏为例.

图6 实时VR-BCI流程图Fig.6 Real-time VR-BCI flow chart

本文要求10位被试参与实时台球移动游戏与击球游戏的测试，在2个游戏中各进行3组实验，每组20次，共计60次，以免被试产生疲劳.统计每位被试成功移动小球的总次数，结果如表7所示.

从表7中可以看出所有被试识别成功次数都超过50次，通过统计得出这10位被试的平均识别准确率为91.7%.但是P1与P5的识别准确率较低，由表2和表3个体模型的准确率与F1-score中可以看出这两位被试的个体模型识别准确率较低，从而导致实时识别率也不高.

表7 台球移动游戏控制成功次数Table 7 Billiard movement game control success times

从表8统计得出这10位被试的平均识别准确率为88.3%.实时击球游戏相较于台球移动游戏的准确率有所下降，很可能是由于击球游戏提示箭头出现时间较短，被试主要靠球的飞行方向进行判断，导致进行运动想象的时间有所偏差，从而识别率不高，但是依旧超过了88%.

表8 击球游戏控制成功次数Table 8 Batting game control success times

此外，如表9所示，本文与其他研究者构建的实时VR-BCI进行了比较，结果表明本文构建的2D CNN-LSTM分类器的识别准确率最高，相较于徐森威等人提升了9.8%，相较于Wang等人提升了4.4%，相较于Alchalabi等人提升了11.7%.

表9 VR-BCI识别准确率对比Table 9 Comparison of VR-BCI recognition accuracy

7 结论与展望

本文为了提升被试在沉浸式VR环境下的运动想象训练效果，提升VR下脑机交互体验，从提升分类器性能的角度出发提升VR-BCI的稳定性，提出使用2D CNN-LSTM算法对VR下的脑电信号进行端到端分类.该算法可充分捕捉时序特征与通道连通特征，离线分析时个体模型在测试集上的平均准确率达到94.8%，平均F1-score达到0.951；多人模型在验证集上的平均分类准确率达到96.8%，平均F1-score达到0.963，在测试集上的平均分类准确率达到93.4%，平均F1-score达到0.936，均优于对比的算法.此外，在公开数据集上进行了测试，平均分类准确率达到88.7%.在线使用个体模型对VR下MI脑电进行实时分类，台球移动游戏平均准确率达到了91.7%，击球游戏平均准确率达到了88.3%，相较于现有的实时VR-BCI有较为明显的提升.

未来将进一步探索深度学习算法在运动想象脑电信号多分类中的应用，并对多人建模和单人建模的差异性和泛化性进行优化.还希望从提升被试在VR下脑电信号模式的稳定性，即脑电质量的角度出发，寻求提升VR-BCI的鲁棒性.此外，将算法应用于面向脑机接口的临床康复训练，提高康复系统的性能，帮助运动障碍患者获得更好的康复训练效果.