稳态运动视觉诱发电位的诱发及在脑机接口中的应用进展

李 丽，陈枭宇，随 力

（上海理工大学 健康科学与工程学院，上海 200093）

视觉诱发电位（visual evoked potential，VEP）是视觉刺激引起的枕部大脑皮层的电生理反应[1]。根据视觉刺激间隔时间的长短或者频率的不同，VEP 分为瞬态视觉诱发电位（transient visual evoked potential，tVEP）和稳态视觉诱发电位（steady-state visual evoked potential，SSVEP）[2]。tVEP 通常由低于6 Hz 的视觉刺激诱发，无法应用于脑机接口（brain-computer interface，BCI）系统，SSVEP 则由更高频率的视觉刺激诱发，具有较强的抗干扰性[3]。SSVEP 是BCI 系统中一种较常使用的脑电信号。基于SSVEP 的BCI 系统具有平台易于搭建、无需训练及传输速率较高等优点[4]。传统的SSVEP 通常采用重复的闪烁刺激来诱发，具有较高的信噪比。但是，重复的视觉闪烁刺激容易导致使用者视觉疲劳，从而降低BCI 的系统性能。人类的视觉系统不仅对物体的颜色、形状等特征十分敏感，而且对物体的运动速度、方向等特征也非常敏感[5]，因此，研究人员采用运动的刺激来诱发VEP，发现运动起始阶段即可诱导出VEP，并将其命名为运动启动诱发电位（motion-onset visual evoked potentials，MVEP），MVEP 具有信噪比高、信号稳定及视觉疲劳度较低等优势。MVEP对运动起始敏感，但持续时间短暂[6]。研究人员在MVEP 的基础上继而发现周期性的运动视觉刺激可以诱发出持续时间较长的SSVEP，这种由运动视觉刺激诱导出来的SSVEP 被命名为稳态运动视觉诱发电位（steady-state motion visual evoked potential，SSMVEP），目前基于SSMVEP 的BCI系统已成为BCI 研究的焦点之一[2]。现有的研究表明，基于SSMVEP 的BCI 系统性能和SSMVEP的诱导有着很大的关系，运动视觉刺激方式和刺激参数在SSMVEP 的诱导中起着重要的作用，因此，本文就SSMVEP 的运动视觉刺激方式、刺激参数以及SSMVEP 在BCI 中的应用等方面的研究进展进行了归纳和总结。

1 SSMVEP 的运动视觉刺激方式

传统SSVEP 的诱发通常采用闪烁刺激模式，依据刺激硬件的不同，闪烁刺激方式又分为发光二极管（light emitting diode，LED）闪烁刺激和液晶显示（liquid crystal display，LCD）闪烁刺激。LED闪烁刺激（如图1(a)所示）诱发的SSVEP 通常需要搭建LED 硬件电路；LCD 闪烁刺激不需要额外的硬件电路，且依靠计算机的软件系统来实现视觉刺激的呈现和刺激参数的变换[7]。目前常用来诱发SSVEP 的LCD 闪烁刺激方式有两种：一是单个图形刺激（如矩形、正方形或箭头）在计算机屏幕上以指定的速度出现和消失（如图1(b)所示）；二是黑白两色的棋盘或栅格进行模式翻转（如图1(c)所示）。这些传统的SSVEP 的诱发方式在BCI 系统中具有较好的使用价值，但这类刺激方式易造成视觉疲劳，甚至有诱发使用者癫痫发作的风险，最终影响BCI 系统的性能。

图1 SSVEP 的基本刺激模式[8]Fig.1 Basic stimulation patterns of SSVEP[8]

SSMVEP 的诱导建立在传统SSVEP 诱导的基础上。它由一系列MVEP 叠加而成，既保留了传统SSVEP 的刺激效果，又显著地降低了眼睛对闪烁刺激的敏感性[9]，极大地缓解了视觉疲劳，符合目前BCI 系统以提高用户舒适度为目标[10]的发展趋势。学者在探索诱发SSMVEP 的视觉刺激模式上进行了研究，本文对这些诱导SSMVEP 的运动视觉刺激模式进行了归纳和总结，如表1 所示。

表1 SSMVEP 运动刺激模式总结Tab.1 Summary of stimulation patterns of SSMVEP

目前诱导SSMVEP 的研究中使用的运动视觉刺激呈现界面及刺激方式多样，并不统一。依据刺激的基本运动方式，将SSMVEP 诱导中的视觉刺激的运动方式初步归纳为5 种方式：a.径向收缩-扩张运动方式，具体包括牛顿环、环形棋盘；b.翻转运动方式，如实线圆的翻转[11]、类似硬币翻转、简单图标绕固定轴的翻转[12]都可以归为此类运动方式；c.移动，包括左右平移[13]、路径不规律的移动[14]及结合闪烁的移动[15]等；d.步态序列，视频中人的步态动作也可诱导出SSMVEP[16]；e.其他运动方式。学者在SSMVEP 诱导中的视觉刺激多种运动方式中，试图探索出哪种运动刺激方式较好，如Yan 等[4]比较了螺旋、摆动、旋转和收缩-扩张运动模式诱导的SSMVEP，研究结果表明，螺旋运动的视觉刺激效果较好。但由于运动方式多种多样，并且不断有新的运动刺激方式被提出，因此，哪种运动刺激方式诱导SSMVEP的效果最好，并没有一个定论。研究表明，沿视轴改变距离的径向扩张和收缩运动比无深度变化的运动能引起更强的SSMVEP 效果[4]。总体而言，SSMVEP 诱导研究中最常采用的运动刺激模式是基于径向收缩-扩张运动方式（如牛顿环和棋盘格）。近年来，开发出了更多种运动方式来诱导出SSMVEP，如Wang 等[17]采用视觉错觉运动来诱导SSMVEP，Karimi 等[18]采用基于增强现实（augmented reality，AR）的运动方式来诱导SSMVEP。在诱导SSMVEP 方面，不仅采用了不同的运动刺激模式，而且在探索运动视觉刺激参数方面也开展了一些研究，研究结果表明，运动视觉刺激参数对SSMVEP 的诱导效果也有一定的影响[6]。

2 影响SSMVEP 的运动视觉刺激参数

在SSMVEP 的诱导研究中，学者一直在致力于提高SSMVEP 的信噪比，增强SSMVEP 的信噪比的主要方法之一是运动刺激方式的改进和运动刺激参数的选择。因此，运动视觉刺激参数对SSMVEP 的影响，对基于SSMVEP 的BCI 性能的影响也有了相关的研究报道。目前，SSMVEP 研究中涉及的运动刺激参数主要有运动刺激频率、运动刺激频率间隔、运动刺激的屏幕刷新率、运动刺激的大小、颜色、对比度、运动刺激界面的呈现间隔等。表2 归纳总结了这些运动刺激参数对SSMVEP 信号特性和主观感受的影响。

表2 刺激参数对SSMVEP 的影响Tab.2 Influence of stimulation parameters on SSMVEP

总体而言，有关运动刺激参数对SSMVEP 信号特性的研究还十分有限，依旧处于探索阶段。哪种刺激参数或者刺激参数的组合最有利于SSMVEP 的诱导、最有利于提高SSMVEP 的信噪比和识别精度尚缺少定论。基于现有的研究结果，有学者提出SSMVEP 运动刺激参数的选择趋势很可能集中在小型、绿色、高频刺激上[6]。

3 SSMVEP 的信号处理方法

增强SSMVEP 的信噪比，提高基于SSMVEP的BCI 的性能不只是依靠运动刺激方式的改进和运动刺激参数的选择，改进SSMVEP 的信号处理方法也是一个很重要的方面。SSMVEP 的峰值能量主要集中在运动方向变化率上，对2 个相反方向运动的视觉感知尤为突出[26]，因此，方向变化率或者称为运动逆转频率是SSMVEP 的基频，第一次谐波频率就等于运动周期的频率。总体说来，SSMVEP 的平均幅值虽然小于传统SSVEP 的幅值，但SSMVEP 的能量集中，频谱中只有1 个显著的峰值，其对应于运动反转频率，SSMVEP这种频率简洁的特点使得SSMVEP 更易于从复杂的背景脑电信号中提取出来。SSMVEP 信号的识别准确率的提高对于基于SSMVEP 的BCI 系统性能的提升非常重要[6]。

SSMVEP 的信号处理和特征分析的核心思想就是基于刺激频率的特征识别。目前，SSMVEP的信号特征分析方法有多种。功率谱密度分析[27]（power spectral density analysis，PSDA）是提取SSVEP响应频率的传统方法，也可以用来分析SSMVEP。PSDA[28]方法具有计算成本低、鲁棒性强的优点，但当数据段未被截断为相应激励频率的整数周期时，存在频谱泄漏严重的缺点[29]。2006 年，Lin 等[30]将典型相关分析(canonical correlation analysis,CCA)应用于SSVEP，取得了较好的效果。后来此方法广泛应用于SSVEP 的信号识别。CCA 是对2 个多变量矩阵进行线性变换，使变换后的2 个集合具有最大的线性相关性，是揭示2 组多变量矩阵之间线性相关性的非参数方法。与PSDA 相比，CCA 方法可以将多通道信号的数据进行组合，提高了SSVEP 的信噪比和目标识别精度。值得一提的是，CCA 的优势在于分析高通量脑电记录通道所采集的数据。当脑电记录通道数量较少时，CCA 的识别精度可能会急剧下降[28]。SSMVEP 是SSVEP 的一种，因此，目前SSMVEP 信号的识别算法，绝大部分也都采用CCA。随着机器学习和深度学习在信号处理领域的快速发展，各种深度学习算法也被用在了SSMVEP 的分类以及基于SSMVEP 的BCI 特征提取和模式识别上。Jia 等[31]在2017 年提出了一种基于分离特征学习的DBN（deep neural network）结构，用于SSMVEP 信号的分类，研究结果表明，与传统的CCA 方法相比，此方法具有更强的鲁棒性，能在较短的响应时间内实现较高的SSMVEP 判别精度和更低的主体间变异性，表明了DBN 结构在SSMVEP 检测中的应用能力。目前，基于深度学习的数据处理算法能够较好地提升基于SSMVEP 的BCI 的系统性能，但尚不能替代CCA，CCA 依然是SSMVEP 最常使用的信号处理方法。

4 SSMVEP 在BCI 中的应用

基于SSMVEP 的BCI 系统在医疗及娱乐等领域已有了广泛的应用。SSMVEP 是在SSVEP 的基础上发展起来的，因此，基于SSMVEP 的BCI 系统类似于基于SSVEP 的BCI 系统，其最为广泛的应用是拼写器[10-11,20,32]，基于SSMVEP 的拼写器系统可以实现瘫痪患者利用脑电信号与外界交流。国内的学者不仅实现了较常见的基于SSMVEP 的英文拼写系统，并且于2017 年提出了一个基于SSMVEP 的80 个目标的中文拼写系统[20]，系统中采用振荡棋盘格来诱导SSMVEP，视觉刺激无闪烁，在线实验取得了良好的BCI 效果。基于SSMVEP的BCI 系统还可以应用于神经康复训练[33]，SSMVEP诱导中的运动视觉刺激可以有效激活大脑中的镜像神经元系统，提高了脑可塑性能力，有助于患者的神经康复[34]。基于SSMVEP 的BCI 系统也有助于临床眼科疾病的诊断或辅助诊断，2019 年Zheng 等[35]采用同心圆环的振荡扩张-收缩运动诱发的SSMVEP 来评估眼科检查项目中的视力和视敏感度，通过改变SSMVEP 诱导中的视觉刺激参数，使运动视觉刺激具有不同的频率和对比度，用来评估不同的视敏度，使SSMVEP 的诱导成为一种定量测量视敏度的方法。同样，基于SSMVEP的特性，Nakanishi 等[36]设计了一个可以检测出青光眼的设备，即nGoggle 设备；徐光华等[37]通过收缩-扩张的棋盘格诱发的SSMVEP，设计了一种可以检测弱视的装置。

基于SSMVEP 的BCI 系统也可应用于娱乐领域，例如，2019 年Perez-Valero 等[38]在游戏设计时，将游戏人物的行动轨迹转化为一定频率的可以收缩-扩张的环形棋盘，从而诱发出了SSMVEP。

5 SSMVEP 的发展趋势

SSMVEP 和基于SSMVEP 的BCI 系统必将随着脑科学和BCI 系统的快速发展而发展，未来SSMVEP 可能朝着以下几个方面发展：

在SSMVEP 的诱导模式方面，除了进一步深入研究较常使用的运动刺激模式，如径向收缩-扩张运动方式中的牛顿环和棋盘格，探索新的运动刺激模式或者将常规刺激模式偶联新的刺激参数将是SSMVEP 的未来发展方向之一。近年来，国内外的科研人员都在围绕这一方向展开研究，例如，Han 等[39]采用立体运动刺激来诱导SSMVEP，立体三维显示器可以呈现出具有双目视差的图像，这些双目视差图像大小的周期性变化即可产生往复性的立体运动刺激，研究结果进一步表明，立体运动刺激诱导的SSMVEP 的幅值和信噪比更大、稳态视觉感知反应更为强烈。建立在3D 技术上的立体运动刺激来诱导SSMVEP，基于SSMVEP 的BCI 系统与虚拟现实或增强现实的融合都是值得进一步深入研究的课题方向。

在SSMVEP 的信号处理方面，现有的深度学习算法虽不能取代最常使用的CCA 方法，但不可否认的是，随着各种框架的深度学习算法的提出，SSMVEP 识别精度和基于SSMVEP 的BCI 性能都在提高。因此，探索更加强大的深度学习算法来处理SSMVEP 信号将是未来的发展方向。

在SSMVEP 的BCI 应用方面，无闪烁刺激诱导的SSMVEP 在用户舒适度方面相比于SSVEP 前进了一大步，进一步挖掘基于SSMVEP 的BCI 系统在医疗、娱乐等领域的应用将是未来的研究目标。SSMVEP 联合其他脑电信号或者其他人体生理信号，如心电信号、肌电信号及眼电信号等。建立多模态的BCI 系统不仅是SSMVEP 的发展需求，而且也是整个BCI 系统的发展需求。SSMVEP 多模态BCI 系统的发展将进一步增强基于SSMVEP的BCI 系统的性能，提高BCI 在复杂现实环境中的准确性和可靠性，最终实现基于SSMVEP 的BCI 系统的便携性、实用性和大众化。