结合稳态视觉诱发电位的多模态脑机接口研究进展

迟新一 崔红岩 陈小刚＃

(中国医学科学院北京协和医学院生物医学工程研究所，天津 300192)

引言

脑机接口(brain-computer interface，BCI)通过获取和解析大脑神经活动，将用户意图翻译为命令，在没有外周神经和肌肉参与的情况下实现对外部设备的直接控制[1]。 脑机接口的初衷是为严重运动障碍患者提供一种全新的与外界交互的方式，如让截肢者、脊髓损伤者或肌萎缩侧索硬化症患者利用大脑直接打字或控制假肢等。 近年来，随着研究的深入，脑机接口针对健全人的非医学应用(如教育、游戏、认知增强)也日益增加[2]。

无创脑机接口通过非侵入式的神经成像技术获取大脑信号，如以神经活动产生的血流和代谢变化为基础的功能磁共振成像(functional magnetic resonance imaging， fMRI) 和功 能近红外光谱(functional near-infrared spectroscopy，fNIRS)，以及以神经活动产生的电或磁信号变化为基础的脑电图 ( electroencephalogram， EEG )/脑磁图(magnetoencephalogram，MEG)。 其中，脑电图因高时间分辨率、便携和低成本等特点被广泛应用于脑机接口研究中[3-4]。

基于脑电的脑机接口常用模态包括:P300 电位、稳态视觉诱发电位(steady-state visual evoked potential，SSVEP)和运动想象(motor imagery，MI)等。 传统脑机接口通常依赖于单个输入信号或单一模态，如SSVEP 脑机接口、MI 脑机接口。 虽然近年来传统脑机接口取得了较大进展，但是其受限于单一信号或模态的固有缺点，在性能和适用人群方面仍受到一定制约。 如，约20%的用户使用MI 脑机接口系统的准确率低于70%，被认为不能对系统进行有效控制[5-6]，即所谓的脑机接口盲(BCI illiteracy)；虽然P300 和SSVEP 脑机接口适用于更大比例的用户，但不一定适用于所有用户[7]。 目前脑机接口的研究和应用已逐渐趋向于融合多种信号构建多模态脑机接口，或称混合脑机接口(hybrid BCI，hBCI)，以取长补短，扩展其现有的控制能力，提高系统的实用性、鲁棒性和普适性。 其中，结合脑电信号的多模态脑机接口研究最为普遍。 自2010年Pfurtscheller 等[6]在多模态脑机接口的开创性工作以来，该领域见证了结合脑电多种模态(如P300 和SSVEP)或结合脑电与非脑电信号的脑机接口研究的稳步增长。 尽管近年来多模态脑机接口取得了可喜成果，但该领域只有十余年的发展历程，仍然很年轻。

在基于脑电的脑机接口中，SSVEP 脑机接口因信息传输率(information transfer rate，ITR)高、所需训练少而备受关注。 SSVEP 是大脑对周期性视觉刺激产生的反应，它具有与视觉刺激频率相同的基频及其谐波成分，且与刺激信号保持良好的锁时、锁相特性，具有信噪比高和频谱稳定等特点。 近年来，基于脑电的脑机接口的性能得到显著提升，尤其是SSVEP 脑机接口，其最高信息传输率已达300bit/min 以上[8]。 现有的高通讯速率脑机接口系统主要是来自于或基于SSVEP[8，12]。 SSVEP 脑机接口性能的大幅提高，为结合SSVEP 的多模态脑机接口研究提供更多可能。 笔者期望通过梳理结合SSVEP 的多模态脑机接口研究进展，帮助相关研究者理解该领域的发展动态，以启发高通讯速率脑机接口系统的设计与实现。

根据融合信号不同类型，将结合SSVEP 的多模态脑机接口分为以下三类:1)SSVEP 与其他EEG信号，如MI、P300 等；2)SSVEP 与其他生理活动信号，如眼动追踪、眼电图(electrooculography，EOG)、肌电图(electromyography，EMG)等；3)SSVEP 与其他脑活动信号，如fNIRS 等。 图1 展示了结合SSVEP 的多模态脑机接口的信号组成。

图1 用于构建多模态BCI 的信号Fig.1 The signals used in multi-modal BCI

1 研究现状

1.1 SSVEP 与其他EEG 信号结合

不同脑电模态的结合是通过不同任务组合实现的。 SSVEP 的产生依赖于注视周期性视觉刺激，这种注视任务与其他类型的任务可以是相对独立的，如注视任务与运动想象任务的结合实现SSVEP和MI 的融合，多感觉(如视觉和听觉)刺激实现视觉诱发电位和听觉诱发电位(auditory evoked potential，AEP)的结合[13]；这种注视任务与其他类型的任务也可以是相辅相成的，如SSVEP 与P300均是通过视觉刺激诱发；这种注视任务与其他类型的任务还可以有因果关系，如通过检测注视任务中的情绪变化[14]或错误的视觉反馈诱发的错误电位[15](error potential，ErrP)来改善SSVEP-BCI 的性能。 其中，SSVEP 与MI/P300 结合的相关研究和应用最为广泛。 图2 简要展示了SSVEP、MI、P300 脑机接口的经典范式。

图2 3 种经典基于脑电的脑机接口范式Fig.2 Three classical paradigms of EEG-based BCI

1.1.1 SSVEP 和MI

运动想象是一种不依赖于外部刺激的大脑活动模式，它通过对不同身体部位(通常是左右手、脚)运动的心理模拟，在感觉运动皮层相应的区域激活可区分的大脑活动模式。 对于EEG 而言，运动想象可以诱发mu 节律(8～13 Hz)和beta 节律(13～30 Hz) 的事件相关去同步/同步(event-related desynchronization/synchronization，ERD/ERS)，即这两个频带能量的衰减或增强[16]。 运动想象脑机接口采用完全自发的脑电模式来表征用户的主观运动意图。 然而，目前此类系统仍然存在不足，如可用于区分的运动想象模式较少，导致目标集数目受限、训练时间长以及个体差异大，BCI 盲的比例相对较高。 而稳态视觉诱发电位脑机接口具有更高的准确率，可用于控制具有更多自由度的设备。 因此，基于SSVEP 和MI 的多模态脑机接口系统将具有更高的性能、系统稳定性以及普适性。

同时执行视觉注意任务和运动想象任务，已被证明是一种有效的并行融合范式。 注视以不同频率闪烁的发光二极管，同时进行左右手想象运动，对包含两类脑电模态特征的混合信号进行解码，可以得到比单一模态脑机接口更高的分类精度，有效减少BCI 盲的数量[17]。 Yu 等[18]探讨了视觉反馈的准确性对运动想象训练的影响，证明了提出的混合反馈范式得到的反馈比单纯运动想象反馈范式更准确，且还有利于运动想象训练。 理论上，整个头皮范围都可以记录到SSVEP 信号，只是与枕区的距离越远，信号强度越弱。 并且上述研究所使用的均为低频刺激源，因此在左右手想象运动的ERD/ERS 现象最为明显的脑区(即中央区附近)及频带上(即8～30 Hz)，SSVEP 信号能量会对其产生干扰，从而影响MI 信号的质量，但SSVEP 信号特征对混合信号解码精度提升的贡献可以弥补这种影响[19]。 而Ko 等[20]选择借助这种“干扰”，仅使用中央区域的两个电极(C3 和C4)来获取混合任务的脑电信号，并使用共频谱模式(common frequency patterns，CFP)最大化两类目标的频域特征用于分类。 二者的融合范式增加了分类信号的特征，可以提高准确率，同时也增加了与其他目标信号的差异。 Cao 等[21]使用融合信号作为轮椅的开关，使用SSVEP 和MI 的单一信号去控制轮椅进行常规操作，通过特征上的差异区分开关信号和操作信号，减少了在轮椅正常使用过程中对开关的误触发。而在Yang 等[22]的研究中，使用卷积神经网络，借助混合信号与单一信号之间的差异，在两个通道上实现了10 种任务(4 种单纯SSVEP 任务，一种单纯MI任务，4 种结合MI 和SSVEP 的混合任务以及静息态)的分类，有效的提高了分类目标数目。

SSVEP 和MI 信号的并行融合可有效提高分类精度，减少BCI 盲的比例，但同时进行两种不同的任务也无疑增加了任务的复杂度。 在实际应用中，人们更偏向于使用简单的任务作为控制命令，实现高效脑机交互。 除了上述并行融合策略，SSVEP 和MI 信号还可通过串行融合策略实现两者结合。 即通过不同简单命令的顺序执行，完成系统的复杂操作。 如先进行SSVEP 任务输出SSVEP 命令，再进行MI 任务输出MI 命令。 在串行融合策略中，用户当前时刻只进行一个任务，并不增加当前时刻用户心理负荷，同时还能丰富命令集。 目前，基于SSVEP 和MI 串行融合构建的命令集已经实现矫形器[23]，导航机器人[24]，功能性电刺激仪[25]，智能汽车[26]，四轴飞行器[27]等医疗仪器或智能设备的操控，并在游戏领域也有所应用[28]。

1.1.2 SSVEP 和P300

P300 电位是一种事件相关电位(event-related potential，ERP)，是在罕见且相关刺激后约300 ms发生的正向偏移，当给予特定刺激更多注意力时，其幅度将增加。 P300 可以通过视觉、听觉和触觉等方式得以诱发。 由于视觉P300 与SSVEP 均依赖于视觉刺激，P300 特征位于时域而SSVEP 特征位于频域，两种特征相对独立，对彼此的影响较小。 因此P300 和SSVEP 是构建多模态脑机接口的一对理想信号。

拼写器是SSVEP 脑机接口和P300 脑机接口的经典应用，因此融合SSVEP 和P300 的多模态脑机接口也主要关注于拼写器应用。 Panicker 等[29]首次提出了二者的融合策略，拼写器中的36 个目标以同一频率闪烁，以诱发SSVEP 作为控制状态的检测；同时行列以随机顺序用橙色标出，诱发P300 以完成目标识别。 为不同目标分配不同频率的闪烁，可以有效的结合两种信号特征，提高分类准确率。这在少目标的范式[30-31]中是有效的，但在拼写器中，为多目标分配不同闪烁频率效率较低，可以通过合理划分目标集并为不同位置[32]或区域[33-34]的目标赋予不同的闪烁频率，使SSVEP 和P300 的特征分别表征目标的其中一个维度，以此定位目标。Xu 等[11]基于SSVEP 和P300 融合范式已成功构建了108 目标的高速拼写器，在主动拼写的实验中实现了平均79.17%的分类正确率和164.69 bit/min的信息传输率。

为了提高混合系统的稳定性和准确性，一些针对实验范式上的优化被提出。 例如，将形状的变化用于P300 刺激，减少了混合范式中传统P300 刺激方式对SSVEP 刺激呈现的可能影响[35]；将面部闪烁与情绪变化相结合，分别用于诱发SSVEP 和P300，展现出更高的舒适度和准确率[36]；比较闪烁刺激区域不同对比度的影响，探寻平衡性能和舒适感的最佳对比度[37]。 而随着单模态脑机接口研究的深入，新刺激范式为构建结合SSVEP 和P300 的脑机接口提供了新思路，而不仅局限于传统的刺激方式。 如在Xu 等[38-39]的研究中，整体或区域内的目标保持相同的闪烁频率，通过不同目标闪烁的消失，引发一种SSVEP 阻断信号，同时诱发P300 信号；Chang 等[40]基于双频诱发的方式，每个区域以不同的频率周期闪烁，区域内的目标以区域闪烁频率的整数分频随机出现，同时诱发P300 和SSVEP；而Jalilpour 等[41]通过快速连续视觉呈现(rapid serial visual presentation，RSVP)构建了新的混合范式用于字符拼写，每3 个字符分为一组，每组的3 个字母分别放置在闪烁方块的左上角、右上角和下方，并以闪烁频率整数分频的频率在不同组别中切换，以诱发P300 电位，而用户注视字符时，闪烁的方块在视野中的不同位置，从而在大脑中产生不同空间分布的SSVEPs，结合二者单独分类的结果共同决定识别的目标。

1.2 SSVEP 与其他生理活动信号结合

除脑电信号之外，SSVEP 可以与其他生理活动信号相结合，如易于控制的眼部运动信号和肌肉运动信号，是构建多模态脑机接口的常用信号。 这种生理活动信号的产生机制相对脑电信号更为简单，易于理解和分析，融合有助于进一步提高脑机接口的性能和普适性。

1.2.1 SSVEP 和眼动追踪

眼动追踪是指通过测量眼睛注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。通过分析红外光源照射眼球所反射的光来计算目光注视的位置，是相对精确但昂贵的方式。 另一种方式是通过图像采集设备，如电脑或手机上的摄像头，在软件的支持下实现眼动追踪，这种方式对环境光、头部运动范围等方面的要求会更高，且精度较差，但价格相对低廉。 在基于SSVEP 和眼动追踪的多模态脑机接口研究中，眼动追踪系统确定目光注视的区域，SSVEP 用于选择区域内的目标，二者相辅相成，也可互相验证。

拼写器仍然是结合SSVEP 和眼动追踪的多模态脑机接口的主要应用。 Lim 等[42]将拼写器的目标区域分为3 个子区域，并优化刺激频率分布。 此研究将低成本的基于网络摄像头的图像采集设备用于眼动追踪，验证SSVEP 分类结果与眼球注视区域的一致性，一致则直接输出结果，否则不做输出，这样省去了出现拼写错误后的纠正步骤，节省了时间。 眼动追踪除了可以验证结果，也可以用于扩大目标集，此时需要精度更高的基于红外光源的眼动追踪设备。 Stawicki 等[43]采用异步策略，突出显示与目光注视点所在位置最近的4 个字符框，为其分配不同的闪烁频率，利用SSVEP 信号进行四目标的字符选择。 相较于单纯SSVEP 拼写器，使用区域激活策略的结合SSVEP 和眼动追踪的混合拼写器舒适度更高，用于单次选择的目标更少，更易于控制。基于相同的思路，Yao 等[44]和Lin 等[45]分别为注视点附近的4 个和9 个目标分配不同的闪烁频率，在有训练时(ITR 为360.7 bit/min)和无训练时(ITR为180.8 bit/min)完成了40 目标的提示拼写任务。Mannan 等[46]则采用同步策略，使用6 个不同的闪烁频率构造48 目标混合拼写器，在自由拼写任务中实现190.73 bit/min 的平均ITR。

基于SSVEP-BCI 和眼动追踪技术的拼写器均利用注视停留，具有一定的相似性。 眼动追踪设备的舒适度相对较高，但是使用前需要校准，即建立符合使用者特征的模型，以期提高眼动追踪精度。眼动追踪的精确度和准确度除了会受到校准质量的影响外，也会受到额外变量的影响:如使用者佩戴度数高/脏污/有色的眼镜或者隐形眼镜，影响了红外光的传播，从而影响眼动数据质量。 SSVEP 信号不易受到环境条件的干扰，更多取决于使用者注意力的集中程度。 此外，目前SSVEP-BCI 拼写器的速度和性能已经可以与眼动追踪拼写器相当[8]。基于SSVEP-BCI 和眼动追踪的多模态脑机接口适合于构建大指令集系统，且通过与眼动追踪结合，只需保留视线范围内目标的闪烁，可极大地提高系统的舒适度。

1.2.2 SSVEP 和EOG

不同眼部运动，如眨眼、眼球运动等会引起视网膜和角膜之间的去极化和超极化，形成视网膜和角膜之间的电位差，即EOG。 EOG 分为水平眼电和垂直眼电，分别代表眼部运动信号的水平和垂直分量。 眼部运动易于执行，其信号时域特征明显，易于检测，且在不同受试者中更稳定[47]。

在Saravanakumar 等[48]提出的混合系统中，虚拟拼写器由9 组目标共36 个字符组成，分别对应9种不同的EOG 模式。 目标选择分为两步，通过EOG信号分类选择目标组，随后进入子界面通过SSVEP进行四目标的字符选择。 由于前额脑电信号中易混入眼电信号，可从前额脑电中提取眼电特征，而无需增加系统成本。 已有研究将前额脑电信号中的眨眼信息用于基于增强现实的家电控制系统[49]或机械臂[50]的开关，以一种自定进度的方式在控制和空闲状态之间切换，有效降低系统在空闲状态下的假阳率。 Yang 等[51]使用位于枕区的双通道电极，同时采集SSVEP 信号和眨眼信号，在包含二级菜单的SSVEP-BCI 中，将单次眨眼用于确认选择，两次眨眼用于重新选择，对38 个命令的分类获得了146.67 bit/min 的ITR。 Zhou 等[52]使用前额脑电信号中的眨眼信息，目标在闪烁的同时随机变小，向用户提供眨眼的时间戳，若SSVEP 与眨眼信号分析结果可相互验证，则输出最终决策，同时眨眼信号的有无也可以用作控制和空闲状态的区分。

1.2.3 SSVEP 和EMG

肌电信号是众多肌纤维中运动单元动作电位在时间和空间上的叠加。 出于无创的要求，常用于混合脑机接口研究的是表面肌电信号(surface EMG，sEMG)，通过贴片电极以记录肌肉表面电活动。 肌电信号的采集方便快捷，信号产生迅速，幅度强，将简单的肌电控制引入结合SSVEP 的混合脑机接口，有助于优化系统的控制逻辑。

Lin 等[53]结合肌电信号和SSVEP 构建了60 目标的混合拼写器，所有目标被均分成4 个区域，每个区域具有相同的频率范围，且对应不同的握拳次数。 受试者需要根据目标所在区域执行相应次数的握拳动作并凝视目标，通过计算肌电信号包络数及分析SSVEP 信号的频率成分来定位识别的目标；在后续的在线实验中[54]，将反馈时的握拳动作用于确认操作，进一步提高系统的性能。 同样，握拳操作可以用于确认选择[55]，也可以用于多级系统中的辅助操作[56]，如系统开关，返回上级菜单等。 尽管握拳的动作是最常用的，但根据不同用户的需求，任何易于控制的肌肉都可以用于混合脑机接口的构建，如Chai 等[57]为偏瘫病人设计了咬肌与SSVEP 相结合的家庭控制系统。

1.3 SSVEP 与其他脑活动信号结合

不同的神经成像方式可以从不同角度获取大脑活动信息。 EEG 与其他几种神经成像方式相比，具有较高的时间分辨率，然而受颅内容积效应的影响，其空间分辨率较低，且易受肌电噪声影响。 结合其他神经成像技术，取长补短，以期获得更丰富准确的大脑神经活动信息。 目前，多模态神经功能成像的研究仍处在起步阶段，设备的便携性、信号的匹配度、成像方式之间的兼容性仍然是需要解决的问题[58]。 由于SSVEP 响应快、幅度高、易于在单次试验的水平上进行量化，可用于结合EEG 与其他神经成像方式的多模态脑机接口的研究中。

MEG 用来检测大脑神经活动产生的磁信号变化，相比EEG 有更高的空间分辨率，但由于其设备昂贵，对环境要求苛刻，脑磁图更常用于脑部疾病的检测。 目前已有研究使用相对便携低成本的设备进行SSVEP 磁成分的检测[59]，尽管其信噪比和ITR 仍不及EEG 测量方式，但这类设备在EEGMEG 结合的多模态脑机接口应用中有很好的前景。fMRI 是另一种神经成像方式，通过检测血氧水平依赖信号(blood oxygen level-dependent，BOLD)来判断大脑的神经活动。 fMRI 具有最高的空间分辨率，但设备昂贵，数据分析困难。 fMRI 与EEG 的设备以及信号之间存在一定的兼容性问题，因此目前的研究仍处于优化融合步骤的阶段。 由于SSVEP 可以在传统视觉层次的低水平上非侵入性地分离群体水平的神经元反应，故非常适合EEG-fMRI 分析的联合验证。 Ji 等[60]证明了功能性源分离(functional source separation，FSS)作为联合分析fMRI-BOLD 和SSVEP 的预处理步骤的有效性；Lee 等[61]提出了一种交错快速EEG-fMRI 方法，最大限度地减少由MRI 梯度线圈切换引起的EEG 伪影，而不会显著影响fMRI 的视野和时空分辨率，并重点关注了其对15 Hz 单次SSVEP 检测的潜在益处。 fNIRS 通过光谱法进行局部血流信号的测量，以组织中吸收色团(如氧合血红蛋白和脱氧血红蛋白等)的浓度变化来评估大脑神经活动水平。 相对于fMRI 其空间分辨率较低，但设备价格相对低，便携性高，可以在几乎自然的环境中使用。 Pfurtscheller 等[6]通过检测前额叶区域的NIRS 信号，将其用作大脑开关，以控制基于SSVEP 的矫形器。 Tomita 等[62]则通过视觉刺激开始和消失后的血流动力学变化来区分SSVEP-BCI 系统中的活动和空闲状态。 由于fNIRS所检测的大脑血流动力学信号变化相对缓慢，与EEG 信号的时间匹配度较低，因此目前的研究仍侧重于缩短fNIRS 信号的识别时间与同时解码EEG信号和fNIRS 信号特征的方法。

2 总结与展望

笔者将目前结合SSVEP 的多模态脑机接口研究分为三大类，并分别介绍了每一类多模态脑机接口中的代表类型，将其优缺点总结于表1。

表1 结合SSVEP 的多模态脑机接口优缺点Tab.1 Advantages and disadvantages of multi-modal BCI combined with SSVEP

综合来看，多模态脑机接口的构建重点需要考虑3 个方面:信号采集，范式融合和信号融合。 其结构如图3 所示。

图3 多模态融合系统结构Fig.3 The structure of multi-modal fusion system

信号采集是BCI 系统的基础。 SSVEP 与其他生理信号或其他脑活动信号结合时，需要增加额外的信号采集设备。 采集设备的融合是构建多模态BCI 的重要环节[63]。 首先需要保证信号在从不同采集设备传输到信号处理端过程中的时域同步性。若信号处理端不同信号之间相对时延过高，既影响信号分析，又影响用户意图与控制命令之间的匹配性。 其次需要考虑多设备之间的兼容性，采集设备间是否存在干扰，从而污染记录的信号，如在应用同步EEG-fMRI 技术时，MRI 扫描仪的高强度磁场和快速变化的磁场梯度会为EEG 记录引入噪声[58]。 尽管算法可以在一定程度上减少伪迹的影响，但硬件设备的改进或许才是改善兼容性的根源性手段。

范式融合主要有并行和串行两种模式。 在执行并行融合范式下的混合任务的过程中，多种不同模态的信号同步产生，并通常为同一命令的分类提供特征[17，41]。 与单模态BCI 相比，可增加分类目标的信号特征，提升分类效果。 并行融合范式需要确保子范式的独立性，使其相互不干扰，否则会影响单一信号的质量，从而影响系统精度。 串行模式的范式融合灵活性强，可以根据具体需求按一定工作时序异步执行不同类型的任务，借助先后产生的不同模态的信号，实现某一控制命令或功能[46，52]；或为不同类型的控制命令分配不同模态的控制信号，构建多种模态信号控制的命令集[27]。 串行融合范式可以丰富命令集种类和数目，摆脱了单模态BCI任务的单一性和目标数量的限制，同时也可用于控制状态和空闲状态的切换，让BCI 系统的使用方式更贴近日常生活的使用状态。 但无论是哪种融合方式，都需要保证用户的可接受性。 一个好的融合范式应当通过任务组合减少用户执行任务时的脑力负荷和心理疲劳，从而提高用户使用BCI 系统的时长。 图4 整理了目前多模态BCI 主流的范式融合方式。

图4 多模态BCI 范式融合方式。 (a)不同脑电模态间切换；(b)不同脑电模态的并行融合；(c)脑电与其他生理信号的并行融合；(d)不同脑电模态的串行融合；(e)脑电与其他脑信号的串行融合；(f)脑电与其他脑信号的并行融合；(g)脑电与其他生理信号的串行融合Fig.4 Fusion approaches of multi-modal BCI paradigm fusion.(a)Switching between different EEG modes；(b)Simultaneous fusion of different EEG modes；(c)Simultaneous fusion of EEG and other physiological signals；(d)Sequential fusion of different EEG modes；(e)Sequential fusion of EEG and other cerebral signals；(f) Simultaneous fusion of EEG and other cerebral signals； (g) Sequential fusion of EEG and other physiological signals

信号融合可以从特征层面融合和决策层面融合来着手[64]。 特征层面融合是对从两种信号提取出的混合特征进行分类，做出单一决策[22]。 信号的特征通常基于时域、频域或者空域，属于同一个域的特征可以混合在一起分类，有效避免了单独分类时可能出现的结果分歧；决策层面融合是先对不同信号单独分类后输出决策，再通过决策的组合[11]、加权[32]等方法输出整体系统的决策结果。 信号的融合需要考虑不同信号的特性，辅以相应的信号解码算法和融合决策方式，以达到最佳的系统性能。

结合SSVEP 的多模态脑机接口继承了SSVEP脑机接口精度高、识别快、少训练的优点。 将SSVEP 与其他模态的信号融合后，混合系统的性能进一步提高，但仍面临着一定的挑战和亟待解决的问题。 首先是融合范式的改进。 目前SSVEP 刺激方式相对单一，某种程度上限制了SSVEP 脑机接口的应用领域，同时也限制了结合SSVEP 的多模态脑机接口的应用场景。 与SSVEP 类似，基于其他信号如P300、MI 的实验范式的发展也已经进入瓶颈。单模态脑机接口实验范式的创新和改进，新的情景实验或心理任务的开发，均可为混合范式的设计提供新思路。 在设计混合范式时，也要注意融合方式的合理性。 如将肌电和眼电用于多模态脑机接口的构建时，需要考虑到任务意图与非任务意图信号的区分，即自然生理活动产生的肌电和眼电信号是否会与用于命令控制的信号混淆。 否则，混乱的使用逻辑会严重影响系统性能。 其次是融合算法的改进。 各类信号具有不同的特征，均有其相匹配的解码算法。 对于在决策层融合的信号，需要将不同模式的信号单独解码，传统算法经过多年的发展已经可以实现很高的解码精度，可满足分类需求。 而对于在特征层面融合的信号，针对其复合特征分类的传统算法研究较少，通常选择使用深度学习算法进行解码。 但深度学习对数据依赖性强，通常在数据量足够时才会表现出比传统算法更高的性能[65]；且深度学习作为一种"黑箱算法"，无法肯定其提取的特征均与任务诱发的大脑活动信息相关，这导致在线验证实验相比离线分析通常会有一定的精度损失。

最后是混合系统的实用性问题。 主要体现在普适性和便携性两方面。 脑机接口系统的个体差异性较为明显，这既包括不同个体间的差异，又包括同一个体不同状态下的差异[7]。 结合SSVEP 的多模态脑机接口在一定程度上减小了个体间的差异，如通过增加用于分类的信号特征，提高准确率，减少BCI 盲的比例；再如通过与个体间差异较小的生理信号相结合，以增强混合系统的普适性。 但鲜有研究关注和解决同一个体在不同生理和心理状态下控制表现的差异性；此外，实验室研究阶段大多使用高精度高性能采集和分析设备，通常较为笨重，而实用化脑机接口对系统的便携性提出了更高的要求，这对硬件设备的开发提出挑战，既要满足基本信号采集和分析的要求，又要保证一定的便携性。

接下来可以从以下几个方面来进一步推动结合SSVEP 的多模态脑机接口的发展。 其一是SSVEP 脑机接口的研究方向。 如高频SSVEP 的融合，目前结合SSVEP 的多模态BCI 仍大多基于低频的刺激，因为低频刺激诱发的SSVEP 更强，基于低频SSVEP 的BCI 发展也较为成熟，但不论是为了增加舒适度，还是扩展可选的频率范围，高频SSVEP均具有一定的优势[66]；其二是SSVEP 脑机接口刺激方式的改进。 大多数研究中诱发SSVEP 的刺激方式仍局限于屏幕刺激，便携性相对较差。 目前已经有基于虚拟现实[44，48，67](virtual reality，VR)和增强现实[49，68](augment reality，AR)的多模态脑机接口出现，接下来可以着手探究其他简单有效的刺激方式或更便携实用的刺激设备，促进扩展应用领域，丰富使用场景。 其三是主动式命令集的扩展。BCI 系统中的主动式命令是指依靠大脑自发活动的信号控制的命令，如运动想象。 这类命令的优点是通常具有大脑意图和控制命令之间的高度相关性。目前主动式命令的数量受到大脑机制研究和脑电解码算法的双重限制，在增加到三至四个主动命令之后，其精度会严重下降。 而如SSVEP-BCI 等依赖外部刺激的反应式脑机接口系统，可以在高精度下实现几十甚至上百个命令的控制。 在大脑机制研究还未有重大突破的当下，通过结合如SSVEP-BCI的反应式命令，形成一种“伪主动式”命令，提高其数量和精度，作为实现完全主动的脑机接口之前的过渡，也不失为一种对策。 其四是混合系统应用领域的扩展。 目前，SSVEP 相关技术的应用领域相对有限，如文字拼写，使用简单的命令集控制轮椅、机器人等设备，这也限制了结合SSVEP 的多模态脑机接口的应用。 因此摆脱现有的研究框架，探寻新的应用领域也是极其重要的。 比如目前，已有使用SSVEP 进行认知评估的研究[69]。 考虑到人的不同感官为大脑处理外界信息提供了不同的信息获取通道，而SSVEP 仅代表大脑对视觉刺激的反应，整合多种感觉刺激的诱发电位构建多感觉刺激的混合脑机接口，用于更全面的认知评估，或许是可行的研究方向。