混合脑机接口的研究进展①

李自娜,徐 欢,潘家辉,2

1(华南师范大学 计算机学院,广州 510631)

2(华南师范大学 软件学院,佛山 528225)

1 引言

脑机接口(Brain-Computer Interface,BCI)是一种无需外周神经和肌肉的参与,将大脑活动产生的信号转换成控制信号,并使用这些信号控制外部设备的技术[1],如图1.近年来,脑机接口因其潜在的临床应用价值而日益受到学术界和公众的关注.例如,BCI 可以提供增强或修复运动功能,给有严重运动障碍的患者带来很大的帮助.目前,提取大脑信号最常用的方式为非植入式,包括功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)、脑磁图(Magneto Encephalo Graphy,MEG)、脑电图(Electro Encephalo Graphy,EEG)和功能近红外光谱(functional Near-Infrared Spectroscopy,fNIRS)[2].虽然脑电图具有低信噪比和低空间分辨率,但它无创、便携、低成本、性能好,实时响应,在技术上比其他脑信号要求低.因此,它在脑机接口中已被普遍使用.本文主要讲述基于EEG 的脑机接口.基于EEG 的混合脑机接口使用的大脑模式包括Farwell和Donchin 在1988年提出的P300 视觉诱发电位[3]、Muller 等人提出的稳态诱发电位(如稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP))[4]以及由运动想象(Motor Imagery,MI)产生的事件相关异步/同步(Event-Related Desynchronization/Synchronization,ERD/ERS)[5].

图1 脑机接口系统的信号处理流程

单一模态的脑机接口系统在范式设计、脑信号处理算法和控制系统方面已经取得了重大进展,然而依然存在不足.如基于运动想象的BCI 需要受试者进行大量练习,这会使得患者容易疲惫,从而影响患者的思维集中,影响脑信号质量；基于P300 位的BCI 需要多次重复闪烁,长时间的重复闪烁,也对患者的脑信号产生影响；基于SSVEP 的BCI 上的控制命令数量受刺激频率及其他因素影响,特别是当脑机接口的命令数增加时,分类精度下降.此外,这些脑机接口系统还面临着一些挑战,包括低信息传输速率、多方面/功能控制、人机适应性、鲁棒性和稳定性.

解决上述挑战的潜在方法是使用新开发类型的脑机接口系统,即混合脑机接口.正如Allison 研究团队所描述的[6],混合脑机接口(hybrid Brain-Computer Interface,hBCI)由脑机接口系统和附加系统组成,该附加系统可能是第二个脑机接口系统,并且被设计成比常规脑机接口更好地执行特定目标.hBCI 的主要目标有(1)提高BCI 的分类精度,(2)增加大脑控制命令的数量,(3)减少大脑信号检测时间.研究人员尝试寻找多种大脑信号从而提高控制命令的数量,典型例子为SSVEP和P300 组合,运动想象(Motor Imagery,MI)和SSVEP 组合成的hBCI[4].

本文主要介绍hBCI 的类型及其应用.首先介绍了hBCI 的概念,然后主要讲述几种代表性hBCI 的一般原理、刺激范式、实验结果、及其应用,最后讨论了hBCI 的应用前景和研究方向.

2 混合脑机接口

Pfurtscheller 等人[7]认为hBCI 类型除了简单的BCI组合外,还需要满足以下四个标准：(1)活动直接从大脑中获得；(2)应采用多种大脑信号采集方式中的至少一种来获取这种活动,这种活动可以是电位的、磁场的或血液动力变化形式；(3)必须实时/在线处理信号,以建立大脑和计算机之间的通信,以产生控制命令；(4)必须提供描述大脑活动结果以进行通信和控制的反馈.

近年来,符合这些标准的hBCI 着重于提高活动检测的准确性,增加控制命令的数量,对健康受试者和患者以更好地通信和控制.“混合BCI”和“多模式BCI”是两个高度相关的概念.Li 等人[8]认为“混合脑机接口”和“多模态脑机接口”是对BCI 相同定义的可互换术语.

本文提到的hBCI 主要分为3 大类,如图2所示.(1)基于多种脑模式的hBCI,其中至少有两种脑模式使用(P300和SSVEP 或MI和P300),在这种hBCI 类型中,多脑模式由单一感觉刺激诱发；(2)基于多种感觉刺激的hBCI,其中大脑模式通过多感觉刺激,如视听刺激,同时诱发,在这类hBCI 中,一种或多种脑模式由多个感觉刺激诱发；(3)基于多种信号的hBCI,其中在hBCI 系统中组合两个或多个输入信号,例如EEG、MEG、fMRI、NRIS、EOG 或EMG.表1列出了3 大类hBCI 近年来的代表性应用及其性能指标.

3 混合脑机接口类型

3.1 基于多种大脑模式的hBCI

hBCI 结合了多种大脑模式,例如P300、S SVEP和MI.此类hBCI 已经被设计用于各种应用,例如拼写器[13],空闲状态检测[26],矫形器[27],轮椅导航[28]和计算机部件的控制,例如二维(2D)光标[29],鼠标[30],浏览器[31],或邮件客户端[32]等.在本节中,我们主要描述基于P300和SSVEP 的hBCI、基于MI和SSVEP 的hBCI和基于MI和P300 的hBCI.

图2 本文所讨论的混合脑机接口类型

表1 混合脑机接口的代表性应用研究

3.1.1 基于P300和SSVEP 的hBCI

2014年Bi 等人[9]提出了基于SSVEP和P300 的混合范式用于开发基于速度-方向的光标控制.在这个研究中,P300 的刺激在屏幕上下侧分布,而检测SSVEP的刺激(可顺时针或逆时针旋转控制设备)在屏幕的左右两侧显示,使用基于支持向量机的分类的方法,结果显示该hBCI 的准确率超过90%.

Pan 等人[33]使用SSVEP和P300 的混合范式在意识障碍患者(Disorders Of Consciousness,DOC)检测到意识.在该实验中,将两张照片呈现给每一个病人：一张是病人自己的,另一张是陌生人的,病人将注意力集中在自己的或陌生人的照片上.BCI 系统使用P300和SSVEP 的特征检测病人注意到哪一张照片.8 名患者(4 名处于植物人状态(Vegetative State,VS),3 名处于最小意识状态(Minimally Conscious State,MCS),另一个处于闭锁综合症(Locked-In Syndrome,LIS))参与实验.使用SVM 基础分类器,1 名VS 患者、1 名MCS患者以及1 名LIS 患者能够选择自己或别人的照片(分类准确率,66%-100%),该结果表明能够使用hBCI 识别患者命令跟随,从而证明了他们存在一定的认识能力和意识.

3.1.2 基于MI和SSVEP 的hBCI

将SSVEP和MI 结合的原因有4 个：(1) SSVEP和MI 相关的大脑模式同时产生.(2) SSVEP 是一种可以在经过少量训练的不熟悉受试者中稳定检测到的诱发电位,而对于大多数新用户来说,比较难适应去完成MI 任务这个过程.(3) SSVEP 可以基于脑电数据的单个试验来检测,这种检测不需要平均过程.(4)非视觉训练会挫败受试者,而SSVEP 为吸引受试者参与MI任务,提高受试者的表现提供了可能解决方案.

Yu 等人[34]将SSVEP和MI 相结合,为MI 训练提供有效的连续反馈.最初,分类器为SSVEP 分配较大权重,以便在训练开始期间得到正确的反馈.随着训练进行,受试者减少对SSVEP 刺激的视觉注意力,但是对MI 心理任务保持持续关注.当受试者适应节奏活动时,分类器将权重转向MI.该研究表明hBCI 能用于加强MI 训练,并只需5 次训练(约1.5 小时)后便产生可区分的大脑模式.

3.1.3 基于MI和P300 的hBCI

基于EEG 的BCI 系统的一个重要方面是多维控制,它涉及多个独立的控制信号.这些控制信号可以从多个脑模式获得,例如MI和P300.一方面P300 表示的是用于产生离散控制输出命令的可靠类型的脑模式.另一方面MI 对于产生连续控制命令更为有效.

MI和P300 相关的任务在现实环境中已广泛应用.Long 等人[30]为二维光标控制和目标选择提出了一种结合MI和P300 的hBCI,如图3所示.研究人员使用了SVM 分类方法,成功试验的平均准确率为92.84%,如果光标成功移动到目标,目标选择准确率的平均为93.99%.此外,还收集了数据集用于离线分析,以证明与单独使用P300 电位或MI 特征相比,P300 电位和MI 混合特征用于目标选择/拒绝的优势.实验结果表明,混合特征的使用准确率显著高于仅使用MI 或P300 电位特征(混合特征：83.10±2.12%；MI 特征：71.68±2.41%；P300 特征：80.44±1.82%).这种混合系统具有三个优点.首先,基于MI和P300 电位产生两个独立的控制信号.第二,用户可以将光标从任意位置移动到随机定位的目标.第三,这种采用MI和P300 电位两种模式的混合控制策略比单独使用MI 或P300 电位的控制策略提供更好的识别性能.多个控制信号对于轮椅的多维控制也是必不可少的.在一项研究中,Long等人[35]还提出了基于MI和P300 电位的hBCI 范式,以提供方向(左或右)和速度控制(加速和减速)命令来操作实际轮椅.

图3 hBCI 的GUI 结合了MI和P300 电势的2D 光标控制和目标选择,其中一个光标(黑色小圆),目标(灰色小正方形),和8 个闪烁按钮(3 个“Up”,3 个“Down”和2 个“Stop”).

3.2 基于多种感官刺激的hBCI

3.2.1 视-听觉hBCI

人类拥有的多个感官为处理来自现实世界的信息提供路径.多感官刺激的融合可加强自上而下的注意力,这些增强的效果可能有助于改善BCI 系统的性能.基于这一考虑,基于视-听觉和视-触觉的hBCI 被提出来,其中用于提高系统性能的是双峰刺激.

Belistk 等人[36]提出了离线的基于视-听觉的P300拼写器和相应的数据分析结果.研究表明在视-听觉条件下,P300 反应的强度高于仅视觉或仅听觉条件下P300 反应的强度.An 等人[37]探索了用于与注视无关的BCI 的并行拼写器,其中听觉和视觉域彼此独立.他们的结果表明,15 个用户可以在线拼写,平均准确率为87.7%.这些现有结果表明,视听整合可能是增强大脑模式和进一步改善脑机接口性能的潜在方法.Wang等人[38]提出一种新视-听觉BCI 系统,该系统基于数字使用上的空间,时间语义一致的视听觉刺激.该视-听觉BCI 系统应用于DOC 患者的意识检测.

目前,DOC 患者,比如植物人状态或最低意识状态的临床诊断和意识评估主要依赖于行为观察量表,如昏迷恢复量表.由于这些患者不能提供足够的行为反应,因此存在很高的误诊率(范围从37%到43%).检测这些患者的意识是非常具有挑战性的.2018年,Pan 等人[16]利用视-听hBCI 对DOC 患者意识检测和在线交流的潜在应用进行探索.在8 名DOC 受试患者中,有两名取得高于随机水平的准确率,并且有一名患者意识上有所恢复.然而,严重脑损伤的DOC 患者使用BCI 的能力比健康个体低得多.一种可能的解决方案是应用上述视-听觉hBCI 以提高觉察检测的灵敏度.

3.2.2 视-触觉hBCI

上述的hBCI 需要视觉上的交互来关注刺激和反馈,这限制了它们对具有良好视力和完整注视控制的用户的适用性.由于用户在操作听觉或触觉BCI 时不需要视觉交互,基于听觉/触觉的双峰刺激方法可能允许视觉扫描无关的BCI.在之前的研究中,Yin 等人[39]提出了一种方向一致的双模态P300 BCI,使用来自同一空间方向的听觉和触觉刺激的同时呈现.

听-触觉BCI 研究仍处于研究开发的初期阶段.例如,Rutkowski和Mori 研究的针对视力和听力受损的用户的触觉和听觉BCI[40],这些现有的结果揭示了听-触觉BCI 的几个优点.第一,听-触觉双模态BCI 比听觉或触觉单模态P300 BCI 具有更好的整体系统性能.第二,在视觉计算机应用中,听-触觉BCI 提供了目标感官领域有吸引力的可能性,可以不依赖于视觉刺激,以诱发电位,尽管使用这种系统获得的性能低于依赖于注视转移的BCI 的性能.第三,视-触觉BCI 对患有受损视力的用户来说,是另一种可选择的BCI.

3.3 基于多种信号的hBCI

构建hBCI 系统可以使用多个信号,包括EEG,MEG,fMRI,EOG,NRIS和EMG.不同脑信号具有不同的信号特征,因此可用于不同的功能.常见的hBCI如基于EEG和EMG 的hBCI,基于EEG和EOG 的hBCI,基于EEG和fMRI 的hBCI,基于EEG和MEG的hBCI和基于NIRS和fMRI 的hBCI.

Leeb 等人[41]提出了一种结合EEG和EMG 的hBCI.在每次试验中,根据视觉提示(指向左或右的箭头),受试者被指示用左手或右手(即用拳头握住手)进行5 秒的重复运动.研究人员分别对EEG和EMG 信号进行处理和分类,然后融合；采用典型变量分析来选择使不同任务之间的可分离性最大化的受试者特定特征,使用根据与训练数据来训练高斯分类器的交叉验证确定的稳定特征.所得到的特征以受试者特定的方式阈值化,归一化,并基于最大距离分类.最后,使用贝叶斯方法融合两个分类器概率以产生一个控制信号.

单独EEG 活动的准确率73%,EMG 活动为87%.然而,在hBCI 中,精度提高到91%.此外,为了模拟疲劳的肌肉,肌电通道的振幅在运行期间降低(从10%衰减到100%),使得EEG 活动在融合数据中变得越来越重要,因为肌电肌肉变得更加疲劳.结果表明,肌肉疲劳增加导致性能中度退化.受试者可以独立于其肌肉疲劳水平来实现对其hBCI 的良好控制.这代表了EEG和基于EMG 的BCI 系统的明显优势.

由于许多残疾人仍然控制着他们的眼睛运动,所以对于许多用户来说,EOG 信号是BCI 系统输入信号的适当选择.最近,一些研究已经结合EEG和EOG 来构建hBCI,如前面所提到Pan 等人[16]所做的研究就是结合EEG和EOG 对DOC 患者进行的研究.

4 总结与展望

本文主要讨论了几种hBCI 类型和不同的刺激设计以及他们的性能分析.为了提高系统性能,研究人员设计了新的刺激模式,可以得出,对于系统性能来说,刺激范式是一个重要的因素.hBCI 将为解决脑机接口领域的问题提供途径,比如在速度和实用性提高上,不仅提供了多个独立的控制命令,而且提高了准确率.

考虑到3 类hBCI 及其各自的应用,我们可以总结出hBCI 的2 方面优势.(1) 提高目标检测性能.hBCI已被证明能够改善目标检测性能,如前面所述.带来这些改善的2 个主要策略如下：① 多种大脑模式(例如MI、P300和SSVEP) 的组合,或者多种信号(例如EEG、EMG、EOG 或NIRS)的融合可以在特征级执行.② 通过呈现多感觉刺激(如视听刺激)增强大脑模式.(2) 多维功能控制.文中给出了基于混合BCI 的多维或功能控制的实现方法和若干应用系统.可以采用3 种主要方法：① 结合多种大脑模式以获得多个独立的控制信号,例如基于MI和P300 的2D 光标控制和基于MI和SSVEP 的矫形器控制；② 使用不同的信号特性来执行不同的功能,例如基于EEG和EOG 的机器人控制.hBCI 系统可以涉及多脑模式、多感觉模式、或多信号输入.为了确保这些成分在hBCI 系统中的有效协调,需要研究相关的脑机制.然而,迄今为止对hBCI 的脑机制研究很少.

此外,未来的研究应该集中在hBCI 的设计和实现上,在设计开发一个hBCI 时,应考虑以下6 个方面：(1)由至少一种大脑信号获取模式组成；(2)多模态系统应同时处理和检测不同的生理信号；(3)该范式应该能够使用多种模式获得多个大脑活动；(4)为了提高分类精度和生成额外的控制命令,需要实时/在线获取作为分类的特征；(5)分类输出应具有与外部设备(如轮椅和机器人)连接的潜力；(6)它还应该为用户的康复和控制目的提供反馈.当设计一个基于多脑模式的hBCI 时,一个挑战是确定脑模式的最佳组合,该组合在用户中可以考虑不同,以完成期望的目标.在设计多感觉混合型脑机接口时,一个挑战是确保所需的大脑模式通过多感觉刺激得到增强.在未来,我们可以考虑涉及视觉,听觉和触觉方式的更多的组合多感官刺激.对于基于多个信号的hBCI,一个挑战是确保充分利用不同信号的优点,从而改善系统性能.此外,还应考虑基于EEG和fMRI 的实时hBCI,因为以下因素：EEG数据(由fMRI 扫描仪产生)中的高噪声、慢响应、高维数和fMRI 数据的低时间分辨率.hBCI 的一个潜在应用是脑机制研究.在设计用于共享控制的hBCI 时,必须考虑人机适应/学习的范式,以优化用户和机器的耦合,并建立能够有效地融合用户意图和机器决策的模型.未来的研究应该集中于这些问题.到目前为止,大多数hBCI 系统,如本章所讨论的BCI 浏览器和BCI 轮椅,都是基于健康受试者设计的.考虑到健康受试者和患者之间的主要差异,这些系统需要扩展供患者使用.

将来,研究人员将研究和设计一个更重要的刺激机制,从而提高混合系统的性能,附加的控制信号也会得到实现,研究人员也会探索可以提高分类器的因素.当前的混合BCI 依然需要时间去训练分类器的参数,以及减少时间的需求.近几年的多模态脑机接口越来越多的应用到临床中,如偏瘫病人[42,43],以及意识障碍患者的恢复和治疗[16,44].无论如何,很明显,未来的hBCI 研究还有很大的空间,尤其是它的应用.这个领域还很年轻,尽管已经引入了若干通信和控制策略,但没有商业上可用的hBCI.毫无疑问,几项控制和康复应用的突破即将到来.