基于SSVEP直接脑控机器人方向和速度研究

伏云发 郭衍龙 李松 熊馨 李勃 余正涛

基于SSVEP直接脑控机器人方向和速度研究

伏云发1郭衍龙1李松1熊馨1李勃1余正涛1

直接用思维意图来控制机器人而没有大脑外周神经和肌肉的参与是人类的一个梦想,目前这一研究已成为国际前沿热点和突破点.传统的脑控机器人(Brain-controlled robot,BCR)主要控制其方向,而本文旨在探讨能够同时脑控机器人方向和速度的有效方法.采用可分类目标数多、单次识别率高且训练时间短的稳态视觉诱发电位(Steady state visual evoked potentials,SSVEP)脑机交互(Brain-computer/machine interaction,BCI/BMI)方法,为脑控机器人运动规划了向左、向右、前进和后退4个方向,设计了低速、中速和高速3级运动速度并组合了9个脑控指令;进而比较并优化了SSVEP刺激目标布局间距以及刺激目标闪烁时间,采用典型相关分析(Canonical correlation analysis,CCA)进行识别.结果表明恰当设置SSVEP刺激目标数及其布局间距和刺激目标闪烁时间,可以有效提高被试/用户直接脑控机器人的性能;优化的SSVEP刺激范式三结合适应SSVEP解码的典型相关分析,8名被试脑控机器人到达终点平均用时为2分40秒,最少用时1分29秒;同时,在脑控机器人运动过程中触碰障碍平均次数为0.88,最少碰触次数为0.本研究显示基于SSVEP的脑机交互可以作为直接脑控机器人灵活运动的一种可选方法,能够实现对机器人多个运动方向和多级速度的控制;也证实了适当增加刺激目标间距可以有效提高SSVEP-BCI脑控指令识别的正确率,说明了该脑控方法的性能与刺激被试的范式有关;再次验证了CCA算法在基于SSVEP的脑机交互中具有优良的效果.最后,为克服单一SSVEP范式存在的局限,本研究也尝试把该范式与运动想象相结合的混合范式用于脑控机器人方向和速度,并进行了初步的研究,表明可以进一步改善控制速度和提高被试舒适度.本文可望为基于SSVEP或与运动想象混合的脑机交互应用于分级或精细控制机器人方向和速度提供思路,并为直接脑控机器人技术推向实际应用打下一定的基础.

脑控机器人,稳态视觉诱发电位,典型相关分析,脑–机交互,混合脑机接口

脑机接口/脑机交互 (Brain-computer/machine interaction,BCI/BMI)是绕过大脑外周神经和肌肉的参与,由脑信号实现大脑与外部设备直接的通信和控制[1−2],其在机器人控制领域的一个重要应用是脑控机器人(Brain-controlled robot, BCR)技术[3−6],即用感知、思维意图控制机器人的研究.该研究是脑科学、信息科学与控制科学交叉跨学科研究,目前已成为国际重大前沿突破点.这一技术不仅可望战略性地用于国防军事目的,也可望为严重运动残疾患者提供一种新的通信和控制通道[2],从而改善他们的生活质量;更可望在特殊情况下为健康用户提供脑控机器人或外部设备[3,7],也提高他们生活的质量.

传统的脑控机器人研究主要实现对机器人简单的方向控制,难于实现对其速度的控制[3,8].但在实际应用中,需要实现对其方向的灵活控制,也需要实现对其速度的灵活控制,这些需求提出了一个很大的挑战.已有基于运动想象(Motor imagery, MI)脑电的脑机交互范式多数是简单的运动想象模式[9−10],仅提供小的指令集,难于满足机器人灵活运动对多个方向和多级速度的控制需求;而复杂运动想象模式的脑功能机制及其信号特征尚没有得到充分的研究[11],因此对复杂运动想象模式的识别精度低,目前也难于提供大指令集[12−13].此外,实用的脑控机器人系统应满足大多数用户需要较少的或不需要训练就能够实现操控.然而,基于运动想象模式的脑机交互性能在被试内(同一被试运动想象的能力和其状态随时间而变化)和被试间(不同个体运动想象的能力)的变异性较大,研究表明存在严重的BCI盲问题[14−16].

除了上述基于运动想象的脑机交互外,基于P300的脑机交互虽然其识别目标数可以超过30个,但是为保证识别精度需要至少2个重复次数,难于做到单次识别[17],脑控机器人运动的实时性会受到限制.相比上述两种范式,基于SSVEP的脑机交互不仅可识别的目标数多(可超过40个)[18],能够提供大指令集(即可提供更多精细的运动控制指令),以满足脑控机器人灵活运动对方向和速度的分级控制;而且该类脑机交互需要被试较少的适应性训练[19].为此,本研究拟采用基于SSVEP的脑机交互方法直接脑控机器人的方向和速度,比较普遍适用于字符输入的该范式[18−19],为有效用于脑控机器人接口,将根据机器人灵活运动对方向和速度的要求,优化此范式的设计及控制策略,恰当设置SSVEP刺激目标数及其布局;然后结合优化的刺激范式,采用适用于SSVEP解码的典型相关分析(Canonical correlation analysis,CCA)方法[20].

此外,为克服SSVEP存在的局限,本文也对SSVEP与MI相结合脑控机器人方向和速度进行了初步的研究.本文可望为基于SSVEP或与MI混合的脑机交互用于脑控机器人复杂灵活运动的研究和应用提供启发,并为推动直接脑控机器人技术走向实际应用打下一定的基础.

1 直接脑控机器人测试平台及任务

直接脑控机器人系统如图1所示,该图表明了大脑、计算机和机器人之间的关系,由神经反馈和其他反馈构成闭环控制系统.

图1 直接脑控机器人系统Fig.1 Direct brain-controlled robot system

为测试基于SSVEP脑机接口/脑机交互直接脑控机器人的性能,本实验研究采用2015年第二届中国脑–机接口比赛官方提供的脑控机器人测试平台,如图2(a)所示[21].直接脑控机器人的任务是:从起点出发,绕过障碍物,最终达到终点,该测试平台自动记录用时以及触碰障碍物次数(每碰撞一次惩罚5秒).脑控机器人控制指令由13个字符组成,脑机交互(BCI)系统可以通过指令控制机器人的运动方向(如前进、后退、左转和右转)和运动速度(例如可以是低速、中速和高速三种模式),机器人通过指令获得初始速度后会由于阻力等因素的影响,运动速度在较短时间内逐渐减小到0[21].测试平台与BCI系统之间通信采用客户端/服务器结构,如图2(b)所示,测试平台为服务器端,BCI系统为客户端,通过TCP/IP进行连接.

2 实验研究的材料和方法

2.1 实验被试、脑电采集设备及参数

实验被试:共8个被试(Subject,S1～S8),5名男性,3名女性,年龄在23～27岁之间,健康状况良好,视力正常或已矫正,对实验研究均知情同意. 脑电采集设备采用博睿康科技有限公司 (Neuracle)的 32通道无线脑电采集系统(包括脑电帽、无线脑电放大器以及无线路由器). 采样频率设置为 250Hz,记录电极为Pz、P3、P4、PO3、PO4、PO7、O1、Oz、O2、PO8以及参考电极Cz,接地电极为FPz,导联位置符合国际10-20标准,实验中保持电极阻抗在5k欧姆以下.

图2 脑控机器人测试平台及脑控机器人系统客户/服务器结构Fig.2 The test platform and client/server architecture for brain-controlled robot system

2.2 基于SSVEP脑机交互范式和脑控机器人策略

2.2.1 基于SSVEP脑机交互范式

SSVEP脑机交互范式利用Matlab的Psychtoolbox(PTB)工具箱实现.采用刷新率60帧/秒的液晶显示器,分辨率设置为1366×768(像素).刺激目标由大小为150×150(像素)的9个方块组成,如图3所示.每个刺激目标由特定频率调制,本实验中,刺激目标从左至右,从上至下的闪烁频率分别为[8 12 9 13 9.5 10 14 10.5 15]Hz.实验开始时,刺激界面首先静止呈现3秒,3秒后9个刺激目标分别以上述频率闪烁.

图3 SSVEP脑机交互刺激范式一Fig.3 The first SSVEP-based BCI stimulation paradigm

2.2.2 脑控机器人策略

为有效完成第1节中直接脑控机器人测试平台中要求的任务:灵活的方向和速度控制,一种策略是对图3中的9个刺激目标分别设置适当的控制机器人方向和速度的指令,如表1所示.其中,指令串中“BCI”为控制命令头;用户标识“ID”:01～99;开关标识“CA”:0000～3333,其中不同位代表不同方向的运动,0、1、2、3分别代表0速,低速,中速及高速[21].

表1 一种脑控机器人策略:SSVEP脑机交互刺激范式刺激目标对应的脑控制指令Table 1 A strategy for brain-controlled robot:control commands corresponding to the stimulus targets of SSVEP-based BCI stimulation paradigm

2.3 基于SSVEP脑机交互范式优化

对于第2.2节的SSVEP脑机交互刺激范式,9个刺激目标的布局和它们的间距可能影响分类识别率.为了寻找更有效的控制,本研究设计了三种不同的刺激范式,如图3、图4(a)和图4(b)所示.三种刺激范式的差别在于刺激目标之间的间隔.其中,范式一刺激目标之间的间距为10;范式二刺激目标之间的间距为100;范式三刺激目标之间水平间距为428,垂直间距为198.本实验中,三种范式刺激(Trials)呈现时间均设置为3秒,视觉转移时间(即每个Trial之间的间隔时间)设置为1.5秒,固定脑控机器人测试平台环境(图2(a)),每个被试在三种刺激范式下分别进行3次脑控制机器人实验,测试结果见第3节实验结果部分的表2.

在上述实验过程中,发现刺激目标的刺激呈现时间会影响被试的正确识别率.为验证这一发现,基于图3、图4(a)和图4(b)所示刺激范式下做如下实验每个被试对同一种刺激范式进行4组测试,每组30个Trials,每个Trial之间的注意力转移时间Ts均为1.5秒,不同的是4组测试的刺激时间Td (即刺激目标闪烁时间)分别为1秒、2秒、3秒及4秒.每组实验前,利用VC++从9个字符串控制指令“低速前进”、“中速前进”、“高速前进”、“低速后退”、“中速后退”、“低速左转”、“中速左转”、“低速右转”、“中速右转”中随机产生30个Trials.实验时,在一个Trial结束下一个Trial开始前,由一名辅助人员依次喊出VC++随机生成的控制指令,被试随即注视控制指令对应的刺激目标,在Td结束后,系统将结果反馈呈现给被试,反馈的刺激目标背景变为红色(如图3),呈现0.5秒,同时,另一名辅助人员记录每个Trial反馈的结果.每组实验之间有3分钟休息时间.实验结果见第3节实验结果部分的表3～表5.本实验不连接脑控机器人测试平台,仅实验被试在三种刺激范式设置下的识别精度,以优化SSVEP刺激范式.

图4 SSVEP脑机交互刺激范式二和范式三Fig.4 The second and the third SSVEP-based BCI stimulation paradigm

2.4 典型相关分析(CCA)

典型相关分是一种最大化两类相似性的空间滤波器.Lin等首先将CCA应用于基于SSVEP的脑–机接口系统中[22].一般而言,我们把Bin等提出的方法称为标准CCA(Standard CCA)[20].

在采用CCA方法处理脑电图(Electro encephalograph,EEG)数据时,我们设C、N、Nh、fs分别表示EEG通道数、时间点数、谐波数和采样频率,记为实验采集到的C导EEG数据,为模板信号,f为刺激频率,则定义如下:

式(2)中寻找最优问题可通过广义特征值的分解来解决,这样对于特定的刺激频率f可以得到一个相关性最大的值ρ(f).

基于SSVEP的脑–机接口系统中,如果有m个刺激目标,其闪烁频率为f1,f2,···,fm(f1＜f2＜···＜fm),那么需要找到一种方法使得系统能够识别出被试凝视的刺激目标,CCA便是一种有效的方法[20].所有的刺激频率均可以通过式(2)计算得到其ρ(f)(f=f1,f2,···,fm),那么目标频率ftarget可通过式(3)得到:

那么,我们将得到的ftarget认为是被试注视的目标刺激频率.

2.5 基于SSVEP脑机交互直接脑控机器人系统结构

综合上述方法,本实验构建的基于SSVEP脑机交互直接脑控机器人系统结构如图5所示,为同步工作方式.其中包括SSVEP刺激范式呈现屏幕及解码计算机、脑控机器人测试平台、脑电帽及无线脑电放大器和无线路由,它们之间的信息交互均通过无线路由器.实验前查看并设置解码计算机、机器人测试平台及无线脑电放大器的IP地址,确保解码计算机与脑控机器人测试平台、无线脑电放大器之间实时通讯.基于SSVEP脑机交互直接脑控机器人方向和速度的过程如下:解码计算机启动脑机接口/脑机交互程序(客户端),屏幕呈现SSVEP刺激范式,脑控机器人测试平台(服务器端)连入客户端并开始计时,被试观察并规划机器人运动路径,然后注视与期望运动方向和速度相对应的刺激目标,同时无线脑电放大器将采集到的脑电信号(模拟信号)转换成数字信号经无线路由同步(时间精度小于1毫秒)发送至客户端,解码计算机分析接收到的脑电信号并将识别结果呈现在屏幕上(如图3),被识别的刺激目标背景变为红色,呈现0.5秒,同时与之对应的控制指令经无线路由发送至服务器端,从而实现对机器人运动方向和速度的分级控制.实验中,被试根据机器人的运动状态、位置以及周边的障碍,规划下一步运动路径和控制策略,然后再次注视相应的刺激目标,如此,反复操控SSVEP-BCI系统,最终使机器人到达目标位置(用时越短越好,碰触障碍数目越少越好).

图5 基于SSVEP脑机交互直接脑控机器人系统结构Fig.5 The structure of SSVEP-based BCI directly brain-controlled robot

2.6 一个初步研究:SSVEP与MI相结合脑控机器人方向和速度

2.6.1 控制策略

直接脑控机器人的安全性非常重要,其方向的控制更多地涉及到安全问题,被试/用户需要根据障碍或转向需求,及时控制机器人的方向.考虑到SSVEP实现控制的速度比想象运动慢,我们采用SSVEP与运动想象相结合的多模态方法,该混合/融合的脑机交互控制策略如下:SSVEP的控制策略不变,如表1所示,仅把该表中的中速后退“B+”修改为“切入运动想象模式”—“MI”,即增加模态转换指令.在SSVEP模态下,当被试想要转换为运动想象模态时,将注意力集中于“MI”目标块上即可.当系统顺利切换到运动想象脑机交互系统时,SSVEP刺激范式界面消失,变为黑色画面,此时被试可以实现4种控制状态:“左手运动想象”对应低速左转;“右手运动想象”对应低速右转;“空闲(不进行任何运动想象)”对应低速前进,“双脚运动想象”对应停止运行(或低速后退).

2.6.2 初步结果

在实验前,修改图3及图4(a)和图4(b)的人机交互界面,B+改为MI.记录电极在原来的基础上,增加C3、C4.

1)被试反映,需要对机器人方向控制时,发出运动想象意图到机器人做出反应的速度比单独的SSVEP模式快.这可能是自定节奏的运动想象不需要被试在控制场景和GUI(Graphical user interface)之间进行频繁视觉切换,加快了控制速度.

2)此外,被试反映,运动想象期间可以集中于心理活动,避免了频繁的视觉刺激,眼睛得到了一定时间的休息,疲劳程度得到一定的缓解,误操作也有所减少.

3 SSVEP脑控机器人实验结果

每名被试在同一种刺激范式下均进行三次实验,表2呈现了8名被试脑控机器人实验用时(min)、触碰障碍物次数、平均用时(Average,Aver)、最少(Minimum,Min)用时以及方差(Variance,Var).表2中“6′18”表示脑控机器人达到终点用时为6分18秒.

为比较和优化SSVEP脑机交互刺激范式,表3～表5分别呈现了在SSVEP刺激范式一、范式二、范式三下8名被试在不同的刺激目标闪烁时间Td时的正确识别率、平均识别率和最高识别率.表中Average(Aver)、Maximum(Max)分别表示平均及最高正确识别率.

表2 三种SSVEP刺激范式下被试脑控机器人达到终点用时及触碰障碍物次数Table 2 The consuming time and the number of touching obstacles when subjects controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms

表3 SSVEP脑机交互刺激范式一下刺激目标不同闪烁时间被试的正确识别率(%)Table 3 The correct recognition rate(%)at different flickering durations for 8 subjects under the first SSVEP-based BCI stimulation paradigm

表4 SSVEP脑机交互刺激范式二下刺激目标不同闪烁时间被试的正确识别率(%)Table 4 The correct recognition rate(%)at different flickering durations for 8 subjects under the second SSVEP-based BCI stimulation paradigm stimulation paradigm

表5 SSVEP脑机交互刺激范式三下刺激目标不同闪烁时间被试的正确识别率(%)Table 5 The correct recognition rate(%)at different flickering durations for 8 subjects under the third SSVEP-based BCI stimulation paradigm stimulation paradigm

为了更好地比较三种SSVEP脑机交互刺激范式脑控机器人运动的性能和不同刺激时间下的识别率,图6呈现了三种SSVEP刺激范式下被试脑控机器人达到终点的平均用时、触碰障碍物次数、在1～4秒刺激时间下的平均正确识别率以及相关方差.

4 讨论

脑机交互是一种新型的人机交互技术,基于脑机交互的一个重要应用研究是脑控[15],其中直接脑控机器人是脑控在机器人领域的一个新的应用和研究方向[3,23].直接脑控机器人的研究可望架起人脑生物智能与人工机器智能交汇和融通的桥梁,具有重要的科学意义和应用价值,然而这方面的研究仍然处于需要突破的阶段.传统的脑控机器人主要实现对其方向的简单控制,但如何实现对其方向和速度更精细和灵活的控制是一个没有彻底解决的问题.什么样的脑机交互范式适合直接脑控机器人的灵活运动?在众多的脑机交互范式中,稳态视觉诱发电位(Steady state visual evoked potentials,SSVEP)是一类非常重要的脑机交互范式,本文尝试基于该范式实验研究直接脑控机器人方向和速度的研究.

基于SSVEP的脑机交互范式可识别的目标数多,可以根据机器人运动控制需求,灵活设置刺激目标以产生需要的方向和速度控制指令.本实验研究为脑控机器人运动规划了向左、向右、前进和后退4个方向,低速、中速和高速3级运动速度;适当组合后设置了低速前进、中速前进、高速前进、低速后退、中速后退、低速左转、中速左转、低速右转和中速右转共9个脑控指令,分别对应刺激目标F、F+、F++、B、B+、L、L+、R、R+.在这些设计和配置的基础上,进而优化SSVEP脑机交互范式.此外,为通过SSVEP解码被试意图,本研究采用CCA,它是一种利用综合变量对之间的相关关系来反映两组指标之间整体相关性的多元统计分析方法,可以最大化两类相似性,能够计算出特定刺激频率相关性最大的值,从而有效识别出被试注视的目标刺激频率[20−22].

图6 三种SSVEP刺激范式下被试脑控机器人达到终点平均用时及触碰障碍物次数及在1～4秒刺激时间下的平均正确识别率Fig.6 The averaged consuming time,number of touching obstacles and classification accuracies across 8 subjects when their controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms

在刺激呈现时间、视觉转移时间、测试平台环境相同的条件下,表2和图6(a)表明,SSVEP刺激范式三下8名被试脑控机器人到达终点平均用时为2分40秒,比刺激范式一和二平均用时分别缩短了2分55秒、2分52秒;同时,在SSVEP刺激范式三下8名被试脑控机器人运动过程中触碰障碍平均次数为0.88,也比刺激范式一和范式二平均触碰次数分别减少了3.29、0.87.此外,对于刺激范式三,8名被试脑控机器人到达终点最少用时1分29秒,碰触次数为0,最多碰触次数为3,而在刺激范式一和范式二下到达终点最少用时分别为4分44秒、2分50秒.三种SSVEP范式,随着刺激目标布局间距的增加,每个被试脑控机器人到达终点用时均减小,而触碰次数总体上也呈现减少的趋势.这些脑控机器人运动性能的提高归根结底有赖于对机器人运动方向和速度的准确和及时的调控,否则性能难于有显著的提高,这可能需要优化SSVEP刺激范式并采用有效的特征提取和识别算法.表2表明SSVEP刺激范式三具有更有效的控制性能.虽然不同的被试之间脑控性能不一样,同一被试3次实验的性能也不一样,但是8个被试并且3次实验都能够较好地完成任务,这也表明SSVEP脑机交互范式对被试具有较好的适应性,BCI盲问题不严重.

此外,表3～表5以及图6(b)表明:在Td=1s、2s、3s、4s时,SSVEP脑机交互刺激范式一、范式二和范式三下8个被试的平均识别率随着刺激目标布局间距的增加而得到提高,刺激范式二比刺激范式一有较大提高,超过5.8%,而刺激范式三比刺激范式二也有所提高,最低提高了0.84%,最高提高了3.75%.此外,在同一SSVEP脑机交互刺激范式下,随着刺激目标闪烁时间的增加,8个被试的平均识别率也得到提高,Td=2s比Td=1s有很大的提高,提高超过30%,Td=3s比Td=2s也有较大的提高,提高超过10%,而Td=4s比Td=3s也有所提高,提高超过3%;随着刺激目标闪烁时间的增加,8个被试中最高识别率也得增加.然而,刺激目标闪烁时间的增加,又会降低运动控制的实时性,这需要在识别精度和快速响应之间做出平衡.总之,表3～表5进一步验证了SSVEP刺激目标之间的间距会影响被试的正确识别率,从而影响对机器人运动方向和速度的准确和及时的调控,最终影响脑控机器人的运动性能.

上述三种SSVEP脑机交互刺激范式,随着刺激目标布局间距的增加,正确识别率增加的主要原因是:相邻刺激目标间距越小,相互之间对被试的视觉注意产生的干扰越大,当被试转移注视和注视期望目标时,相邻刺激目标也会在被试脑电波中诱发电位,使得稳态视觉诱发电位会出现交叉串叠,从而使错误识别率上升;反之,间距越大,相互之间对被试的视觉注意干扰越小,期望目标的稳态视觉诱发电位的频率特征显著,正确识别率增加.此外,SSVEP脑机交互刺激范式二中刺激目标之间的间距是范式一中刺激目标之间间距的10倍,相邻目标之间对被试的视觉注意干扰有显著的减少,因此范式二比范式一被试的正确识别率有很大的提高;但是随着刺激目标之间间距的不断增加,相邻目标之间对被试的视觉注意的干扰减少不显著时,正确识别率的提高有限(刺激范式三比刺激范式二的正确识别率提高有限).也就是,当刺激目标布局间距继续增加到一定程度后,相邻目标之间对被试的视觉注意干扰已经减少到最小,正确识别率将不会有明显的增加.在实际的SSVEP脑机交互刺激范式中,视觉刺激目标呈现屏幕尺寸大小有限制,在规划的刺激目标数目下,建议尽量使刺激目标间距最大.然而,刺激目标间距再继续增大,临间视觉干扰影响不会那么显著,识别效果不会有显著提高,分类效果主要与算法有关.

随着SSVEP脑机交互刺激目标闪烁时间的增加(Td=1s、Td=2s、Td=3s、Td=4s),被试识别率也增加,其主要原因可能是:SSVEP是对外界刺激节律的原始反应或原始反馈,是固定频率刺激的视觉诱发电位,随着刺激目标闪烁时间的增加,被试的视觉通道有足够的时间稳定反应,从而产生稳定的视觉诱发电位频率特征.然而,刺激时间再继续增加,被试视觉通道已经有足够时间产生SSVEP (一般来说3～4秒刺激时间已足够),正确识别率也不会有显著提高,分类效果也主要与算法有关.

本研究对三种刺激范式的间距和目标刺激时间因素进行了实验和比较,然而 SSVEP脑–机交互范式还与频率因素有关,本实验中9个刺激目标的闪烁频率分别设置为8、12、9、13、9.5、10、14、10.5、15Hz,不同的闪烁频率诱发的脑电功率集中在该频率及谐波频率处,这为目标探测提供了显著的特征.正确识别率在很大程度上决定被试脑控机器人用时和碰触障碍次数(机器人运动控制性能).SSVEP脑机交互范式一、范式二和范式三的识别率不同,因此被试脑控机器人用时和碰触障碍次数也不一样.识别率高是机器人运动用时减少的必要条件,但并不意味着用时和碰触次数一定能够减少,正确识别率和识别速度二者决定了用时和碰触次数.然而,正确识别率和识别速度之间需要平衡.

另外,视觉转移时间、刺激持续时间、识别时间(脑电分析和解码,例如CCA解码时间),识别结果反馈时间都会影响脑控制机器人运动的快速反应时间或实时性.因此,需要缩短视觉转移时间(如刺激目标和控制现场同屏幕布局呈现)、刺激持续时间和识别结果反馈时间(设置为最小极限),同时需要优化解码算法,以缩短识别时间.为了提高SSVEP脑机交互控制机器人的速度,一种可选的方法是,将场景和GUI进行适当的集成或融合,在场景的周边或内部合理布局闪烁刺激目标,以减少被试/用户在场景和GUI之间进行频繁视觉切换而产生的疲劳及误操作.

如上所述,稳态视觉诱发电位是被试注视外界刺激节律后中枢神经的原始生理反应[24],是被动的反应式的视觉诱发电位,单次提取和识别率高[19],本实验研究的8个被试均能够被诱发出SSVEP,完成脑控机器人运动方向和速度的控制,到达目标位置.虽然P300也是视觉诱发电位,但它已经是事件相关电位,有一定的认知加工后的反应,越晚的电位,认知程度越高.因此,对P300的提取和识别一般需要多次叠加,单次识别可能难于保证稳定的识别精度[25],进而会影响脑控机器人运动方向和速度控制的精度和实时性,P300用于机器人控制的性能将会在下一步工作中研究.与眼动依赖型的反应式SSVEP-BCI不同,基于运动想象心理活动的脑机交互范式是非眼动依赖型的主动式BCI,其动觉运动模式(Kinesthetic-motor mode of imagery)和视觉运动模式(Visual-motor mode of imagery)具有不同的效果,是对运动行为的内心演练,有感知觉的加工过程,但没有明显的运动输出.为此,该类脑机交互范式高度依赖于被试的运动想象能力以及有效的训练,并不是每个被试都能够很好地操控该类BCI,训练后可以达到70%左右[26],BCI盲问题较严重.此外,随着运动想象类别数的增加,分类精度和稳定性难于提高,进而难于满足脑控机器人灵活运动所需要的多个方向和多级速度的更精细的控制.

与需要训练被试的运动想象脑机交互范式相比, SSVEP-BCI基本不用训练,大概有80%被试能用该类BCI[27].然而,SSVEP-BCI要求被试注视视觉刺激,会给被试带来视觉疲劳等不良影响,需要研究减少视觉诱发刺激对被试的负面影响[28].相比较,运动想象BCI是非视觉依赖型BCI,它依赖被试的心理活动,不存在视觉刺激问题,然而它需要被试的运动想象能力使得特定导联特定频带的EEG信号的幅值减弱或增强(Event related synchronization/desychronization,ERS/ERD),目前运动想象BCI系统难于实用化,也难于精细地控制机器人的方向和速度,期望今后有突破.

最后,为提高脑控机器人方向的快速性以保证安全,同时减少被试疲劳以改善操控的舒适度,本文采用SSVEP与运动想象相结合的多模态方法,进行了初步的研究.被试反映该混合范式增加了控制策略选择的灵活度,在一定程度上加快了方向的控制速度,同时可以减少在控制场景和GUI之间进行频繁的视觉切换,降低了疲劳及误操作.最后需要指出的是,虚拟平台与真实脑控机器人环境存在差异,这也是需要进一步对比和完善的地方.

5 结论

本研究基于SSVEP脑机交互范式规划了脑控机器人运动方向和速度的控制策略,并通过实验比较和优化SSVEP刺激目标布局间距和刺激目标闪烁时间,最后采用有效的典型相关分析解码被试注视意图.验证了SSVEP刺激目标布局间距和刺激目标闪烁时间会影响分类识别率,在刺激呈现屏幕和刺激目标数一定的情况下,优化布局,适当增加间距或刺激时间,可以提高正确识别率.在刺激呈现时间、视觉转移时间、测试平台环境相同的条件下, SSVEP刺激范式三下8名被试脑控机器人到达终点平均用时和触碰障碍平均次数表现出优良的性能.最后,SSVEP与MI相结合脑控机器人方向和速度的初步研究表明,该混合范式可以优势互补,既可以实现多种类分类,又可以避免长时间视觉刺激引起的视觉疲劳,提升被试的舒适性与系统的通用性.本实验研究表明基于SSVEP或与运动想象混合的脑机交互可以通过设置适当数目的刺激目标和运动想象模式以满足脑控机器人灵活运动(方向和速度控制)的需求,可望为脑控机器人的研究和应用打下一定的基础.

在本研究的基础上,我们进一步的工作是:1)基于多模态设计新的控制范式和策略,优势互补.深入研究SSVEP-BCI与运动想象BCI相结合的方法以更好地直接脑控机器人方向和速度;2)寻找更有效的解码算法进一步提高脑控机器人系统正确识别率和响应速度;3)采用多边协同自适应机器学习算法自适应被试脑电的变化,减轻被试视觉或心理活动的疲劳,提高其舒适性.

1 Brain-computer interface from Wikipedia,the free encyclopedia[Online],available:http://en.wikipedia.org/wiki/ Brain-computer_interface,April 29,2016.

2 Hochberg L R,Bacher D,Jarosiewicz B,Masse N Y,Simeral J D,Vogel J,Haddadin S,Liu J,Cash S S,van der Smagt P,Donoghue J P.Reach and grasp by people with tetraplegia using a neurally controlled robotic arm.Nature,2012, 485(7398):372−375

3 Fu Yun-Fa,Wang Yue-Chao,Li Hong-Yi,Xu Bao-Lei,Li Yong-Cheng.Direct brain-controlled robot interface technology.Acta Automatica Sinica,2012,38(8):1229−1246 (伏云发,王越超,李洪谊,徐保磊,李永程.直接脑控机器人接口技术.自动化学报,2012,38(8):1229−1246)

4 McFarland D J,Wolpaw J R.Brain-computer interface operation of robotic and prosthetic devices.Computer,2008, 41(10):52−56

5 Bell C J,Shenoy P,Chalodhorn R,Rao R P N.Control of a humanoid robot by a noninvasive brain-computer inter-face in humans.Journal of Neural Engineering,2008,5(2): 214−220

6 Millan J R,Renkens F,Mourino J,Gerstner W.Noninvasive brain-actuated control of a mobile robot by human EEG.IEEE Transactions on Biomedical Engineering,2004, 51(6):1026−1033

7 Comparison of consumer brain-computer interfaces from Wikipedia, the free encyclopedia [Online], available: http://en.wikipedia.org/wiki/Comparison-of consumer_ brain-computer_interface_devices,December 20,2015.

8 Fu Yun-Fa,Xu Bao-Lei,Li Yong-Cheng,Li Hong-Yi,Wang Yue-Chao,Yu Zheng-Tao.Recognition of actual grip force movement modes based on movement-related cortical potentials.Acta Automatica Sinica,2014,40(6):1045−1057 (伏云发,徐保磊,李永程,李洪谊,王越超,余正涛.基于运动相关皮层电位握力运动模式识别研究.自动化学报,2014,40(6): 1045−1057)

10 Sun Hui-Wen,Fu Yun-Fa,Xiong Xin,Yang Jun,Liu Chuan-Wei,Yu Zheng-Tao.Identification of EEG induced by motor imagery based on Hilbert-Huang transform.Acta Automatica Sinica,2015,41(9):1686−1692 (孙会文,伏云发,熊馨,杨俊,刘传伟,余正涛.基于HHT运动想象脑电模式识别研究.自动化学报,2015,41(9):1686−1692)

11 Fu Y F,Xu B L,Li Y C,Wang Y C,Yu Z T,Li H Y. Single-trial decoding of imagined grip force parameters involving the right or left hand based on movement-related cortical potentials.Chinese Science Bulletin,2014,59(16): 1907−1916

12 Lv J,Li Y Q,Gu Z H.Decoding hand movement velocity from electroencephalogram signals during a drawing task. Biomedical Engineering Online,2010,9:64

13 Yin X X,Xu B L,Jiang C H,Fu Y F,Wang Z D,Li H Y,Shi G.A hybrid BCI based on EEG and fNIRS signals improves the performance of decoding motor imagery of both force and speed of hand clenching.Journal of Neural Engineering, 2015,12(3):036004,DOI:10.1088/1741-2560/12/3/036004

14 Yao De-Zhong,Liu Tie-Jun,Lei Xu,Yang Ping,Xu Peng,Zhang Yang-Song.Electroencephalogram based brain-computer interface:key techniques and application prospect.Journal of University of Electronic Science and Technology of China,2009,38(5):550−554 (尧德中,刘铁军,雷旭,杨平,徐鹏,张杨松.基于脑电的脑–机接口:关键技术和应用前景.电子科技大学学报,2009,38(5): 550−554)

15 Wang Xing-Yu,Jin Jing,Zhang Yu,Wang Bei.Brain control:human-computer integration control based on braincomputer interface.Acta Automatica Sinica,2013,39(3): 208−221 (王行愚,金晶,张宇,王蓓.脑控:基于脑–机接口的人机融合控制.自动化学报,2013,39(3):208−221)

16 Zhang R,Yao D,Valds-Sosa P A,Li F L,Li P Y,Zhang T,Ma T,Li Y J,Xu P.Efficient resting-state EEG network facilitates motor imagery performance.Journal of Neural Engineering,2015,12(6):066024,DOI:10.1088/1741-2560/12/6/066024

17 Fazel-Rezai R,Allison B Z,Guger C,Sellers E W,Kleih S C,Kbler A.P300 brain computer interface:current challenges and emerging trends.Frontiers in Neuroengineering, 2012,5:14

18 Gao S K,Wang Y J,Gao X R,Hong B.Visual and auditory brain-computer interfaces.IEEE Transactions on Biomedical Engineering,2014,61(5):1436−1447

19 Chen X G,Wang Y J,Nakanishi M,Gao X R,Jung T P,Gao S K.High-speed spelling with a noninvasive braincomputer interface.Proceedings of the National Academy of Sciences of the United States of America,2015,112(44): E6058−E6067

20 Bin G Y,Gao X R,Yan Z,Hong B,Gao S K.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.Journal of Neural Engineering,2009,6(4):1771−1779

21 The 2th competition of China brain-computer interface[Online],available:http://www.bcicompetition.cn,December 22,2015.

22 Lin Z L,Zhang C S,Wu W,Gao X R.Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs.IEEE Transactions on Biomedical Engineering, 2006,53(12):2610−2614

23 Long J Y,Li Y Q,Wang H T,Yu T Y,Pan J H,Li F. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair.IEEE Transactions on Neural Systems&Rehabilitation Engineering, 2012,20(5):720−729

24 Middendorf M,McMillan G,Calhoun G,Jones K S.Braincomputer interfaces based on the steady-state visual-evoked response.IEEE Transactions on Rehabilitation Engineering, 2000,8(2):211−214

25 Mak J N,Arbel Y,Minett J W,McCane L M,Yuksel B,Ryan D,Thompson D,Bianchi L,Erdogmus D.Optimizing the P300-based brain-computer interface:current status,limitations and future directions.Journal of Neural Engineering,2011,8(2):025003,DOI:10.1088/1741-2560/8/2/025003

26 GugerC,EdlingerG,Harkam W,NiedermayerI, Pfurtscheller G.How many people are able to operate an EEG-based brain-computer interface(BCI)?IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003,11(2):145−147

27 Guger C,Allison B Z,Großwindhager B,Prckl R,Hintermller C,Kapeller C,Bruckner M,Krausz G,Edlinger G.How many people could use an SSVEP BCI?Frontiers in Neuroscience,2012,6:169

28 Jin J,Daly I,Zhang Y,Wang X Y,Cichocki A.An optimized ERP brain-computer interface based on facial expression changes.Journal of Neural Engineering,2014,11(3): 1082−1088

伏云发 昆明理工大学信息工程与自动化学院副教授.主要研究方向为模式识别与智能控制,脑信息处理与脑控机器人接口,脑–机交互控制理论和方法,脑网络连通性.

E-mail:fyf@ynu.edu.cn

(FU Yun-Fa Associate professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers pattern recognition and intelligent control,brain information processing and braincontrolled robot interface,theories and methods for brainmachine interaction control,and brain network connectivity.)

郭衍龙 昆明理工大学信息工程与自动化学院硕士研究生.主要研究方向为脑信息处理与脑机交互控制,模式识别与智能控制.本文通信作者.

E-mail:hrbeu_gyl@foxmail.com

(GUO Yan-Long Master student at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers brain information processing,brain-computer interaction control,pattern recognition,and intelligent control.Corresponding author of this paper.)

李 松 昆明理工大学信息工程与自动化学院硕士研究生.主要研究方向为脑信息处理与脑机交互控制,模式识别与智能控制.

E-mail:lksong1234@sina.com

(LI Song Master student at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers brain information processing,brain-computer interaction control, pattern recognition,and intelligent control.)

熊 馨 昆明理工大学信息工程与自动化学院讲师.主要研究方向为医学图像处理与模式识别,脑网络连通性,脑信息处理与脑机交互.

E-mail:xiongxin840826@163.com

(XIONG Xin Lecturer at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.Her research interest covers medical image processing and pattern recognition,brain network connectivity,brain information processing,and braincomputer interaction.)

李 勃 昆明理工大学信息工程与自动化学院教授.主要研究方向为智能信息处理,图像处理与模式识别.

E-mail:lbly9177@163.com

(LI Bo Professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technolog. His research interest covers intelligent information processing,image processing, and pattern recognition.)

余正涛 昆明理工大学信息工程与自动化学院教授.主要研究方向为智能信息处理.E-mail:ztyu@hotmail.com

(YU Zheng-Tao Professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His main research interest is intelligent information processing.)

Direct-brain-controlled Robot Direction and Speed Based on SSVEP Brain Computer Interaction

FU Yun-Fa1GUO Yan-Long1LI Song1XIONG Xin1LI Bo1YU Zheng-Tao1

Direct use of thinking to control a robot without peripheral nerves and muscles is a dream of human beings, and this research has become a hot spot and a breakthrough point in the world.The traditional brain-controlled robot (BCR)mainly controls the direction,and this paper aims to explore the effective method to control the direction and speed of robot through brain.Using the brain-computer/interaction(BCI/BMI)method based on steady state visual evoked potential(SSVEP),9 instructions are designed to control the robot.And the canonical correlation analysis(CCA)method is used to identify EGG patterns.The results show that appropriate setting of the target number and its layout spacing and the flashing time can effectively improve the performance of the direct-brain-controlled robot.The optimization of the SSVEP stimulus paradigm three,the average time of 8 subjects controlled robot to reach destination using 2 minutes and 40 seconds,with a minimum of 1 minutes and 29 seconds.Meanwhile,the average number of touching obstacles is 0.88, the least touch number is 0,and the maximum number of touch is 3.This study shows that the BCI based on SSVEP can be used for the direct-brain-controlled robot.In order to overcome the limitations in the single SSVEP paradigm,this study also combines motor(Hybrid-BCI)imagery to control the robot.This paper is expected to provide ideas for the direction and speed control for the brain-computer interaction based on SSVEP or combined with motor imagery,and to provide a certain basis for practical direct-brain-controlled robot technology.

Brain-controlled robot(BCR),steady state visual evoked potentials(SSVEP),canonical correlation analysis (CCA),brain-computer/machine interaction(BCI/BMI),hybrid-BCI

伏云发,郭衍龙,李松,熊馨,李勃,余正涛.基于SSVEP直接脑控机器人方向和速度研究.自动化学报,2016, 42(11):1630−1640

Fu Yun-Fa,Guo Yan-Long,Li Song,Xiong Xin,Li Bo,Yu Zheng-Tao.Direct-brain-controlled robot direction and speed based on SSVEP brain computer interaction.Acta Automatica Sinica,2016,42(11):1630−1640

2015-12-29 录用日期2016-06-22

Manuscript received December 29,2015;accepted June 22, 2016

国家自然科学基金(61363043,61463024,81470084),云南省应用基础研究计划(2013FB026),云南省级人培项目(KKSY201303048),云南省教育厅重点项目(2013Z130),昆明理工大学脑信息处理与脑机交互融合控制(学科方向团队建设经费)资助

Supported by National Natural Science Foundation of China (61363043,61463024,81470084),Research Project for Appli-cation Foundation of Yunnan Province(2013FB026),Cultiva-tion Program of Talents of Yunnan Province(KKSY201303048),FocalProgram forEducation OfficeofYunnan Province (2013Z130),and Brain Information Processing and Brain-computer Interaction Fusion Control of Kunming University Sci-ence and Technology(Fund of Discipline Direction Team)

本文责任编委侯增广

Recommended by Associate Editor HOU Zeng-Guang

1.昆明理工大学信息工程与自动化学院昆明650500

1.Faculty of Information Engineering and Automation,Kun-ming University Science and Technology,Kunming 650500

DOI 10.16383/j.aas.2016.c150880