上肢康复训练机器人的脑机接口系统研究*
2019-10-30翟文文杨玉娜鲁守银高诺
翟文文,杨玉娜,鲁守银,高诺
(山东建筑大学信息与电气工程学院,济南 250101)
1 引 言
脑机接口(BCI)技术可以在人脑与外界环境之间建立起联系的通道[1]。其主要是通过对用户的脑电信号进行特征提取和分类转换为控制外界设备的特定命令。所以,严重运动残疾的患者可以通过脑机接口技术实现对康复机器人的控制,更积极主动地参与康复治疗[2]。
2003年,格拉茨技术大学的Gert Pfurtscheller研究小组第一次通过分析脑电信号控制功能性电刺激设备,使得患者可以使用瘫痪的手抓住圆筒[3]。2010年,格拉茨工业大学的脑-计算机接口实验室又研制了一种基于典型相关分析的稳态视觉诱发电位(SSVEP)脑机接口,适用于控制2自由度的手和肘神经假体。在线实验中,阳性预测值(positive predictive value, PPV)在69%~83%,假阴性率(false negative rate, FNR)在1%~17%[4]。2015年,意大利PERCRO实验室提出了由MI-BCI触发的完整的上肢机器人外骨骼,用于中风患者的抓握和释放的康复[5],实验得到运动想象分类的正确率为(82.51±2.04)%。2017年,印度理工学院的Chowdhury等研究出一种结合EEG和肌电图(electromyography,EMG)信号的新方法,使用光谱功率相关(spectral power correlation,SPC)来创建用于控制手外骨骼的混合BCI设备[6],对用户的抓握尝试和静止状态进行分类,在成功检测到抓握尝试后,混合BCI触发手外骨骼以执行手指屈伸运动。近年来,国内也逐渐开展了基于脑机接口的康复系统的研究。2017年,北京工业大学电子信息与控制工程学院的李明爱团队研制了采用运动想象控制的脑机上肢运动康复系统[7],完成手臂伸/屈动作,该系统的平均识别率为76.75%,固定时间窗为3~5 s。
虽然目前基于脑机接口的康复机器人已取得不少成果,但仍然面临着诸多挑战。目前,基于脑机接口的康复机器人应用还存在分析时间长,患者很难自主地控制康复训练的节奏,并且多类识别率不高等一系列问题。针对上述问题,我们研究了基于Alpha波与SSVEP的混合脑机接口上肢康复训练机器人系统,该系统可以通过脑电信号自主高效地控制具有双臂的上肢康复训练机器人进行肩内外旋,肩屈伸,肘内外旋,肘屈伸与腕屈伸五个自由度的运动。实验结果表明,该系统用时较短,准确率较高,受试者可自主地控制康复训练方式,验证了该系统的可行性与有效性。
2 系统组成
基于Alpha波与SSVEP脑电信号的异步脑机接口的整体结构框图见图1,该系统由四部分构成:视觉刺激模块、信号采集模块、信号处理模块和输出控制模块。本系统的信号采集模块采集用户闭眼或者注视频闪产生的脑电信号至信号处理模块进行分类识别,然后把分类结果发给上位机,进而控制上肢康复训练机器人。
图1基于Alpha波与SSVEP脑电信号的异步脑机接口结构框图
Fig.1Block diagram of asynchronous brain-computer interface based on Alpha wave and SSVEP EEG signal
2.1 脑电采集模块
脑电信号采集设备采用博睿康科技有限公司(Neuracle)的32导无线脑电采集系统[8],包括32通道的电极帽、放大器以及无线路由器。实验中,该设备的采样频率设为250 Hz,记录电极为P3、P4、PO3、PO4、O1、O2、PZ、OZ、T5、T6,见图2,导联位置符合国际10-20标准,保持电极阻抗在5 kΩ以下。
2.2 视觉刺激模块
本研究的视觉刺激模块利用 MATLAB 的 Psychtoolbox (PTB) 工具箱实现[9]。视觉刺激模块采用刷新率 60 帧/s的液晶显示器, 分辨率设置为1 366×768 (像素)。刺激目标由大小为150×150 (像素)的6个白色方块组成。六个频闪刺激块刺激频率分别为8、15、12、10、9、13 Hz对应的功能分别为肩内外旋,肩屈伸,肘内外旋,肘屈伸,腕屈伸与停止。
图2 导联位置图Fig.2 Lead position
图3 频闪刺激设计Fig.3 Stroboscopic stimulus design
2.3 信号处理模块
2.3.1异步性的实现范式 本系统通过检测使用者枕部脑电信号Alpha 波的阻断现象来切换空闲与工作状态[10],BCI系统不会对空闲状态下的脑电信号进行分析处理。受试者通过闭眼产生Alpha波,系统检测到Alpha波发出声音提示并把Alpha波信号传给上位机,从而进入工作状态,受试者听到声音提示后看频闪,BCI系统对声音提示后接收到的SSVEP信号进行分析,得到分析结果传给上位机,上位机对轮椅进行相应的控制,脑电信号分析流程图见图4。
2.3.2Alpha波信号分析 人在睁眼与闭眼状态下,O1导处的Alpha波(8~12 Hz)幅值会有很大的区别[11]。闭眼状态下Alpha波幅值要远大于睁眼状态。本研究用这个特征切换受试者的工作和空闲状态。受试者闭眼一段时间(1~3 s)来进行状态转换,使其O1电极位置的脑电信号Alpha波幅值增加,BCI系统收到此信息后切换到工作状态。在本研究中,Alpha波的检测是按照以下步骤实现的:
图4 脑电信号分析流程图Fig.4 Flow chart of EEG signal analysis
(1)对于一个受试者收集20个试验EEG信号,其中包括10个闭眼状态试验和10个睁眼状态试验,每次试验持续3 s。
(2)将每个试验传送到频域,并在每个试验中取8~12 Hz之间的信号幅度M。
(3)根据式(1)计算Alpha波的阈值。
(1)
(4)对于一段新获取的脑电数据,如果其8~12 Hz幅度为M,则可以根据式(2)计算当前状态state。
(2)
如果state等于1,表示系统已检测到Alpha波并且可以切换到工作状态。 如果state等于-1,则表示没有Alpha波,系统保持空闲状态。
2.3.3SSVEP波信号分析
(1)预处理
本研究使用50 Hz陷波滤波器来消除高频或工频干扰。
(2)CCA理论
典型相关分析(canonical correlation analysis,CCA)是通过计算多通道脑电(EEG)信号与构造的参考正余弦信号之间的相关系数,求两个信号的最大相关性[12]。
用CCA算法对EEG信号分析时,假设有k个频率刺激时,X为测得的EEG信号,Y为模拟刺激频率的参考信号,见式(3):
(3)
其中,Nh是谐波数量,fk是刺激频率,Fs是采样率,M是信号样本数。对两个多维信号X、Y来说,CCA方法是找一组矢量WX,WY,使这组矢量可以让向量x,y之间的相关系数达到最大,其中x=XTWX,y=YTWY。
(4)
在式(4)中,对WX,WY求得相关系数ρ的最大值,分别计算不同fk时的ρ,即最大的ρ对应的频率为SSVEP的响应频率。
2.4 上肢康复训练机器人
上肢康复训练机器人采用双臂五自由度的机器人,该机器人的结构主要有上肢左、右双臂主动训练装置、底座三部分组成,系统结构见图5。上肢左、右双臂主动训练装置能够实现肩内外旋,肩屈伸,肘内外旋,肘屈伸,腕屈伸五个自由度的运动。腕部辅助康复结构采用电机带动把手直接旋转进行运动。为减轻前端重量,采用步进电机,要求体积小的同时满足力矩需求。交流伺服电机具有动态性能好、控制精度高等优点,能够实现对机器人的精确控制。所以手腕、肘部屈伸采用步进电机,其余三个关节采用伺服电机。
采用基于TRIOMC464的运功控制系统,在运动过程中,各关节上的角度传感器反馈当前位置到运动控制器形成闭环,确保关节运动的精度。上位机实时观测机器人主从臂各关节运动角度,结合限位开关,实现多种安全保护功能,并且本系统设计为双臂式,增强双臂协调能力,提高患者的运动能力。上肢康复机器人在得到脑电信号分析结果后进行相应的动作,并重复动作,直至接收到闭眼命令后回归原位。
图5 上肢康复机器人控制系统结构图Fig.5 Structural chart of control system for upper limb rehabilitation robot
3 在线实验与结果
3.1 在线实验
本实验共选取5名年龄18~30周岁的健康受试者(3男2女),在安静、舒适的环境中进行。受试者被要求在注视刺激闪烁的时间内尽量避免过度眨眼,眼睛距离视觉刺激模块约0.5 m。本实验应用图3的视觉刺激界面。实验前,5名受试者均先进行离线实验,采集Alpha信号,计算阈值。图6是受试者让机器人动作一次并停止的实验过程示例。首先受试者佩戴脑电帽坐在屏幕前,屏幕上的频闪块闪烁。受试者闭眼1 s,机器人收到闭眼信号后暂停并发出提示音,然后注视让机器人动作的相应频闪块1 s,机器人收到动作命令后进行相应的动作,受试者自己决定运动时间(示例为8 s)。当受试者想停止当前运动时闭眼1 s,机器人接收到闭眼信号暂停运动并发出提示音,接着受试者注视停止的频闪块关闭机器人。在一次实验中受试者可以控制机器人进行多种运动然后关闭机器人,每位受试者每轮实验要求发出20次命令(包括停止),每人进行5轮实验,实验中记录下发出的正确命令数以及发出命令所用的时间。真实实验场景见图7。
图6实验过程示例
Fig.6Experimental process
图7 实验场景图Fig.7 Experimental scene
3.2 实验结果
(a)
(b)
(c)
(d)
(e)
图8实验结果,其中(a-e)分别描绘了5名受试者在5次实验中发出的正确命令数以及发出命令所用的平均时间窗
Fig.8Experimental results,(a-e) depicted the correct number of commands and the average time window used by five subjects in five experiments
图8中的(a)-(e)分别描绘了5名受试者在5次实验中发出的命令数以及发出命令所用的平均时间窗,每位受试者在5轮实验中共发出100个命令。从图中可以看出,每位受试者发出一个命令所用的时间窗均在2.5 s左右,并且受试者A与受试者B均有一轮实验发出的20个命令全部正确且未出现识别错误。每位受试者可按自己的想法控制上肢康复机器人的动作方式以及动作时间。表1记录了受试者发出的总命令数,正确命令数以及正确率,五位受试者的分类准确率最高可达94%。系统实时采集EEG信号几乎无延时。此结果说明,本研究基于SSVEP与alpha波的脑机接口系统分析程序准确率较高,分析速度快,并且能让患者实现对上肢康复训练机器人的自主控制。
表1 受试者的实验正确率Table 1 Experimentation correctness of subjects
4 结论
本研究阐述并验证了基于SSVEP与Alpha脑机接口的上肢康复训练机器人是一个行之有效的方案。另外,上肢康复机器人的各关节安装有限位传感器,以确保能够及时保护患者手臂,防止对手臂造成伤害。实验结果证明,本系统在分析用户的脑电信号方面有较高的准确性,并且用时较短。受试者可以按照自己的节奏控制基于混合脑机接口的上肢康复训练机器人系统,根据自己的意愿控制训练动作与训练时间,实现了系统的异步性。
虽然本研究提出的基于SSVEP与Alpha脑机接口的上肢康复训练机器人方案实现了异步性,有效解决了信号分析时间长与准确度不高等问题,但是在以下几方面仍有待进一步提高:提高脑电信号分析的鲁棒性; 增加受试者对上肢康复训练机器人运动角度的控制,提高受试者对机器人的控制能力。随着脑机接口技术的不断完善,本系统会在严重运动障碍的患者的训练康复方面具有良好的应用前景。