APP下载

采用Emotiv 感知的智能轮椅运动控制的研究

2012-12-14胡豁生

关键词:控制指令电信号轮椅

张 毅,张 辉,罗 元,胡豁生

(重庆邮电大学国家信息无障碍工程研发中心智能系统及机器人研究所,重庆400065)

0 引言

随着社会老龄化进程的加快以及由于各种疾病、工伤、交通事故等原因造成下肢损伤的人数的增加,为老年人和残疾人提供性能优越的代步工具已成为整个社会重点关注的问题之一[1]。其中,作为代步工具的一种,智能轮椅受到了世界各国研究者的广泛关注。

智能轮椅作为一种服务机器人,除了具有自主导航、避障等多种功能之外,还融合了人机交互技术的多种控制方式,如语音、手势、肌电信号、腕部运动、头部运动和脑电信号等。其中,基于脑电信号的脑机接口技术近年来受到高度关注。

脑机接口(brain computer interface,BCI)是一种新的人机交互方式,它是基于脑电信号实现人脑与计算机或其他电子设备的通讯和控制[2]。BCI相比于肌电、语音、腕部运动、手势等人机交互方式,有其先天的优势。BCI不依赖于人体的外周神经系统及肌肉组织,仅根据大脑思维意念或感官反映所产生的脑电信号进行工作。因此BCI技术应用范围更广,并且在助老助残的智能轮椅中有着广阔的应用前景。但是由于脑电信号十分微弱并且存在较强的干扰,使得脑电信号的采集和处理都困难,从而导致使用脑电信号进行控制难度较大。除此之外,由于人的个体差异,导致使用脑电信号控制的效果并不理想,从而影响控制的稳定性。

基于上述状况,本文采用Emotiv传感器设计了一种基于运动想象的控制系统。该系统可以通过想象左右手、迈腿动作与平静状态来实现对智能轮椅的实时控制。实验结果表明该控制系统可行,并且具有较好的稳定性。

1 系统框架

本系统主要包括脑电信号采集、放大、滤波、去噪、特征提取与特征分类以及控制实现和仿真训练等部分。其中,脑电信号的采集、放大和滤波通过Emotiv传感器完成。Emotiv传感器采集得到的脑电信号经过去噪、特征提取与特征分类,最终设计出控制指令并通过无线网络将控制指令传送给智能轮椅,以达到控制轮椅运动的目的。除此之外,本系统还采用虚拟物体运动形式仿真上述控制指令,用来让受试者进行训练。该控制系统的框架图如图1所示。

图1 控制系统框架图Fig.1 Framework of the control system

2 系统设计

2.1 脑电信号获取

本系统采用的脑电信号采集设备是Emotiv System公司开发的Emotiv传感器,其主要部件的外观如图2a所示。Emotiv传感器以P3/P4为参考电极,上面安装着14个电极,可以采集到14个通道的脑电信号,并进行放大与滤波,然后通过无线技术传回计算机[3]。Emotiv传感器的电极安放位置采用国际10-20导联制,如图2b所示。

2.2 脑电信号去噪

传感器采集的脑电信号虽然经过了放大和滤波等处理,但是还会伴有各种生理干扰,如眼电、心电和肌电等伪迹。为了降低伪迹对脑电信号分析的影响,我们要对脑电信号进行去噪。脑电信号去噪的方法有多种,本文采用独立分量分析(independent component analysis,ICA)算法对脑电信号进行去噪。

图2 Emotiv外观及电极安放位置Fig.2 Appearance and electrode placement of Emotiv

ICA算法是近年来由盲信源分离技术发展起来的一项多导信号处理方法[4-5]。其基本含义是将多道观察信号按照统计独立的原则通过优化算法分解为若干独立分量,从而实现信号的增强和分析。因为采集到的脑电信号是自发脑电信号与各种伪迹的线性混合,满足信号源独立的条件,所以ICA算法适用于分离脑电中的伪迹。

ICA 可描述为:设 x(t)=[x1(t),x2(t),…,xN(t)]T是N个脑电头皮电极阵列测得的N维观测信号,s(t)=[s1(t),s2(t),…,sN(t)]T是产生观测信号的N个相互统计独立的源信号,且观测信号x(t)是源信号s(t)经过线性混合矩阵A而产生的,如(1)式所示

ICA所要解决的问题是在混合矩阵A以及源信号s(t)均未知的情况下,以分离结果相互独立为前提,寻找一个优化解混矩阵W,使得变换后的输出能很好地逼近源信号s(t)。

对于脑电信号去噪,我们需要找到优化解混矩阵W,使得去噪后的信号y(t)更好地逼近纯净的脑电信号s(t)。去噪步骤如下:

1)对脑电信号进行独立分量分析,得到各个独立分量;

2)将伪迹的独立分量置零,其他独立分量保持不变;

3)利用得到的解混矩阵W的逆矩阵W-1还原脑电信号,得到不含伪迹的脑电信号。

2.3 特征提取与分类

脑电信号是脑内众多神经元活动产生的突触后电位的同步振荡产生的生理电活动。由头皮上记录到的脑电信号是大脑皮层及皮层下大量神经元或神经网络的同步活动的反映。当大脑受到感官刺激、动作指令和想象运动等电信号刺激时,皮层神经元之间的联系结构发生改变,使它们的同步性被抑制或增强,从而产生事件相关去同步(event-related desynchronization,ERD)和事件相关同步(event related synchronization,ERS)。

研究表明:当人想象左手运动时,管理左侧人体活动的右侧大脑便开始兴奋,脑部神经活动变化较剧烈,平静态时各种同步活动被打破,表现为测量到的相关电极脑电信号幅度下降。当人想象右手运动时,以上表现反之。当想象迈腿运动时,管理人体下肢活动的大脑中央部分便开始兴奋,脑部神经活动变化较剧烈,平静态时各种同步活动被打破,表现为测量到的相关电极脑电信号幅度下降[6-7]。

根据文献[7],我们可以知道当人在进行运动想象时,大脑两侧相关电极附近会产生ERD和ERS现象,从而导致不同想象运动诱发的事件相关电位在大脑皮层的空间分布也不相同。因此本文选取大脑两侧的F3,F4,FC5和FC6电极进行研究,并将其采集的脑电信号组成 x(t)=[xF3,xF4,xFC5,xFC6]T,然后对其进行ICA算法处理,得到4×4维的解混矩阵W。由于解混矩阵的逆矩阵W-1可以反映诱发的事件相关电位在大脑皮层的空间分布,所以我们将W-1的列向量提取出来作为运动想象的特征向量进行分类。由(2)式可得

本文采用BP(back propagation)神经网络对提取的特征向量进行分类[8],分类器如图3所示。由(3)式可以得到W-1有4个列向量,所以神经网络输入层设为4个神经元。神经网络输出层设为2个神经元,可以分类出想象左手、右手运动、迈腿运动和平静状态。对于隐层神经元数量目前还没有好的方法进行计算,我们凭借经验根据分类的正确率选取5个神经元。

2.4 控制实现

经过特征分类后,Emotiv的应用程序编程接口将分类结果:想象左右手、迈腿动作与平静状态生成4个运动事件,即 COG_LEFT,COG_RIGHT,COG_LIFT和COG_NEUTRAL。我们利用Visual Studio进行编程,用上述的4个运动事件分别设定4个运动控制指令:左转、右转、前进和停止。然后将控制指令传送给智能轮椅,实现运动控制。最后用虚拟物体的运动[9]形式仿真上述4个运动指令,用来进行训练,从而让受试者更熟练的掌握运动控制。虚拟运动仿真界面如图4所示。运动想象、智能轮椅和虚拟物体仿真之间的详细关系见表1。

图3 BP神经网络结构Fig.3 BP neural network structure

图4 虚拟运动仿真界面Fig.4 Virtual movement simulation interface

表1 运动想象、智能轮椅和虚拟运动的关系Tab.1 Relationship of motor imagery,virtual movement and intelligent wheelchair

对于表1中所示的对应关系,在此做一些说明:运动想象和智能轮椅运动的对应关系并不是必然的。以想象左手为例,并不是每一次想象左手运动都能使智能轮椅左转。反之,智能轮椅左转并不一定是由于想象左手运动所致。这种现象与脑电信号的特征提取、分类及模式识别的准确性有着密切的联系。因为准确性不可能达到百分之百,所以这种现象是无法避免的。我们只能通过完善算法、提高系统性能来弥补这种不足。

3 实验及分析

为了验证该控制系统的可行性和稳定性,我们需要选取受试者在智能轮椅上进行轨迹重复性实验。

在此之前,我们选取5名受试者并且使用虚拟物体运动仿真界面对设定的4个控制指令进行训练,使得受试者熟悉用想象运动来控制指令。训练时间为5天,每天训练90 min。训练完毕后,测试受试者的控制指令识别率,得到4个控制指令的平均识别率,如表2所示。

表2 控制指令的平均识别率Tab.2 Average recognition rate of the control commands

本文设计的实验路线如图5所示,轨迹实验要求受试者通过运动想象控制智能轮椅从A点开始运动,绕过2个长方体的障碍物到达B点。由于受试者对指令控制存在着误差,所以轮椅不一定能顺利地准确到达B点。因此本实验只要求受试者控制轮椅到达B点附近区域即可。

图5 实验路线图Fig.5 Experimental roadmap

实验开始,我们要求训练好的5名受试者分别进行5次轨迹重复性实验。实验过程中,记录每次实验所用的时间。实验完毕,从每名受试者的5次轨迹实验中选出所用时间最短的一个,并将其绘制成图。然后,从轨迹图中选出所用时间最短和所用时间最长的轨迹,如图6所示。图6中a为所用时间最短的轨迹图,b为所用时间最长的轨迹图,带箭头的平滑曲线为理想轨迹路线。图中x为实验轨迹坐标横轴,y为实验轨迹坐标纵轴,单位为毫米。

图6 实验轨迹图Fig.6 Experimental trajectories

从图6中可以看到,虽然受试者训练的时间相同,但是由于个体差异等原因而导致受试者对智能轮椅控制情况不同,具体表现为b轨迹比a轨迹的路线长。虽然如此,但是a和b两个轨迹相差并不是很大,并且都较稳定的完成了从A点到B点的运动。除此之外,由表2可以看到4个运动控制指令的识别率都达到了70%以上。因此本文设计的脑电信号控制智能轮椅可行,并且具有较好的稳定性。

此外,我们还看到两组轨迹偏离理想运动路线的程度。由于脑电信号不容易控制,所以想要走出理想运动路线是不可能的。造成这种现象的原因有以下3个:

1)控制指令存在着识别错误;

2)受试者对控制指令间切换掌握的不够熟练;

3)系统有一定的延迟性。

下一步我们将通过优化算法提高控制指令识别率,并通过训练解决指令间的切换熟练程度问题。最终降低系统的延迟性,进一步完善系统的性能。

4 结束语

本文采用Emotiv传感器感知脑电信号设计了一种智能轮椅控制系统。这个系统可以通过想象左右手和脚的运动实时控制智能轮椅。通过轨迹重复性实验,证明了该控制系统具有较好可行性和稳定性,为脑电信号控制在智能轮椅中的实际应用奠定了基础。我们将会在以后的改进中充分考虑和解决系统暴露出来的问题,进一步完善系统的性能。

[1]鲁涛,原魁,朱海兵.智能轮椅研究现状及发展趋势[J].机器人技术与应用,2008,2(2):1-5.LU Tao,YUAN Kui,ZHU Hai-bin.Research status and development trend of intelligent wheelchair[J].Robot Technology and Application,2008,2(2):1-5.

[2]WOLPAW J R,MCFARLAND D J,NEAT G W.An EEG-based brain computer interface for cursor control[J].Electroenceph Clin Neurophysiol,1991,78(3):252-259.

[3]EMOTIV.Emotiv SDK User Manual[EB/OL].[2011-11-29].http://www.emotiv.com.

[4]周宗潭,董国华,徐昕.独立成分分析[M].北京:电子工业出版社,2007:2-8.ZHOU Zong-tan,DONG Guo-hua,XU Xi.Inde-pendent component analysis[M].Beijing:Electronics Industry Press,2007:2-8.

[5]杨福生,洪波.独立分量分析的原理与应用[M].北京:清华大学出版社,2006:1-5.YANG Fu-sheng,HONG Bo.Principles and app-lications of independent component analysis[M].Beijing:Tsinghua University Press,2006:1-5.

[6]白雪.脑电波实时控制电动轮椅[J].机器人技术与应用,2010,2(3):10-12.BAI Xue.Brain wave real-time control of electric wheelchair[J].Robot Technology and Application,2010,2(3):10-12.

[7]王攀,沈继忠,施锦河.想象左右手运动的脑电特征提取[J].传感技术学报,2010,23(9):1220-1225.WANG Pan,SHEN Ji-zhong,SHI Jin-he.Feature extraction of EEG for imagery left-right hands movement[J].Chinese Journal of Sensors and Actuators,2010,23(9):1220-1225.

[8]胡人君,李坤,吴小培.脑机接口应用中的思维任务分类[J].计算机工程与应用,2007,43(3):201-203.HU Ren-jun,LI Kun,WU Xiao-pei.Mental task classification for brain computer interface applic-ation [J].Computer Engineering and Application,2007,43(3):201-203.

[9]FRANCESCO Carrino,JULIEN Tscherrig.Head-computer interface:a multimodal approach to navigate through real and virtual worlds[C]//International Conference on Human-Computer Interaction.Florida:Springer Press,2011:222-230.

猜你喜欢

控制指令电信号轮椅
基于联合聚类分析的单通道腹部心电信号的胎心率提取
城轨车辆控制指令试验装置研制
轮椅上的爱
我的轮椅
宏指令控制的多轴系统研究及实现
基于Code Composer Studio3.3完成对心电信号的去噪
基于随机森林的航天器电信号多分类识别方法
轮椅上的姑娘(外三首)
高速公路隧道通风、照明联动控制方案探讨
轮椅