基于镜像神经元理论的便携式MI-VR BCI康复系统设计

胡景钊,刘 阳,贾巧妹,马 媛,王 晨,郑佳宾,冯 筠, 2

(1.西北大学 信息科学与技术学院, 陕西 西安 710127;2.新型网络智能信息服务国家地方联合工程研究中心, 陕西 西安 710127)

肢体运动功能障碍是脑卒中、孤独症、脑瘫、脑外伤后的常见症状,严重影响患者的生活质量和日常生活能力[1]。传统的康复治疗方法对部分患者治疗作用有限[2],医师劳动强度大,患者参与积极性差,从而导致康复效果不佳[3]。近年来,在临床上利用镜像神经元理论的运动康复疗法有着越来越广泛的应用,取得了有意义的治疗效果。相关研究表明,患者主动进行运动想象和借助视频或镜像的运动观察均可以有效激活镜像神经元来促进运动功能恢复[4]。因此，基于镜像神经元康复疗法的康复训练系统受到了学术界和工业界的广泛关注。与目前已有的康复运动系统相比,该文提出的运动康复系统轻量便携、造价低廉、感知患者运动想象精确、反馈动画沉浸度高,能提高患者日常生活活动能力及生活质量。

镜像神经元是一类在个体执行特定动作或观察到其他同类执行类似动作时均会兴奋的特殊神经元[5]。镜像神经元系统由遍布于各脑区的所有镜像神经元构成,形成了一种“观察-执行匹配机制”,能高效统一动作的感知与执行[6]。相关研究表明,该机制在动作的理解与模仿、运动的想象与学习等重要的神经生理学过程中扮演着重要角色[7]。而以上神经生理学过程是脑机接口技术和神经康复疗法中的运动想象、动作观察、镜像神经、虚拟现实等背后的神经生物学原理[8],其对于运动功能康复,尤其是孤独症、脑卒中后上肢运动功能康复、幻肢痛、复杂性区域疼痛综合征、Bell麻痹、脑瘫具有重要的指导意义[9]。

运动想象(motor imagery, MI)是指想象肢体运动但无实际明显动作。研究表明,人体在真实肢体运动与想象肢体运动时均会使大脑的运动皮层区域处于活跃状态[10],通过运动想象可以激活大脑相关细胞的可塑性,有助于修复肢体与大脑之间的神经功能连接。基于运动想象的脑机接口技术可以允许在无真实肢体交互的情况下通过计算机分析判读运动镜像神经元的状态来预测期望执行的动作,其不仅可以作为交互设备部分替代患者运动障碍肢体的功能,也提供了一种新型运动康复策略[11]。虚拟现实技术(visual reality,VR)可以让运动障碍患者身临其境的观察患肢运动,更大程度激活镜像神经元,VR动画还形成了一种闭环、直观、综合视觉、听觉、感觉的反馈机制,使患者能够主观性地调节运动想象[12]。因此,将运动想象疗法、VR技术、脑机接口技术结合用于康复治疗具有重要的研究价值。

然而,目前基于运动想象脑机接口的虚拟现实运动康复系统,如高小榕等人设计的基于脑-机接口技术的虚拟现实康复训练平台[13]、Olivares等人的基于生物驱动的假肢虚拟现实系统[14]、张丽清等人的三维虚拟现实环境中基于EEG的异步BCI小车导航系统[15]等依然存在一定的提升潜质：①系统相关设备复杂不便携,难以在家庭场景搭建并进行康复训练;②造价昂贵;③不易精确感知患者运动想象程度;④康复训练的反馈机制多为视频反馈,患者沉浸感不高,难以高效进行运动想象状态反馈,难以做出有针对性的主观调节。

为了解决以上几个问题,本文通过选择轻巧、便携、无线的非侵入脑电设备及VR眼镜构建运动康复系统,其造价低廉、轻量便携、感知患者运动想象精确、反馈动画沉浸度高。在康复过程中,通过定制精细逼真的虚拟人物形象,将场景中人物的运动过程通过VR眼镜实时反馈给患者,对患者运动想象进行有效监测,使患者可通过神经反馈信息做出有针对性的主观调节,从而有效调动患者康复训练的积极性和提升患者康复训练的效果。在该康复系统中,首先，对患者的脑电实时分析,进行特征提取、分类；然后，进行后处理得到更为可靠的输出结果,以对用户意图进行理解；最后，通过虚拟现实眼镜实时反馈,使得患者沉浸式观察,调动患者做出有针对性的主观调节,提高患者康复训练效果。

经实验验证,系统离线运动想象检测分类器平均准确率为56.84%,在线测试过程中使用后处理技术,当得到足够确信的检测结果后才获取到被试的运动意图理解,其在线测试的平均准确率更高,可以达到86%。

1 相关工作

基于镜像神经元理论的康复疗法近年来在临床上有着越来越广泛的应用,取得了有意义的治疗效果[16]。越来越多的研究将运动想象脑机接口与虚拟现实技术应用到医学康复领域[17],二者的结合也逐渐成为一种很有潜力的康复训练方法。虚拟现实为康复提供丰富、逼真的虚拟康复场景,可以让患者身临其境地观察患肢运动,更好地激活镜像神经元,并提升患者参与的积极性[18]。同时将运动想象与虚拟现实结合起来,并采用脑机接口技术检测患者运动想象程度,精细逼真的虚拟环境带来的高沉浸感的运动观察和运动想象可以有效激活镜像神经元，促进患者运动功能的改善。

近年来,运动想象在医疗康复中的有效性也已经得到了证明[19]。例如Okawada等证明了运动想象能通过激活镜像神经元促进大脑运动神经的激活程度,加速重塑运动障碍患者的运动神经[20]；Achanccaray等人将运动想象应用到轻度瘫痪病人的康复训练中,其结果表明运动想象能够对轻度瘫痪病人的功能性康复起到一定效果[21]。

虚拟现实具有交互、沉浸和想象3大特征[22],其带来的高沉浸感的运动观察可以有效地激活患者的镜像神经元进而提高康复系统的有效性[23]。李文肖等人设计的基于虚拟现实的下肢主动康复训练系统把患者下肢运动与运动功能康复训练游戏结合在一起,有效改善了传统下肢康复训练中病人参与度低、主动运动意图逐渐丧失的问题[24]。郭新志等人针对中风或者上肢功能受限的患者,开发了基于虚拟实现技术的上肢康复训练系统[25]。通过虚拟环境带来的高沉浸感能有效提高患者康复训练的质量和效果。

VR场景的高度沉浸感可以将场景中人物的运动过程实时反馈到用户,科学的反馈机制可以引导患者进行运动想象任务,提高患者康复训练的主动性与参与性[26]。Monderer等人研究表明,在康复系统中引入视觉、听觉等反馈有助于患者评估运动想象程度,帮助患者调节自身心理来提升运动想象能力[27]。Birbaumer等研究进一步证实，通过环境和反馈来调节心理在运动想象脑机接口中具有重要的作用[28]。VR技术中精心设计的场景反馈可以产生更好的神经激活效果,并通过实时虚拟场景反馈调动患者运动想象的积极性[29]。因此，越来越多的研究将运动想象与虚拟现实系统结合起来用于医疗康复领域。

2 系统设计

本文基于镜像神经元康复疗法设计的MI-VR BCI康复训练系统采用了轻巧、便携、无线的非侵入脑电设备及VR眼镜。该系统以脑机接口(BCI)技术和虚拟现实(VR)技术为基础,主要包括康复训练实验范式设计、VR渲染与反馈设计、运动想象检测模型离线训练和患者运动想象检测。系统框架如图1所示,患者首先进行自主地运动想象,通过便携式脑电放大器采集患者在运动想象时的脑电信号,将采集得到的脑电数据经过实时传输和解析,然后进行分析解码,获取到患者当下的运动意图，再通过有线/无线交换机与虚拟环境进行对接,患者可以根据实时观察到VR中虚拟人物的行为调整后续状态。

图1 系统框架图Fig.1 System framework

2.1 康复训练实验范式设计

该MI-VR BCI康复训练系统采用3种想象动作(左腿屈曲、右腿屈曲、空闲态)的运动想象实验范式,实验前,患者应尽量保持良好的精神状态，并按照要求完成相关康复训练流程。

所有电极安置完毕后,患者被要求自然舒适地坐在屏幕前,如图2所示。实验设计共计180试次,分两次完成,每两次实验过程中休息3 min。每个试次中想象左腿屈曲、右腿屈曲和空闲状态3种运动想象动作提示随机出现。

图2 实验场景Fig.2 Experimental scenes

单个试次时序图如图3所示,每个试次持续时间为8 s,前2 s屏幕显示空白,第2 s时计算机屏幕中央出现一个“十”字,提醒患者该试次即将开始;第4 s时屏幕上的“十”字变为随机产生的左边色块(左腿屈曲)、右边色块(右腿屈曲)和黑屏(空闲),患者根据屏幕显示进行相应的运动想象,一直持续到第8 s。

图3 单个试次时序图Fig.3 Single trial sequence diagram

2.2 VR渲染与反馈

VR渲染与反馈是根据患者脑电中想象的运动意图,对VR场景进行修改并重新渲染,之后通过虚拟现实眼镜将结果反馈给患者,患者可以观察VR动画来调节后续状态,完成整体康复训练系统回路闭环的过程,它能够更有效地激活患者的镜像神经元系统。具体地,VR渲染模块负责根据解析脑电获取到的患者运动意图实时渲染虚拟现实场景。VR反馈模块为虚拟现实眼镜,它能将系统所理解的患者的运动意图通过VR动画效果的展示实时反馈给患者。

1) VR场景与虚拟对象设计

图4为VR反馈动画场景,整个VR场景为大草原和蓝天白云,虚拟对象设置为在草原上行走或奔跑的虚拟人物,其人体建模精细、逼真,虚拟人物在接收到系统所理解的患者运动意图后，能够在草原上进行相应的运动。在该场景中,患者可以处在舒适的环境中进行运动想象,对场景进行自由探索。

2) VR动画设计

患者在进行运动想象之后,系统通过BCI技术检测到患者的脑电信号，并分析解码获取到患者的运动意图。然后在VR场景中通过动画的形式将获取到的患者的运动意图反馈给患者。VR动画反馈场景的设计更加符合患者在自然场景下的实际运动情景，更容易激活起患者的镜像神经元系统,促进患者运动功能的康复。在VR反馈动画场景中,当系统检测到患者的运动意图后,虚拟场景中虚拟人物将按照患者的运动意图向左拐跑步、向右拐跑步或保持当前行进方向不变,患者可以观察到自己运动想象的结果,然后调节自己的运动想象状态。

图4 VR反馈动画场景Fig.4 VR feedback animation scene

3) VR反馈模块设计

VR反馈模块为一虚拟现实眼镜,如图2所示,患者佩戴脑电帽和虚拟现实眼镜。主要功能是将VR渲染结果实时呈现给患者,使患者可以随时观察到VR场景中虚拟人物的运动模式,闭环整个运动康复训练系统回路。

2.3 运动想象检测模型离线训练

2.3.1 脑电数据预处理 由于采集患者的脑电设备和VR设备均布置在头皮周围,容易产生设备间串扰,使得患者原始脑电信号中存在大量的噪声和伪迹的干扰,导致有效的脑电信号成分被削弱。本系统通过多种滤波策略来保证患者在康复训练过程中脑电信号的质量,该策略具体包括时域层次滤波和频域层次滤波。时域层次滤波用于减少信号中的异常值,由z-score归一化和中值滤波法组成;频域层次滤波用于去除非脑电频率,由梳状滤波法和带通滤波法组成。

1)修正脑电信号基线漂移

对脑电信号进行逐通道归一化,通过“去均值、标准化”的方式,将原始信号变换到零均值附近,如式(1)所示,能够有效减少系统使用环境所导致的基线漂移和通道差异现象。

(1)

其中：X=[X(1),X(2),…,X(n)]代表n个脑电采样点；mean(·)表示计算平均值；std(·)表示计算标准差。

2)剔除脑电信号异常采样点

由于脑电采集设备敏感,患者的移动、触碰、调整VR眼镜或传输坏帧等问题都将导致采集的脑电信号中存在明显的异常值。如图5所示,中值滤波法能够准确地检测出这些信号毛刺,并将他们填充为邻近采样点,使得信号整体平稳。

图5 中值滤波去除脑电信号中的坏帧或异常值Fig.5 Median filtering to remove bad frames or abnormal values from the EEG signal

3)消除工频干扰

在采集患者的脑电信号过程中,无论是在康复中心医院或者是在家庭场景中,都会夹杂着不可避免的工频干扰信号，且在虚拟现实环境下,同样会引入邻近的VR设备产生的工频干扰。针对患者脑电信号中夹杂工频干扰的问题,本系统采用梳状滤波器来过滤特定频率的干扰，其频谱如图6所示。该方法能够剔除脑电信号中50 Hz及其倍频的干扰[30],得到纯净的脑电信号。

图6 梳状滤波器过滤特定频率干扰Fig.6 Comb filter for specific frequency interference

4)滤出运动想象相关脑电信号

设计低阶的巴特沃斯带通滤波器[31],过滤出脑电的特有频带0.1～49 Hz,用于进一步的脑电分析和患者运动意图的理解,其幅度相位相应曲线如图7所示。

图7 带通滤波器幅度和相位响应曲线Fig.7 Bandpass filter amplitude and phase response curves

2.3.2 理解运动意图 患者在进行运动想象时,系统通过BCI技术来检测患者运动想象时的脑电信号,其本质是对脑电信号进行特征提取、分类和后处理,获取到分类信息即得到患者的运动意图，继而患者通过仔细观察VR动画场景效果来调节自己后续的运动想象状态。其中，对患者脑电信号的特征提取和分类方法如下:

1)提取脑电CSP特征

由于采集的脑电数据中含有伪迹和噪声,因此，需要最大程度保留有用信息来滤除干扰信号。针对此类问题,选择对于运动想象脑电数据非常流行且有效的共同空间模式(common spatial pattern, CSP)特征提取算法[32]。

CSP算法主要思想是利用线性变换方法将多通道脑电数据投影到低维空间中。通常,CSP算法通过极大化函数

(2)

求得空间滤波器w，Hi表示第i类预处理后脑电数据的矩阵(行数为采样点数，列数为通道数)，Ci表示第i类预处理后脑电数据的空间协方差矩阵。通过求得的空间滤波器w将EEG数据投影至低维空间进行滤波，使用滤波后的数据进行分类，得到对应的类别后即可映射为患者的运动意图。

2)运动想象意图分类器

本文采用支持向量机(support vector machine, SVM)对患者运动想象的脑电信号进行分类。SVM的核心思想是寻找一个超平面(间隔)，使不同类样本在特征空间上的间隔最大,然后，将新数据映射到同一空间,设线性可分的脑电样本集为

(si,li),i=1, 2,…,n。

(3)

其中：si为第i个样本；li为该样本所对应的类别，且li∈{-1,1}，n为样本总数。

其决策平面为超平面为

g(s)=ks+b=0。

(4)

其中，k为权重，b为分类阈值。根据样本数据落在间隔的哪一侧从而判定其所属的类别。

2.4 患者运动想象检测

在线测试阶段,患者同样根据自己的运动意图进行运动想象,通过在线系统理解患者的运动意图后,在VR虚拟场景中以动画的效果通过虚拟人物运动状态来反馈患者当前想象的运动意图结果,患者可以实时观察VR场景中虚拟人物的运动来调整后续状态。

在线测试过程中对患者脑电信号的预处理和离线训练过程中脑电数据预处理相同,分别从时域和频域多层次进行滤波,去除患者脑电信号基线漂移和工频干扰等。然后以窗长200 ms,步长200 ms的滑动窗口对患者原始的脑电信号进行分片处理,接着提取患者脑电的共空间模式CSP特征,将提取到的特征再送入离线训练好的SVM分类器，识别患者的运动意图。

在滑动窗口分片处理、特征提取和SVM分类后,本系统还设计了一种独特的后处理方法。将患者最后的若干次意图理解结果加入由循环队列构成的运动想象意图理解决策池,统计出患者最大预测概率对应的运动意图。如果该最大概率大于系统设定的阈值,在线运动想象运动意图的理解将输出该运动意图,患者可以实时观察到VR场景中虚拟人物的运动,调整后续状态;反之,则继续累计最新的决策结果,直至得到足够确信的运动意图理解才输出检测结果。本系统分别设置运动想象意图理解决策池大小为2,判定阈值为2。具体在线运动意图理解算法如算法1所示。

如算法1所示,患者在进行运动想象后,系统实时接收脑电信号数据,获得一定长度患者的脑电信号后,利用已训练的特征提取和分类模型计算患者的运动意图,并将该运动意图加入决策池,然后统计决策池中出现概率最大的决策结果。如果该结果对应概率大于决策阈值,则系统理解为相应的运动意图,更新虚拟现实场景动画,患者通过观察虚拟人物的运动结果来训练自己运动功能,随后进入下一片段脑电信号处理流程;反之,不输出运动意图理解结果,直接进入下一段处理流程。因此,在加入运动想象意图理解决策池后,只有系统足够确信时才会输出决策结果,而不是定时输出。

算法1在线运动意图理解算法

输入:运动想象意图理解决策池大小,决策阈值

step1 初始化运动想象意图理解决策池的大小；

循环step2～7：

step2 接收脑电波数据片段；

step3 计算CSP特征；

step4 SVM分类；

step5 加入决策池；

step6 计算最大概率运动意图对应概率；

step7 if运动意图最大概率>决策阈值，输出运动意图。

3 实验结果

为了测试本文所设计的基于镜像神经元理论的便携式MI-VR BCI康复系统的轻量便携性、感知患者运动想象能力、反馈动画沉浸度,以及在线实时反馈等方面的实现情况,并验证该康复系统的可行性，本文招募了10名平均年龄为23岁的在校大学生作为被试(模拟患者)进行实验,其中，包括6名男性和4名女性。实验前告知被试实验目的、方法以及实验流程等细节,并签署被试知情同意书。实验时需要调节电极阻抗至10 kΩ以下,脑电帽电极为湿电极,采样率为1 000 Hz。所有实验均采用8导的便携式脑电帽进行,采集与运动神经相关的8个脑电通道,包括F3、F4、FZ、C3、C4、P3、P4和PZ,选用便携式脑电放大器放大脑电信号,VR眼镜采用轻量化的EPSON(爱普生)BT-30C型号眼镜,计算平台为ARM Android平台。

3.1 运动想象模型离线性能测试

在离线过程中,共设置180试次实验,并为防止被试在长时间实验过程中产生疲劳,每90试次后被试将休息3 min,单个试次实验流程如图3所示。实验采集到被试想象左腿屈曲、右腿屈曲和空闲状态的EEG数据各60试次。180试次后,屏幕示意结束。180试次中每个试次时长是固定的,先对采集到的信号按事件标记进行切片,然后按照8∶2划分训练集与测试集,进行离线的测试,分类器按事件标记后200 ms固定时长输出结果,其离线性能如表1所示,10名被试离线的平均准确率为56.84%。不同被试受自身在离线过程中注意力集中度和运动想象程度等因素的影响。

表1 10名被试离线的准确率Tab.1 The accuracy of offline for 10 subjects

3.2 系统在线性能测试

与离线不同,在线阶段对接收到的EEG信号增加了后处理操作,且增加了VR动画功能。在线时,系统会不间断地实时获取接收解析被试的EEG信号,然后经过后处理操作进行判断，得到被试足够确信的运动意图理解,当系统检测出被试此刻正在想象左腿屈曲时,VR场景中正在跑步的虚拟人物则会向左拐跑步;当系统检测出被试在想象右腿屈曲时,虚拟人物则会向右拐跑步;当检测出空闲状态,VR中的虚拟人物保持当前行进方向不变。被试在测试时随机想象3种状态共30次,然后记录被试所想象的状态是否和VR场景中虚拟人物的运动状态一致,最后，计算10名被试在线的平均准确率为86%,其结果如表2所示。在线跟离线相比增加了后处理操作和VR动画,带有后处理的在线性能高于离线单纯分类器性能。

在实验过程中,给患者(被试)所佩戴的设备轻量且便携,极大减少了对患者的干扰,使患者处在一个舒适的环境中。由表1和表2可知,离线的平均准确率为56.84%,在线的平均准确率为86%,在线测试时增加了后处理过程,只有在置信度足够高时才输出,使得检测的结果更为可信,且增加了实时的VR场景给予患者观察,从而提升系统的性能。系统形成“患者想象、系统检测、VR动画、患者观察”实时闭环,患者可以根据实时观察到VR中虚拟人物的行为，有针对性地调整后续状态。该康复系统中高沉浸的VR环境促进了患者镜像神经元的激活。实验表明,本文所设计的轻量便携康复系统能够较好地实现系统的各种功能,且顺利达成所设计的实验，验证了系统是可行的。

表2 10名被试在线的准确率Tab.2 The accuracy of the online for 10 subjects

4 结语

针对基于镜像神经元理论的运动康复,本文选用廉价和便携的设备以BCI和VR技术为基础,设计了一套可以精确感知患者运动想象程度和即时高沉浸地展示患肢运动的康复系统。通过在实验室模拟场景对正常人进行实验,本文验证了系统能在患者正确想象患肢运动后在VR场景中展示对应侧患肢运动供患者观察,多次激活镜像神经元系统,最终达到康复效果。本系统轻量便携、造价低廉、感知患者运动想象精确、反馈动画沉浸度高,对患者便捷使用及康复有很大意义。