一种脑肢融合的神经康复训练在线评价与调整方法

舒智林 李思宜 2 于宁波 朱志中 巫嘉陵 韩建达

“脑卒中”又称 “中风”,是脑部血管破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的疾病,发病率高、复发率高、死亡率高、致残率高.我国脑卒中患者数量众多,而且近年来随着人口老龄化在快速增加.2011 年 《中国脑卒中康复治疗指南》 估计我国每年新发脑卒中200 万例[1],2017 年北京天坛医院的流行病学调查估计我国每年新发病例达240 万,是致残的首要疾病之一[2].由于康复资源受限、后期康复不力等原因,我国的脑卒中致残比例远高于发达国家,60%～70%的患者会产生运动功能障碍,带来沉重的家庭、社会和经济负担[1−2].基于神经系统可塑性,康复训练可以帮助病人部分甚至全部恢复曾经丧失的功能,这已经被循证医学和神经科学研究所证实[3−5].机器人技术进入康复领域,通过末端牵引式、外骨骼式等本体系统,示教式和 “按需辅助”等康复方法,为患者提供高强度、可重复、可量化的康复训练,已经成为神经康复的重要力量[4,6−7].

在脑卒中患者康复训练中,保持患者积极主动参与、提供适配其运动能力的训练难度,对于取得良好的康复效果至关重要.但是,病人的神经康复过程具有动态性的特点,即使在同一阶段其运动控制能力也会出现波动.而且,康复训练过程一般较长,患者容易懈怠甚至出现惰性效应,这已经成为抑制临床康复效果的瓶颈因素[8−10].特别是康复机器人依照 “按需辅助”适应性算法为患者提供帮助的情况,虽然可以帮助患者完成更多的重复性训练,但患者的主动参与程度却可能会降低,因为 “按需辅助”适应性算法无法准确区分患者究竟是运动能力较弱还是主动参与程度降低[11−13].因此,如何检测并量化患者的状态和表现、确定其实际的辅助康复需求,进而实现对训练任务的在线调整,就成为当前神经康复的一个关键问题[13−14].

在当前的研究中已经有国内外学者针对这一问题进行了探索.瑞士苏黎世联邦理工学院Metzger 等设计了基于任务完成情况对训练任务难度进行调整的方案,可以使患者的训练表现维持在一定区间[15].美国南加州大学Choi 等在6 种抓取任务的基础上,根据受试者完成前一个任务的表现来调整当前任务难度,并针对5 位中轻度脑卒中患者开展了可行性实验[16].清华大学和荷兰代尔夫特大学Li等设计了一个对运动控制、感知、认知和情绪等方面主动参与水平进行监测的系统[17].中科院自动化研究所Wang 等通过面部表情和肌肉疲劳度来检测心理和生理状态并对训练任务进行调整[18].南京邮电大学Xu 等基于面部肌电、心电、皮肤电传导和呼吸等情绪生理响应,设计分类器,对受试者执行任务时的情绪进行识别,并根据其焦虑程度对任务难度进行调节[19].但是,在目前研究中的康复训练任务尚没有将受试者的脑激活情况与肢体运动情况进行综合考虑,没有建立系统的在线调整策略.

上肢远端腕手的灵巧操作需要神经系统的精细运动控制能力和感知运动协调能力,这是康复训练的重点和难点[15].在执行运动控制任务时,视觉和触觉等信息通过神经通路传递到大脑.中枢神经系统将信息进行综合、处理并发送运动控制命令,从而以最小的误差、最优的努力,高质量完成任务.脑电(Electroencephalography,EEG)检测以时间分辨率高和采集设备便携易用等优点,已经被广泛应用于神经系统活动的分析,可以通过EEG 信号来分析人在任务执行过程中的大脑活动,获得其神经参与程度[20−22].另一方面,归一化急动度和任务评分的指标能够客观评价患者在康复训练中的肢体运动控制能力和任务完成情况.

在本文工作中,我们设计上肢灵巧操作任务.从神经参与程度、运动控制能力和任务完成情况三个方面对受试者的状态和表现进行在线量化评价,进而基于评价结果,在任务级和任务内两个层次对任务操作难度、辅助或干扰力场以及视觉辅助等参数进行在线调整,从而为提升神经康复训练效果提供了一种脑肢融合的解决方案.

1 系统与任务设计

1.1 系统总体设计

本文所设计系统的整体示意图如图1 所示.在实验过程中,力触觉设备Omega.7 提供的力触觉反馈信息和计算机提供的视觉反馈信息通过人体感知系统传递到受试者的脑部中枢神经,处理分析后得出运动控制命令,然后发送给上肢进行操作.通过与Omega.7 抓手的力与位置交互,受试者可以进行灵巧操作.运动控制的数据通过Omega.7 传递给计算机,控制虚拟环境中目标物体的运动.同时,在整个任务中使用Biosemi ActiveTwo 采集受试者的脑电信号,并将数据传递给计算机实时处理与分析.由此,可以实现受试者的手功能训练,并同时测量任务执行过程中受试者的脑电信号以及手部的运动信息.

图1 系统整体设计示意图Fig.1 Illustration of the overall system design

力触觉设备Omega.7 有包含抓取在内的7个自由度,其中包含抓取和平移的4个自由度能够提供力反馈[23].Biosemi ActiveTwo 为荷兰Biosemi公司生产的脑电测量设备,其包含32个通道,采样频率为256 Hz.

大脑皮层的空间位置和相应的主要功能如表1所示.本文工作中,主要关注认知和自主运动控制功能,因此主要关注额叶的EEG 信号,采用AF3、AF4、F3、F4、F7、F8、FC5 和FC6 这8个通道的EEG 信号.

表1 大脑皮层位置分区及功能表格[24]Table 1 The regions and functions of the cerebral cortex[24]

1.2 康复训练任务设计

基于日常生活中常见的挤番茄酱动作,设计了包含辅助视窗的操作任务虚拟场景,如图2 所示.这一任务和场景,与生活中的很多动作有共性,可以方便的应用和推广.

图2 操作任务虚拟场景和辅助视窗Fig.2 The manipulation task scenario with visual assistance

辅助视窗可以放大虚拟场景中的局部场景,使受试者可以更清晰地观察番茄酱瓶的位置和状态.在任务中,受试者需要操纵Omega.7 抓手以控制虚拟场景中的手部模型和番茄酱瓶.当番茄酱瓶口从起始位置沿着设定的虚拟轨迹移动至终点位置时,即算完成一次任务.虚拟轨迹由一定数量的白色小球组成,若番茄酱瓶瓶口与球中心点的偏差在指定范围内,则认为在该小球处番茄酱顺利滴下,小球颜色由白变红.反之,小球变为黑色,表示此处任务没有成功.

1.3 任务难度设置

任务难度从以下三个方面进行设置.

1)辅助力/干扰力场.在受试者执行操作任务的过程中,系统可以通过Omega.7 具备的力反馈功能给受试者施加辅助或干扰力.辅助力由两部分组成:

其中,Fa1表示沿轨迹切线向前的力,Fa2表示垂直于切线、指向球心的力.两者的大小通过式(2)表示:

其中,k1和k2为给定常数,d1和d2分别表示番茄酱瓶口位置与轨迹上目标位置(球心)在切线方向上和沿切线垂直方向上的距离.

本文中干扰力场的设计是路径控制的一种形式.路径控制策略根据受试者的运动情况给予受试者相应的辅助或干扰力,而力场就是这一策略的一种具体形式[25].本文中的干扰力场为球形力场.当番茄酱瓶经过轨迹上的球形力场区域时,受到指向力场球心的干扰力,其大小定义为:

其中,Fd表示干扰力,Fmax表示施加干扰力的最大值,R表示干扰力场的半径,d表示番茄瓶口与干扰力场球心的实际距离.

按照有无辅助力和干扰力将难度由易到难分为3个等级,如表2 所示.

表2 辅助/干扰力等级设置Table 2 Assistance/disturbance force level settings

2)视觉辅助.基于视觉提供误差反馈是一种常见的调节任务难度的手段[26−27].在本文中,按照是否在辅助视窗处提供番茄酱瓶口附近的局部放大场景,将难度由易到难分为2个等级,如表3 所示.

表3 视觉辅助等级设置Table 3 Visual assistance level settings

3)虚拟轨迹.为了保证虚拟轨迹的平滑度,采用二重埃米尔特插值的方式构建虚拟轨迹.轨迹的长度均相等,按照虚拟轨迹的复杂程度进行难度分级,复杂程度通过虚拟轨迹在切线上的角度变化来体现.其中等级1、2、3 用于训练任务,等级X用于实验前后对受试者的测评,如表4 所示.

表4 虚拟轨迹等级设置Table 4 Virtual track level setting

辅助/干扰力场被设计集成在虚拟场景中.力场一直都存在、分布在任务空间中.通过对力场参数的在线调节,可以使力场表现为辅助力、干扰力或零力.这可以通过调用CHAI3D 软件库,协调虚拟场景和Omega.7 力反馈设备,在任务中具体实现[23].Omega.7 设备的力反馈性能保证了人机交互的流畅性.

2 脑肢融合的在线评价方法

2.1 神经参与程度指标

人的脑波主要分为4 种,研究表明其与人的状态强烈相关,如表5 所示[28−29].

表5 脑波频段对应的人体状态[28−29]Table 5 Brainwave bands and corresponding human states[28−29]

任务中的神经参与程度可以用式(4)估计:

其中,Eα、Eβ和Eθ分别代表对应频段的能量;E表示用于估计参与程度的指标,这一指标被广泛应用于不同任务中对受试者神经参与程度的估计[30−32].

本文中利用测得的脑电信号,经过处理计算后可以得到参与程度指标,如图3 所示.首先对脑电信号进行预处理.使用1～80 Hz 带通滤波器滤除环境噪声,使用陷波滤波器去除工频噪声.然后用快速傅里叶变换(Fast Fourier transform,FFT),将经过预处理得到的时域EEG 信号转化到频域.快速傅里叶变换的时间窗为2 秒,时间步长为0.5 秒.进而将频段中各点的能量相加得到频段能量,计算方法如式(5):

图3 参与度指标计算流程Fig.3 The calculation process of the engagement index

其中,Ep为p频段的频段能量,F(ω) 为时域脑电信号f(t) 的快速傅里叶变换,pl和ph分别为该频段的最低频率和最高频率.计算各频段能量后,通过式(4)计算得到参与程度.由于不同受试者参与度水平不同,对各受试者将E进行归一化处理.公式如式(6):

其中,Enormalized表示归一化后的参与度指标,Emax和Emin分别表示E的最大值和最小值.

脑电信号容易受到眼电、肌电等伪迹的干扰.常见的去伪迹方法难以满足本研究中在线测评的实时性要求,而且已经有研究在未特别针对眼电和肌电伪迹进行处理的情况下实现了对神经参与程度的有效测评[30,33].因此,本文工作中没有特别进行去伪迹处理,而是明确告知受试者在任务过程中不要眨眼.根据观察,每次任务的时间为20～60 秒,受试者在完成任务的过程中注意力比较集中、眨眼次数很少,可以认为眼电干扰影响很小.而且,采用1～80 Hz 的带通滤波也能减小肌电等伪迹的干扰.

2.2 运动控制能力和任务完成表现指标

对于受试者的运动控制能力评价,采用归一化急动度指标.对于任务完成表现,采用任务评分.

1)归一化急动度(Jnormalized)由式(7)定义[34−36]:

其中,j、t与l分别表示急动度、运动时长与运动路径长度.Jnormalized越小,表征上肢远端运动轨迹的平滑度越高,存在较少的速度突变.

2)任务分数(Tscore)由式(8)定义:

其中,Nsuccess为一次训练任务中番茄酱瓶准确穿过的小球数,Dability表示实验前能力测评任务的完成时间,Dtrial表示每一次训练任务的完成时间.Dability/Dtrial表示归一化处理,可以防止由于受试者不同所带来的偏差.每次训练任务均会产生一个任务分数.

3 训练任务的多层次在线调整策略

3.1 任务调整总体框架

为保持受试者的状态和表现在合适范围内,本文基于神经参与程度、运动控制能力和任务完成情况三方面评价,设计训练任务的在线调整策略.总体流程如图4 所示,其中ER、NR和SR分别为神经参与程度、运动控制能力和任务完成情况的阈值.

图4 康复训练在线评价与调整流程图Fig.4 The flowchart for online assessment and adjustment of the rehabilitation training

在确定在线或实时调整的参数时,既要考虑这些参数是否能够被实时调整,还要考虑需要让受试者对任务有明确的预期和判断.因此,轨迹等级、位置精度要求在同一个任务内是确定的,可在当前任务结束之后、下一个任务开始之前对其进行调整.辅助/干扰力、视觉辅助可以进行瞬时调整,因此划分到任务内调整.

在实验前测评任务阶段,根据受试者的表现确定初始的位置精度要求(Aoffset).进入训练任务阶段,根据受试者状态和表现对任务参数进行在线调整,调整策略由任务级调整策略和任务内调整策略两部分组成.其中,任务级调整策略通过对受试者任务完成情况的评价,调整虚拟轨迹等级(Lcurve)和对位置精度的要求;任务内调整策略通过对受试者神经参与程度和运动控制能力的评价,调整辅助/干扰力等级(Lforce)和视觉辅助等级(Lvision).

3.2 任务级调整策略

具体的任务级调整策略流程如图5 所示,对于第一个训练任务,所有任务等级均设置为1.当受试者完成一个训练任务后,若其任务分数Tscore在设置范围内,则不调整任务参数.若Tscore不在设置范围内,查看当前Lcurve是否存在可调整空间.若存在,则按照期望规则进行调整.

图5 任务级调整策略Fig.5 Inter-task adjustment strategy

1) 当分数大于SRmax且Lcurve等级不为3 时,提高Lcurve一个等级;

2) 当分数小于SRmin且Lcurve等级不为1 时,降低Lcurve一个等级.

若Lcurve不存在调整空间,则判断前一次任务的虚拟轨迹等级(Lcurve(last))和此次任务的Lcurve是否相等.若两者不相等,则不调整Aoffset.若两者相等,则按照如下规则对Aoffset进行调整:

1)Lcurve为1 时,则Aoffset=Aoffset+delt;

2)Lcurve为3 时,则Aoffset=Aoffset−delt.其中,delt取值由开环任务确定.

3.3 任务内调整策略

任务内的调整策略流程如图6 所示.将每个任务分成若干个5 秒的任务阶段,以任务阶段为单位对辅助/干扰力等级和视觉辅助等级进行动态调整,即以本阶段受试者的神经参与程度和运动控制能力调整下一阶段的任务参数.其中,神经参与程度指标的分辨率为0.5 秒,阶段的取值为多个小段的平均值,而运动控制能力指标会在阶段结束后进行计算.任务等级通过开环任务确定,具体分级如图6 所示.

图6 任务内调整策略和任务等级设置Fig.6 Intra-task adjustment strategy and task level setting

若神经参与程度和运动控制能力均在设置范围内,则不调整任务分级.当出现两个指标中存在一个指标不在期望范围的情况时,若Enormalized大于期望范围或者Jnormalized小于期望范围,则向上调整一个等级;反之则向下调整一个等级.当两者均不在设置范围内时,若两者在同侧,则不调整任务等级;当两者在不同侧时,若Enormalized大于期望范围且Jnormalized小于期望范围,则向上调整两个等级,反之则向下调整两个等级.

4 实验结果与分析

4.1 实验对象和流程

本文实验有两类.第一类为参数确定的 “开环”实验,操作任务的参数确定、任务序列以伪随机方式生成.第二类为基于在线测评和参数自适应动态调整的 “闭环”实验,操作任务的参数根据在线测评结果进行动态调整.

16 名健康受试者参与实验,均为右利手,且均无已知神经和物理损伤.在参与实验前均签订知情同意书.其中8 人参加开环实验,8 人参加闭环实验.两组实验的参与人员完全没有重合,并且受试者在实验前只会被告知实验的操作流程和注意事项,不会被告知实验目的,以避免主观因素的影响.而且,明确告知受试者在任务过程中不要眨眼.

实验流程包括前后两次实验测评和20 次操作任务,如图7 所示.受试者首先进行实验前测评.这类任务对位置偏差不作要求,其参数为:辅助/干扰力等级为2,视觉辅助等级为1,虚拟轨迹等级为X.在5 秒后开始进行训练任务,训练任务中对于位置偏差的要求根据实验前测评结果来确定,每个训练任务间的间隔也为5 秒.最后在受试者充分休息后,进行实验后测评,其任务参数设置与实验前测评相同.

图7 实验流程.开环实验中,操作任务参数确定、任务序列以伪随机方式生成;闭环实验中,操作任务的设置根据在线测评结果动态调整Fig.7 The experimental procedures.The task configuration was fixed and the task sequence was pseudo-randomly produced in open-loop experiments,while adapted online based on assessment results in closed-loop experiments

4.2 参数确定的 “开环”实验和结果

由于任务完成情况受到任务参数的影响,因此可以采用多元回归分析拟合两者间的线性关系[37].进行线性拟合的原因主要是为了确定视觉辅助等级和辅助/干扰力等级对于任务分数的影响大小,进而确定任务内调整策略中任务等级的设置.根据不同任务等级下的开环实验结果,可以拟合受试者任务完成情况与任务参数间的关系:

将开环任务参数和对应的完成情况代入,利用最小二乘法进行求解,可得到如下表达式:

系数m1、m2和m3的符号表明,任务轨迹、视觉辅助和辅助/干扰力的难度越高,任务得分越低.三个系数的大小说明,视觉辅助等级对于任务分数的影响最大,辅助/干扰力等级次之.因此在任务内等级设置中,将视觉辅助等级作为难度更高的等级.

根据开环任务中的任务分数情况,设定分数段S 为Tscore<40,分数段M 为 4 0≤Tscore<100,分数段L 为Tscore≥100.三个分数段下受试者神经参与程度和运动控制能力指标如图8 所示.可以看出,任务表现分数Tscore越高的情况下,受试者神经参与程度Enormalized越高,归一化急动度Jnormalized越小,亦即运动越平滑、运动控制能力越好.将神经参与程度和归一化急动度指标在S 分数段和L 分数段的均值,作为闭环调整策略中的神经参与程度和运动控制能力的期望阈值ER和NR,上下阈值之间的区间即为期望区间.对于神经参与程度,其期望区间为 −0.0069 至0.0367.当受试者的神经参与程度值低于下限时,说明受试者的主动性下降;当值高于上限时,则说明受试者的主动性提高.而对于归一化急动度,其期望区间为 −2 054 至5 409.当归一化急动度值低于下限时,说明受试者运动质量提高;当值高于上限时,说明受试者运动质量下降.而任务分数阈值SR的区间为分数段M 的区间,即上下阈值分别为100 和40.

图8 参数确定的 “开环”实验结果((a) 神经参与程度;(b) 归一化急动度)Fig.8 Results of the open-loop experiment with fixed task configuration ((a) neural engagement;(b) normalized jerk)

4.3 基于在线测评和参数自适应动态调整的 “闭环”实验和结果

首先从虚拟轨迹等级的角度说明训练任务的完成情况.图9 为闭环实验中一位受试者的虚拟轨迹等级的变化情况.当受试者完成一次训练任务后,下一次任务的虚拟轨迹等级由该次任务分数按照任务级调整策略确定.图10 为受试者一次训练任务内的任务参数变化情况.根据神经参与程度和归一化急动度指标,每5 秒一次按照任务内调整策略对接下来时间段的任务参数进行调整.

图9 闭环实验训练任务中虚拟轨迹等级变化Fig.9 Changes of virtual track levels in training trials of closed-loop experiments

图10 单次训练任务的完成情况Fig.10 Completion of a single trial

对比分析开环和闭环实验中的神经参与程度,结果如图11(a).对归一化后的神经参与程度指标进行减基线处理,将受试者在训练任务中的神经参与程度减去实验前测定任务中的神经参与程度,获得指标的相对变化.采用t 检验进行统计学分析,闭环实验中受试者的神经参与程度相较于开环实验显著增高(p<0.05).

对比分析开环和闭环实验中的归一化急动度,以反映受试者的运动控制能力.图11(b)为开环和闭环实验中前后测评任务中的归一化急动度对比.可以看出,开环实验前、后的测评任务中,运动控制能力并没有显著区别(p=0.742).而在闭环实验前、后的测评任务中,归一化急动度在训练后显著下降(p<0.05),表明闭环实验有效提高了运动控制能力.

开环和闭环的任务完成情况指标对比分析如图11(c)所示,任务分数没有表现出显著区别(p=0.363).这表明,本文的在线调整策略能有效地使任务难度适配患者的能力,使任务难度一直保持适当的挑战性,因此使得开闭环的任务分数差异并不明显.

图11 开环和闭环实验指标对比((a)神经参与程度;(b)归一化急动度;(c)任务分数)Fig.11 Comparison of indexes in the open-loop and closed-loop experiments ((a) neural engagement;(b) normalized jerk;(c) task scores)

4.4 结果分析与讨论

康复训练需要使任务难度适配患者运动能力、让患者主动参与.本文工作基于 “按需辅助”原则,对受试者在执行训练任务时的状态和表现从神经参与程度、运动控制能力、任务完成情况三个层面进行在线评价,进而对训练任务的操作难度、辅助或干扰力场以及视觉辅助三个方面进行任务内和任务间的自适应调整.结果表明,本文的在线评价和任务调整方法使得任务难度适配受试者的运动能力,受试者更加积极主动参与,并取得了更好的任务效果.

开环实验的主要目的在于确定任务完成评分与各任务参数之间的关系以及闭环实验中阈值等实验参数.从式(10)可以看出,视觉辅助等级对于任务分数有显著影响,因此在图6 的等级设计中将视觉辅助等级作为一个可调整参数.从神经参与程度、运动控制能力和任务完成情况指标的交叉分析中可以看出,受试者的参与程度越高,运动控制能力越强,任务分数也越高.

对于任务难度的调整,可以在任务级进行,在受试者完成一次任务后调整后续任务的难度;也可以在任务内进行,在受试者完成任务过程中对任务难度进行调整.本文结合这两种调整方式,从两个层次对任务难度进行调整.从开闭环的实验结果对比中可以看出,在存在调整策略的情况下,受试者的神经参与程度相较于随机任务难度的情况出现了显著上升.这说明,调整策略通过自适应地调节任务难度,在保证任务具有挑战性的基础上,有效调动了受试者的主动性,使得受试者更加专注于康复训练.通过实验前后测评任务的对比可以看出,开环实验中的归一化急动度前后并未发生显著变化,而这一指标在闭环实验中出现了显著的下降,表明受试者的运动控制能力得到了提高,从而进一步证明了在线调整策略的有效性.

本文中的康复训练系统将受试者的状态和表现作为调整的一部分,与 “人在环中”的思想一致[38].闭环实验结果也表明了本文设计的在线调整方式的有效性.

5 结论与展望

本文针对患者在长期康复训练过程中易懈怠、运动能力会发生动态变化等挑战,基于脑卒中致残机理和 “按需辅助”康复原理,系统地提出了一种脑肢融合的神经康复训练在线评价与调整方法.从脑、肢体以及训练任务三个层面对患者的状态和能力进行量化评价,进而对康复训练进行任务内和任务间的动态调整.通过设计的手功能训练任务,开展开环和闭环实验,结果充分证明了本文方法的可行性和有效性.

在未来工作中,我们将进一步考虑更多能够充分衡量运动质量的指标,如速度与曲率的比值[39],探讨和融入运动中枢等神经康复相关脑电通道信号以充分考虑大脑的功能和状态[40],深入探究神经参与度等脑功能指标阈值的个性化设定方式,构建面向患者的神经康复在线闭环调整策略,并开展临床试验.