基于虚拟现实的下肢主被动康复训练系统研究

郭晓辉,王晶,杨扬,张鑫,徐光华

(1.西安交通大学机械制造系统工程国家重点实验室, 710049, 西安;2.西安交通大学机械工程学院, 710049, 西安)



基于虚拟现实的下肢主被动康复训练系统研究

郭晓辉1,2,王晶1,2,杨扬1,2,张鑫1,2,徐光华1,2

(1.西安交通大学机械制造系统工程国家重点实验室, 710049, 西安;2.西安交通大学机械工程学院, 710049, 西安)

针对传统下肢康复训练中病人参与度低、无法产生主动运动意图等问题,设计实现了基于虚拟现实的下肢康复训练系统。基于大脑镜像神经元和神经可塑性理论,利用Matlab和Labview等软件实现数据实时通信与反馈处理,结合虚拟现实场景建模和动画脚本编辑的方法,通过3D视觉和听觉等效果作用于患者神经中枢,形成信息传递的封闭回路,以实现对受损神经中枢的主被动协同刺激,激发大脑运动区镜像神经元,强化自主运动意图。研究结果表明,该系统能辅助患者完成主被动模式下的康复训练,并在训练中为患者提供深度虚拟环境的视觉交互,大大增强了康复训练中对受损神经中枢的刺激,提高了患者的训练效率和积极主动性。该技术在神经中枢损伤的康复领域有一定的应用前景。

下肢康复训练系统;视觉交互;虚拟现实

随着社会老龄化的加剧,脑卒中发病率呈上升趋势。据统计,我国城乡居民脑卒中的患病率为每10万人中约400～700例,致死率为每10万人中约130例。以我国13亿人口计,可推算出每年脑卒中病死者超过150万例,生存者约为600～700万[1-2],其中由脑卒中所引发的下肢运动功能障碍的患者占有很大比例。近些年,康复机器人的研究成为国际社会研究的新热点[3],目前下肢康复训练主要由机器人通过被动训练帮助患者进行步态运动练习。文献[4]开发了名为Lokomat的步态训练机器人,文献[5-6]研制出一款下肢外骨骼康复机器人,文献[7]开发出一套斜躺轮椅式下肢康复训练机器人,并辅助以按摩、针灸、物理治疗、功能电刺激等治疗方法。这些训练治疗方法相互独立并且单个治疗方法功能单一、枯燥,缺乏个性化,过分依赖医护人员技术水平,未能很好地满足神经系统康复的需求。

根据人体大脑神经可塑性理论[8]、镜像神经元理论[9]和持续被动训练理论[10],丰富的训练环境可以促进康复的进程[11-12]。有研究表明,如果能够在训练过程中提供多种形式的信息反馈,充分发挥患者的主观能动性,并根据患者状态给予暗示或建议等,将会使康复效果得到很大提高[13-14]。近年来,虚拟现实(VR)技术不断发展成熟,为在传统训练条件下拓展训练环境、增强和丰富训练过程中对神经中枢的刺激提供了新的途径,同时也为现代康复医学的发展提供了新的思路[15]。简言之,虚拟现实是由计算机产生的给人以沉浸感的虚拟环境,是一种多源信息融合交互的三维动态视景和实体行为的系统仿真[16]。

目前,单一的下肢康复训练和单一的虚拟现实环境刺激均只能完成对受损神经中枢被动或者主动的刺激。这种由患者克服系统阻尼带动康复床运动的主动训练模式和由下肢康复训练系统带动患者患肢重复运动的被动训练模式都只是单一方向上的,未能形成信息传递的封闭回路以实现对受损神经中枢的主被动协同刺激。

基于以上的社会背景和理论思想,本文针对单自由度下肢康复训练系统,利用3ds Max建模工具和VRP虚拟现实软件,在Labview、Matlab环境下构建了一个基于虚拟现实的下肢康复主被动人机交互训练系统。该系统将下肢康复步态训练机构的运动信息作为控制量,用于虚拟场景动画的控制,然后通过虚拟场景动画将步态训练的过程以视觉的形式反馈给患者,帮助患者以更主动、更高效、更轻松和更易于理解的方式进行下肢康复训练。

1 下肢康复虚拟训练系统总体设计

本文以脑卒中下肢偏瘫患者为康复对象,利用虚拟现实技术,开展虚拟康复训练技术研究。本文设计的系统应能满足以下要求:

(1)康复训练床满足基本主、被动训练的康复需求,并且易于功能拓展以实现训练参数的实时反馈和控制信号的输入;

(2)虚拟现实系统能够营造沉浸感和现实感较高的虚拟场景;

(3)可实现虚拟场景与康复床的交互控制,以及场景动画随患者协同运动;

(4)能够安全、稳定和长期工作,不给患者造成额外心理负担;

(5)尽量选用能够保证技术要求又节约成本的设备和软件。

2 训练平台选择及控制系统改造

2.1 训练平台选择

依据主被动结合式的训练模式[17]等研究的实际需求,选购了河南安阳翔宇医疗设备有限公司设计生产的XYKXZFK-9型卧式下肢反馈训练系统,实物如图1所示。

图1 翔宇XYKXZFK-9下肢反馈训练系统

2.2 控制系统改造

研究中使用的下肢康复训练系统为按需求购置的整机,没有预留外部数据接口。为实现患者下肢的步态训练数据实时返回,以用于对虚拟现实场景中的人物进行控制,需要对康复床的控制系统进行改造,本研究中使用Labview来搭建下肢康复训练系统的上位机控制程序。图2为下肢康复训练系统上位机主控制程序的一般流程。

图2 上位机主控板控制流程图

利用串口助手对机器人的通信串口进行测试。通过串口调试助手分别接收上位机主控板向下发出的控制指令和下位机控制器向上返回的状态数据。

上位机的控制指令信号和下位机的返回信号的格式相同,均有起始位、中间位和结束位3部分正序组成。下位机返回信号的编码较为简单,一组信号由14位16进制数构成。起始位固定为AA,结束位固定为ED,中间12位分别表示康复床步态训练时各参数的状态值,例如第5位和第6位分别表示了当前左脚和右脚步态训练的角度。如图3所示,当前左脚训练时的角度为28°,右脚角度为3°。

图3 下位机返回数据编码结构

基于对下肢康复训练系统通信数据的解码,利用Labview软件编写了下肢康复训练系统的上位机控制程序,设计了相应的人机交互界面,如图4所示。

图4 基于Labview的康复床上位机程序人机界面

人机交互操作界面主要包括“启动”、“停止”等功能键区,患者活动范围设置区,运动参数设置区和状态指示及运动曲线显示区。其中,活动范围设置区分为2部分,可以针对不同程度的患者分别设置左、右腿的训练角度在0°～50°的整数值之间取值。运动参数设置区分为3部分:步频和治疗时间部分可以针对不同患者的康复需求设置不同的步速和康复训练时间,真正做到个性化治疗以获得更好的康复效果;痉挛灵敏度部分分别设置左、右腿的灵敏度,在康复训练过程中起到安全保护性的作用;间歇时间和痉挛后的减速值部分可以视每一位患者的具体情况设置不同的阈值,不仅可以达到患者舒适性的要求,更能激发和维持患者康复治疗的积极主动的意念,很好地完成运动神经回路的康复及其重建。

启动程序后,出现欢迎界面并提示相关操作,开启背景音乐;然后进入交互训练部分,人物行走过程中经历与路人交谈(文字与声音提示)、动作转换和过马路等动作行为;最终到达护士模型处,完成在第一个场景中的训练,在该处系统等待外界控制信号,以判断是否进入下一个训练场景。下一个场景为自然公园环境,闭环路径。在路径的中点行走动作转换为单脚原地踏步动作,1 min后自动变换行走动作,直至路径终点。在场景中有文字信息提示的地方,在显示文字的同时辅助以角色音效,并且在整个虚拟场景漫游过程中,设置轻快或舒缓的背景音乐,以增强患者的体验。

为了更好地对步态训练的状态数据进行处理,以转化为虚拟场景动画的控制信号,研究中在对反馈数据进行解码显示后,通过构建TCP/IP(传输控制协议/因特网互联协议)通信,将数据发送至第三方工具Matlab进行进一步处理。

利用TCP/IP技术在同一台电脑上的不同软件之间建立通信,Labview作为服务器,不断产生和发送数据,Matlab作为客户端,不断向上请求接收数据。在Labview操作界面的菜单栏“函数选板→数据通信→协议→TCP”中包含有TCP侦听,建立连接,读、写入数据,关闭连接等多个函数,可以根据设计需求构建符合要求的服务端程序。通过循环结构将数据不断地写入TCP(传输控制协议),本程序中设置100 ms的写入延时作为步态训练角度值的二次采样频率。程序流程如图5所示。

图5 Labview中TCP/IP数据通信

3 基于Matlab的控制信号转换

利用Matlab软件强大的数值计算能力,实时接收步态训练数据的同时完成对其的转换处理,实现控制信号的不断更新。

3.1 步态样本数据获取

要同时获取当前训练时下肢康复训练系统左、右步态训练机构的角度,必须在Labview中对左、右脚的角度值进行编码,以便于TCP在一次通信过程中发送两个角度值,同时Matlab接收并将左、右脚的角度值分别开。Labview中角度的编码格式见图6。在Labview的TCP/IP通信中,字符串按低位到高位进行发送。因此,C成为角度值字符串的起始位,A为结束位,B为两个角度值字符串的分隔位。

图6 Labview中左、右脚角度值的编码

在Matlab中首先利用tcpip()函数来建立连接,该连接属性定为一变量,用read()函数将变量中的传输值读取出来。在连接程序构建时,使用同一IP地址和端口号。

通过循环不断读取TCP/IP,将数据解码后得到的一组完整的左、右脚角度存入样本矩阵的末尾,样本矩阵保持向上更新。通过对样本矩阵的计算处理得到当前运动步速,最后保存步速变量至外部文件,继续循环。数据处理流程如图7所示。

图7 Matlab中的数据处理

3.2 步速计算

通过截取步态样本矩阵中步态曲线上最近一个完整步态的数据来计算当前步速。定义一个l×3的矩阵A,3列分别为时间t、左脚角度l和右脚角度r,初始值均为0,其形式为

(1)

式中:i为计数变量,i=1,2,…,l-1。

由于采样时间为100 ms,且下位机控制器返回的角度均为整数,故有相同角度连续出现的情况。需要对样本矩阵进行去重操作,以便得到无连续重复值的新的步态样本矩阵A′,但其长度m并不固定,去重过程如下

在计算过程中要求矩阵A′的长度m大于给定值,以保证矩阵长度足以容纳至少一个步态长度,以便后续处理中能识别到完整步态周期,避免步速计算出错。

如图8所示,通过对新样本矩阵A′中最近一个完整步态周期T的拾取,可得到患者在步态训练中一只脚行走一步所用的时间。利用两只脚的平均步行速度作为患者在康复训练中的行走速度

v=(vl+vr)/2=(60/Tl+60/Tr)/2

(2)

式中:v为步速,步/min;下角标l、r分别表示左、右脚。

通过以上对左、右脚角度的转换处理,得到了用于对虚拟现实场景动画的控制信号——行走步速。

图8 样本矩阵中的步态曲线

4 虚拟现实场景的建立

研究中将城市生活街区作为虚拟康复训练的主要环境,在建模过程中涉及的实物模型主要有房屋、街道、车辆、行人、绿化和天空等。基于几何模型的虚拟建模技术[18],利用3ds Max和VRP两种软件进行场景的建模。其中3ds Max负责单个虚拟实体的建模,VRP将各个实体集成,创建环境灯光、相机等,虚拟场景如图9所示。

图9 模型建立的虚拟场景

利用VRP自带的脚本编辑功能实现外部信号的输入和场景动画的运动。在场景中设计了路径跟随行走、与路人交谈等交互动作,这些动作均以训练步速为控制信号。将每次循环计算得的步速不断更新至外部程序文本,VRP不断对文本进行调用,从而实现场景中人物与康复训练的随动。

5 主被动协同刺激训练方法

本研究通过利用虚拟现实技术构建高度沉浸感的虚拟环境及良好的互动行为事件,实现患者积极主动运动意念的激发和维持,以促进患者的康复进程。对于该主被动协同刺激训练方法的作用过程分析,应区分为主动训练模式和被动训练模式两种实际训练情况。

在主动训练模式下,患者克服系统阻尼,主动带动康复床运动,进而使虚拟现实运动,此时患肢对受损神经中枢的被动刺激可忽略,而虚拟康复训练系统的信息传递为单向回路,患者根据视觉反馈信息调整自己的运动状态,实现同训练系统的交互,如图10a所示。此时患者主动康复训练意念在康复进程中占主导地位。

在被动训练模式下,虚拟现实能够激发患者主动参与的意念,同时下肢康复训练系统驱动患肢的重复运动又形成对神经中枢的被动刺激,这二者共同作用于患者受损神经中枢的康复过程。患者获取反馈信息后,可通过上肢来调节训练速度或者由护理人员辅助完成,如图10b所示。

(a)主动训练模式

(b)被动训练模式 图10 虚拟康复训练系统对神经通道主被动协同刺激示意图

6 功能验证实验

基于以上的研究,在西京医院康复科搭建了虚拟康复训练系统,其中涉及的主要硬件有下肢康复训练系统、图形工作站、3D投影仪以及主动快门式3D视觉支持系统。根据康复过程的实际需要,搭建的虚拟现实康复训练系统如图11所示。

图11 系统验证实验

对虚拟现实下肢康复训练系统的功能进行实验验证。选用健康人为被试者,对系统主被动训练状态下的交互控制效果和虚拟现实表现效果进行测试和评估。

随机选取数名被试者,年龄在23～26岁之间。实验前,先让被试者戴上3D眼镜观察电脑屏幕产生的虚拟现实场景。观察2 min左右,以确定其是否会对主动式3D效果产生不适的感觉,然后进行必要的准备后,开始康复训练测试。

(1)在被动康复训练过程中,被试者下肢由康复训练系统步态训练机构驱动,以预设定步速和角度范围左、右脚交替运动,被试者的步态曲线呈近似的三角波,如图12所示。

图12 被动训练下的步态曲线

由于在步速计算中采用最近一步的步速并且系统在计算处理过程中产生延时,使得场景中人物动画相对于训练过程有一定的延时。在被动训练时,由于某一个步速能够稳定维持一段时间,训练速度切换后的延时会在短时间内消除,具体数据见表1。

从表1可以看出,实际步速滞后量略大于理论值。这是由于程序运行及数据显示保存消耗了部分时间,使得计算滞后量偏大。从实际测试效果显示,这并未影响到使用者的总体感受。

表1 被动训练下步速切换后的延时数据

由于场景大小和路径形状不同,加之被动运动模式下训练步速可变,经测试,被试者在不同的训练步速下分别走完两个场景各一次所需的时间如表2所示。

表2 被动模式下不同步速完成一次场景漫游

被动康复训练结束后,被试者反映被动训练状态下双脚完全由下肢康复训练系统带动,心态更放松,训练过程中注意力可以完全集中于虚拟现实场景,感受下肢康复训练系统驱动虚拟人物运动的过程,但是主动运动意念不强。虚拟现实场景比较真实,被试者可以获得更大的沉浸感和现实感。

(2)在主动康复训练时,下肢康复训练系统不施加驱动力,而是根据患者的康复情况适当施加训练阻力,患者自己驱动双腿运动。由于该模式下步态训练机构本身有一定的空转阻力,被试者很难以固定步速驱动康复训练系统运动,其步态曲线呈现不规则的三角波形,即使相邻的两完整步态的步速也不尽相同,如图13所示。

图13 主动训练下的步态曲线

主动康复训练结束后,被试者反映自己注意力集中于主动运动对场景动画的驱动效果以及任务模式,有较强的参与积极性和康复训练主动性。

通过以上分析可知,本文开发的基于虚拟现实的下肢主被动康复训练系统能够满足预期的功能效果,具有提高下肢偏瘫患者康复训练效果的可能,基本实现了本文的研究目标,将来需要用下肢偏瘫患者进一步验证系统性能。

7 结 论

本文基于神经可塑性理论以及现代运动康复的新技术,并针对所涉及的软硬件的工作特点,开发了主被动虚拟康复训练系统。根据康复训练床的运动原理和控制系统特点,实现训练状态数据的实时反馈;根据不同软件的特点和系统设计的需要,实现状态数据到交互控制信号的转换;最后根据需要完成虚拟场景的设计制作,成功搭建虚拟康复训练系统并完成对其的功能验证实验。

当前运动康复训练主要是对患者患肢进行往复式被动训练,通过对患肢到大脑的运动感知神经通道的单向刺激来促进神经通路的重塑。这种方式效率较低,缺乏对患者参与积极性的维持,缺乏对运动控制神经通路刺激和主动运动意念激发,未能很好地完成运动神经回路的康复及其重建。个别科研机构引入虚拟现实技术,但还停留在结构简单、色彩单一的二维场景,无法真正提供患者神经中枢康复所需的丰富环境和训练积极主动性。

本文提出基于虚拟现实技术的主被动协同刺激训练方法,能够克服当前下肢康复训练系统只能完成对受损神经中枢被动或者主动的刺激,营造高度沉浸感和交互性及构想性的环境信息;通过3D视觉和听觉等效果作用于患者神经中枢,实现患者积极主动运动意念的激发和维持,以促进患者的康复进程;形成信息传递的封闭回路,以实现对受损神经中枢的主被动协同刺激,能够更好地激发大脑运动区的镜像神经元,强化自主运动意图。

该系统可以提供丰富多样的环境刺激和增强受试者的主动性、积极性,在下肢偏瘫患者的康复治疗领域有潜在的应用前景,有望从生理和心理两方面为脑卒中等神经损伤患者提供帮助,为其康复进程的加快和康复效果的提升提供一种有效的解决途径。

[1] 吴兆苏, 姚崇华, 赵冬. 我国人群脑卒中发病率、死亡率的流行病学研究 [J]. 中华流行病学杂志, 2003, 24(3): 236-239. WU Zhaosu, YAO Chonghua, ZHAO Dong. Research of epidemiology in stroke morbidity and mortality in China [J]. Chinese Journal of Epidemiology, 2003, 24(3): 236-239.

[2] 孙艳花, 张国华, 呼日勒. 我国脑血管病流行病学研究现状 [J]. 山东医药, 2014, 54(33): 98-100. SUN Yanhua, ZHANG Guohua, HU Rile. The research status of cerebrovascular disease epidemiology in China [J]. Shandong Medical Journal, 2014, 54(33): 98-100.

[3] 胡鑫, 王振平, 王金超, 等. 脑卒中上肢康复训练机器人的研究进展与展望 [J]. 中国康复理论与实践, 2014, 20(10): 901-904. HU Xin, WANG Zhenping, WANG Jinchao, et al. Progress and prospects of upper limb rehabilitation robot for stroke patients [J]. Chinese Journal of Rehabilitation Theory and Practice, 2014, 20(10): 901-904.

[4] LUKAS Z, ALEXANDER D W, ANDREAS M, et al. Virtual reality and gait rehabilitation augmented feedback for the Lokomat [C]∥Proceedings of the IEEE Virtual Rehabilitation International Conference. Piscataway, NJ, USA: IEEE, 2009: 150-153.

[5] 张杰. 脑卒中瘫痪下肢外骨骼康复机器人的研究 [D]. 杭州: 浙江大学, 2007.

[6] YAN Hua, YANG Canjun. Lower limb exoskeleton using recumbent cycling modality for post-stroke rehabilitation [M]∥Intelligent Robotics and Applications. Berlin, Germany: Springer, 2013: 284-294.

[7] 严华, 杨灿军. 轮椅式下肢运动康复训练外骨骼系统研究 [C]∥第七届全国康复医学工程和康复工程学术研讨会. 北京: 中国康复医学会, 2010: 89-94.

[8] CAI L, CHAN J S, YAN J H, et al. Brain plasticity and motor practice in cognitive aging [J]. Frontiers in Aging Neuroscience, 2014, 6(2): 167-189.

[9] ANTONINO C. Mirror neurons (and beyond) in the macaque brain: an overview of 20 years of research [J]. Neuroscience Letters, 2013, 540(6): 3-14.

[10]张衍辉, 柴非, 王胜灵. 持续被动运动对脑卒中偏瘫患者股四头肌张力及下肢运动功能的疗效观察 [J]. 中国当代医药, 2014, 21(31): 34-36. ZHANG Yanhui, CHAI Fei, WANG Shengling. Effect observation of continuous passive motion on quadriceps tension and lower limb movement function in patients with stroke hemiplegia [J]. China Modern Medicine, 2014, 21(31): 34-36.

[11]李娴, 谢斌. 丰富环境与脑卒中康复 [J]. 中国康复理论与实践, 2012, 18(1): 47-52. LI Xian, XIE Bin. Enriched environment and stroke rehabilitation [J]. Chinese Journal of Rehabilitation Theory and Practice, 2012, 18(1): 47-52.

[12]张国庆. 丰富环境对于中枢神经系统可塑性的影响 [J]. 中国康复医学杂志, 2006, 21(3): 280-283. ZHANG Guoqing. The effect of the rich environment on the plasticity of the central nervous system [J]. China Journal of Rehabilitation Medicine, 2006, 21(3): 280-283.

[13]RIENER R, WELLNER M, NEF T, et al. A view on virtual reality-enhanced rehabilitation robotics [C]∥2006 International Workshop on Virtual Rehabilitation. Piscataway, NJ, USA: IEEE, 2006: 149-154.

[14]CARDOSO L S, COSTA R, PIOVESANA A, et al. Using virtual environments for stroke rehabilitation [C]∥2006 International Workshop on Virtual Rehabilitation. Piscataway, NJ, USA: IEEE, 2006: 1-5.

[15]JULIANA M, RODRIGUES B, LUCAS R, et al. Walking training associated with virtual reality-based training increases walking speed of individuals with chronic stroke systematic review with meta analysis [J]. Systematic Review, 2014, 18(6): 502-512.

[16]王亨, 王然, 卓子寒, 等. 虚拟现实技术概述及其用于辅助康复治疗的研究进展 [J]. 生命科学仪器, 2013, 11(8): 3-9. WANG Heng, WANG Ran, ZHUO Zihan, et al. The overview of virtual reality and its progress in research on auxiliary rehabilitation treatment [J]. Life Science Instruments, 2013, 11(8): 3-9.

[17]胡永善. 新编康复医学 [M]. 上海: 复旦大学出版社, 2005: 114.

[18]周柳, 王英华, 刘强, 等. 虚拟现实技术在运动康复中的应用 [J]. 中国组织工程研究与临床康复, 2007, 11(5): 957-960. ZHOU Liu, WANG Yinghua, LIU Qiang, et al. Application of virtual reality in motor rehabilitation [J]. Journal of Clinical Rehabilitative Tissue Engineering Research, 2007, 11(5): 957-960.

(编辑 杜秀杰)

Active and Passive Training System of Lower Limb Rehabilitation Based on Virtual Reality

GUO Xiaohui1,2,WANG Jing1,2,YANG Yang1,2,ZHANG Xin1,2,XU Guanghua1,2

(1. State Key Laboratory for Manufacturing Systems Engineering, Xi’an Jiaotong University, Xi’an 710049, China;2. School of Mechanical Engineering, Xi’an Jiaotong University, Xi’an 710049, China)

Aiming at the problems such as low participation in the traditional lower limb rehabilitation training and being unable to produce the active movement intention, a lower limb rehabilitation training system based on virtual reality is designed. Following the theories of human brain mirror neurons and neural plasticity, real-time data communication and feedback processing are realized with Matlab and Labview software. Combining with the method for virtual reality modeling and animation script editing and exerting effect on the patient central nervous system through 3D visual and auditory, a closed information transmission loop is constructed to achieve the active and passive synergistic stimulation of the damaged nerve center to stimulate the brain motor area of mirror neurons and to strengthen the independent movement intention. The results show that the system is able to assist patients to complete rehabilitation training of active and passive mode, and provides patients with the depth of the living environment of the virtual visual interaction, which greatly enhance the rehabilitation training for patients with damaged neural stimulation, and improve the training efficiency and positive initiative.

lower limb rehabilitation training system; visual interaction; virtual reality

2015-05-06。

郭晓辉(1987—),男,硕士生;王晶(通信作者),男,副教授,博士生导师。 基金项目:国家“863计划”资助项目(SQ2013GX03D00128);“香江学者”人才计划资助项目(XJ2013045);中国博士后科学基金资助项目(2014M552431)。

时间:2015-11-11

10.7652/xjtuxb201602021

R318.6;TP391

A

0253-987X(2016)02-0124-08

网络出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20151111.1821.016.html