基于Kinect的上肢康复训练系统开发与应用

瞿 畅 代艾波 郭爱松 于陈陈 朱小龙

1(南通大学机械工程学院，江苏 南通 226019)2(南通大学附属医院康复科，江苏 南通 226021)



基于Kinect的上肢康复训练系统开发与应用

瞿 畅1*代艾波1郭爱松2于陈陈1朱小龙1

1(南通大学机械工程学院，江苏 南通 226019)2(南通大学附属医院康复科，江苏 南通 226021)

脑卒中等心脑血管疾病导致的上肢功能障碍严重影响了患者的生活质量。为帮助患者在社区家庭环境进行上肢康复训练，开发了基于Kinect的上肢康复训练系统。系统通过人体关节点数据与场景中对象模型的绑定实现了患者运动与虚拟模型运动的同步，利用体感方式实现与训练场景的动态交互。系统设计了分别用于肩、肘关节及上肢综合能力的康复训练项目，选取8名志愿者分两组(计算机辅助组和专业治疗师组)对系统进行功能测试，并对治疗前后患者的运动表现进行评定(Fugl-Meyer上肢运动功能评估和Wolf 运动功能的测试)。经过2周的治疗后,两组患者Fugl-Meyer上肢运动功能评分及Wolf 运动功能测试评定结果均较治疗前有明显进步，且计算机辅助组患者进步幅度大于专业治疗师组。以上实验结果表明，该系统对提高患者肩、肘关节活动度及上肢综合能力具有潜在的效果，可用于上肢运动功能的康复训练。

康复; Kinect; 上肢功能

引言

随着我国老龄化现象的加剧，脑卒中、帕金森症等疾病的发病率逐年上升。70%～85%的脑卒中患者伴有偏瘫，其伴随的运动障碍严重影响患者的生活质量。研究表明，大量密集和重复性的康复训练可使患者的机体功能得到最大限度的恢复，提高患者生活自理、工作和学习能力[1]。传统康复训练以专业治疗师的手法操作为主,利用简单的辅助器械,使患者恢复一定的运动和协调能力。此方法要求患者在特定地点(医院或康复中心)进行，治疗过程比较单调，训练强度和效果不易评估。为此，世界各国都在积极研究新理论、新方法、新手段以辅助传统康复训练，体感技术就是近年来用于虚拟康复训练系统开发的一项新兴技术。体感技术的实现离不开体感设备，微软推出的 Kinect 体感设备可实现人体动态姿势的捕捉。借助Kinect开发的上肢康复训练系统可帮助患者在家庭及社区环境自行实施趣味性的康复训练，一定程度上缓解我国医患比例不协调的状况，具有较广阔的应用前景。

Kinect在康复领域的应用潜力，吸引国内外学者投入基于Kinect的肢体运动康复训练技术的研究。Taylor等首先对Kinect体感游戏在患者运动功能障碍康复中的应用效果进行评估，初步证实了Kinect用于肢体运动康复的可行性[2-3]。随后，一些学者开始研究并设计针对肢体不同部位的康复训练项目。如Alana等设计的康复系统要求患者进行手臂自下而上的侧举运动，以实现肩、肘部的运动康复；通过检测肩部与肘部在冠平面内的夹角，纠正、指导患者的康复动作[4]。Chang等针对双臂前伸、侧展等动作开发了康复训练系统，并通过ABAB序列(A为无辅助的基本阶段、B为采用该系统的干预阶段)的对比实验，证实此系统能调动病患的积极性，提高患者的运动能力[5]。Erazo等研究开发了3个用于患者手臂伸展及手部抓握能力康复的训练项目[6]，其中simulating drinking训练项目可结合实物进行训练(手握瓶子做饮水动作)，为患者提供更好的体验和康复效果。杨艺等实现了击掌、举手上伸、下垂合手、右腿划圈、左腿划圈动作的训练项目设计[7]，系统可把结果定期反馈回医院以制订下一步治疗计划，不仅减轻了康复医师的工作，也为患者提供了更轻松自在的训练环境和完善的后期治疗。

上述相关研究表明，基于Kinect的虚拟康复训练系统可作为肢体功能障碍康复的辅助训练手段。但已有的训练系统仍存在训练项目的设计欠佳和训练场景的搭建缺乏趣味性及适宜的挑战性等问题。本研究充分考虑上肢功能障碍患者的运动限制，着重上肢粗大关节的专项运动康复，通过模拟日常生活动作开发出更具针对性和适应性的康复训练项目，通过实验初步验证了其应用于上肢功能康复训练的可行性。

1 原理与方法

1.1 系统工作原理

系统开发是在Unity 3D引擎的开发环境下利用Kinect for Windows SDK开发工具包实现的。通过Unity 3D导入包中的封装函数获取数据信息、进行骨骼数据与人物模型的绑定，实现Kinect对Unity 3D 环境中虚拟人体骨骼动作的控制。

系统的开发及工作流程如图1所示。

图1 上肢康复系统工作原理Fig.1 Fundamental diagram of upper-limb rehabilitation system

1)用户初始化数据：完成患者信息(年龄，病因，病程等)的采集，为不同病患注册账号，便于病患康复训练数据的采集、记录及分析。

2)数据采集及处理：采集、转换Kinect传感器获取的人体运动数据，为Unity 3D 虚拟环境提供人体运动信息(关节点位置信息)。

3)后台实时数据处理：处理通过Kinect传感器获取的人体运动信息(关节点位置)以及人机交互时场景对象产生的数据(碰撞、距离等)，实现数据的处理、存储、输出及分析。

4)患者虚拟形象动态化：利用Kinect采集的人体运动信息将Unity 3D 中人物模型的骨骼节点与患者骨骼信息绑定，实现三维人物模型与患者动作的动态同步。

5)交互动作及操作指令识别：捕捉并识别用户肢体动作，与预设的特定指令姿势比对。主要用于系统操作及训练过程中的人机交互。

6)信息反馈及评估：实时提供视听觉的激励反馈信息，并以得分形式评估患者康复动作。同时医患可实时查询历史得分信息及相应分析结果。

1.2 方法

1.2.1 数据提取与处理

为实现在Unity 3D环境下调用Kinect捕获的人体位置及运动信息，在 Unity 3D 和 Kinect 之间需通过外部插件处理二者之间的数据传输。外部插件负责处理 Uniyt3D 中数据的初始化，控制 Kinect 数据的接收，并对其进行处理。本研究采用CMU封装的用于Kinect开发的Unity3D导入包Kinect Wrapper Package进行系统开发，导入包中包含了进行Kinect+Unity3D开发的所有脚本。利用导入包中的Kinect Model ControllerV2及Kinect Point Controller脚本，将虚拟场景中人物模型的各关节信息与Kinect 捕获的人体骨骼关节点信息相对应，并分别利用Nui Skeleton PositionIndex、Nui Skeleton Position Tracking State 等获取人体骨骼对应的关节点及骨骼关节点追踪的状态信息等数据。

1.2.2 交互及操作指令的识别

患者在康复训练时主要通过手势和肢体动作进行人机交互，系统可准确识别用于系统操作的指令动作以及交互训练动作，指令设计原理和动作识别过程包括：

1)系统操作指令动作的识别。主要通过设定、判别骨骼关节点间的位置关系实现。以系统中用于执行返回操作的指令为例，该动作设定为左臂水平伸直，利用SkeletonWrapper脚本所抓取的骨骼数据进行动作识别，代码表示为：(leftHand.y-0.1)>leftShoulder.y)&&((leftShoulder.x-0.4)>leftHand.x)。

2)交互指令动作的识别。主要通过虚拟环境中物理对象间的相互作用实现(如物理对象间的距离及碰撞检测等)。使用 Unity 3D 物理引擎中的触发器来实现场景中碰撞事件的检测，对场景中所有可移动物体均添加一个触发器和刚体，并在触发器中添加碰撞组件。以抓取、移动、放置操作为例，对上述操作的触发条件(见图2)和响应动作设计如下：

(1)抓取操作。利用 Unity3D中碰撞器和碰撞持续时间这两个特性，当手掌包围盒与场景中可移动物体的触发器包围盒发生碰撞，且物体中心点与手掌关节点的距离在一段时间(设为2 s)内始终小于阈值，将可移动物体中心点与该手掌关节点绑定连接，完成物体绑定之后在每一帧的动画更新方法 Update()调用中，对物体的位置进行更新，即可完成抓取动作。

(2)释放操作。将可移动物体中心点与该手掌关节点绑定连接后，若可移动物体中心点与目标位置点的距离在一段时间内始终小于阈值，则放置物体到目标位置，并重新检测其他可移动物体的抓取行为。

(3)移动操作。取得可移动物体中心点与该手掌关节点绑定后，对物体的位置进行更新，若不满足释放条件,则物体与手掌关节点同步运动。

图2 交互指令动作设计原理Fig.2 Principle of interactive action design

实际操作中为防止抓取多个物体，系统在手掌关节点更新过程添加了互斥锁以确保每次只能移动或抓取一个物体。当任何一只手中已经抓取一个物体，并且未释放前，通过判断互斥量的值决定是否再次触发抓取动作。抓取事件触发的同时，系统立即开始对已抓取物体进行放置行为检测。将物体放置在目标位置处，同时停止物体每一帧中位置的更新。

1.2.3 患者虚拟形象的动态化

患者通过实时驱动角色模型与虚拟环境进行的动作交互实现康复训练。为实现角色模型的实时驱动和动作交互，首先在Unity3D中建立运动节点与虚拟模型节点的映射关系，通过运动绑定，使患者能以自身动作实时驱动角色模型。通过对每一帧的虚拟角色模型进行更新处理实现虚拟模型的动态化。角色模型以Torso 为中心根节点(见图3)，其他节点都通过链式结构依附于根节点，因此模型中其他节点的运动均是相对根节点的运动，对根节点的操作将带动整个角色在场景中的运动。实现方法是利用KinectWrapperPackage导入包将模型中的骨骼拖拽到KinectModelControllerV2脚本对应的变量中。

图3 人体骨架及树状模型结构Fig.3 Human skeleton and tree-shaped model

1.2.4 训练项目设计

笔者设计了3项针对性的康复训练项目，分别用于肩、肘关节及上肢综合能力的训练。

1)肩关节训练(shoulder joint training)。项目名为数字匹配(number match)，主要以数字匹配的模式引导患者进行肩关节屈曲、伸展、外展和内收的训练，帮助患者提高肩关节活动能力。如图4所示，系统随机生成6个1～9的数字并显示于场景中的Cube对象上，患者控制人体模型用双手触碰Cube对象，当左右手所触碰的Cube对象上的数字之和为10且保持2 s以上，则完成数字匹配。患者训练得分增加，系统重新生成随机数字显示于Cube对象上，患者可进行下一步的康复训练。

图4 肩关节训练界面Fig.4 Interface of shoulder joint training

2)肘关节训练(elbow joint training)。项目名为抓面包(bread catcher)，主要通过抓取面包的动作引导患者完成肘关节屈曲及伸展的训练，不仅可以提高肘关节活动度，还可以帮助患者提高手的稳定性及手眼协调能力。如图5所示，系统生成的面包模型置于盘中。患者控制人物模型抓取面包模型，当患者手关节坐标与面包模型之间距离小于0.1 m时实现抓取动作，面包吸附于掌心。患者做出饮食动作将面包送入口中，当手关节坐标与嘴的距离小于0.1 m时完成进食动作。系统以得分形式反馈并在盘中重新生成面包模型，开始下一轮训练。

图5 肘关节训练界面Fig.5 Interface of elbow joint training

3)综合训练(comprehensive training)。项目名为拼图大师(puzzle master)，主要通过完成拼图任务引导患者进行上肢综合训练，有助于提高患者肩、肘关节活动度及上肢协调性。如图6所示，训练项目启动后，在界面的右下角显示一张待拼图片，患者通过手部移动控制虚拟环境的手形模型抓取图片，当手模型触碰到图片并停留3 s以上则实现图片抓取。当图片移动至拼图区正确位置时则吸附在相应位置，得分增加并在右下角弹出下一张待拼图片。

图6 综合训练界面Fig.6 Interface of comprehensive training

各训练项目结束后，系统将自动反馈患者训练成绩(得分及用时)。

1.2.5 实验对象及使用方法

选取2013年8月—2014年4月在南通大学附属医院康复科就诊的8例脑卒中患者作为实验对象。对象选取标准为：Brunnstrom分期>Ⅲ期，病情稳定，无认知障碍。符合标准的8例患者随机被分到计算机辅助组( 4 例,康复训练系统) 或专业治疗师组( 4 例, 常规治疗)，并进行为期2 周的康复治疗。专业治疗师组进行常规的物理治疗(PT)、作业治疗(OT)等常规康复训练。计算机辅助组在专业治疗师组的基础上加用自主开发的上肢康复训练系统干预。受试者均签署了知情同意书。

康复系统的硬件部分包括Kinect传感器、计算机、显示器(或投影仪)，见图7。Kinect传感器放置于显示器前，受试者以站姿或坐姿面对Kinect，并距离Kinect 1.5～2 m处开始训练。初次使用需注册账号并输入患者基本信息及病况，登录后可根据屏幕显示的提示进行诸如训练项目选择、返回、记录成绩等操作，完成康复训练任务。

图7 实验场景Fig.7 The scene of experiment

2 结果

根据此康复系统主要适应于轻到中度脑卒中患者上肢大关节功能康复的特点，实验采用Fugl-Meyer上肢运动功能评估(FMA)和Wolf 运动功能测试(WMFT)对患者进行治疗前后的两次评估[8-9]，根据两次评估的结果对比判断患者上肢功能恢复程度，验证康复系统的有效性。

实验结果显示，在为期2周的治疗后,两组患者Fugl-Meyer上肢运动功能评估得分及Wolf 运动功能测试评定结果较之前均有进步，具体情况如下:

1)Fugl-Meyer上肢运动功能评估。从图8、9可以看出，计算机辅助组及专业治疗师组上肢运动功能评估得分均有明显增加。

2)Wolf 运动功能测试评定 从图10、11可以看出计算机辅助组和专业治疗师组患者治疗后较治疗前所用时间明显减少。从图12、13可以看出计算机辅助组和专业治疗师组患者治疗后较治疗前得分均有提升。

图8 计算机辅助组Fugl-Meyer得分Fig.8 Fugl-Meyer score of computer-assisted group

图9 专业治疗师组Fugl-Meyer得分Fig.9 Fugl-Meyer score of professional therapist group

图10 计算机辅助组Wolf计时Fig.10 Time of Wolf motor function test of computer-assisted group

图11 专业治疗师组Wolf计时Fig.11 Time of Wolf motor function test of professional therapist group

图12 计算机辅助组Wolf得分Fig.12 Score of Wolf motor function test of computer-assisted group

图13 专业治疗师组Wolf得分Fig.13 Score of Wolf motor function test of professional therapist group

此外，记录并分析了计算机辅助组患者训练周期的各项运动表现数据。以肘关节训练得分及上肢综合训练用时的统计数据为例，其分析结果分别如图14、15所示。分析结果显示，患者在康复训练项目中的运动表现呈上升趋势，可一定程度上反映患者运动能力的提升。

图14 计算机辅助组肘关节训练得分Fig.14 Score of elbow joint trainning of computer-assisted group

图15 计算机辅助组综合训练用时Fig.15 Score of comprehensive training of computer-assisted group

3 讨论

本研究通过临床实验测试了系统性能，尽管实验对象样本量不足以做统计学分析,但就上述实验结果来看，常规康复训练联合本康复训练系统的干预较常规康复训练更有利于改善患者的运动功能，提高康复训练效果，并且能调动患者康复训练的积极性，使患者在愉悦的心态中完成康复训练。对患者的问卷调查结果也表明，患者更倾向于虚拟训练环境下的康复体验。

康复的最终目的是将康复效果移植到日常生活中，帮助患者恢复日常活动能力。通过临床试验可以发现，康复训练项目的设计和虚拟环境的沉浸感直接影响患者康复效果。本研究设计的3项针对肩、肘关节及上肢综合能力的康复训练项目贴近生活、具有针对性及适应性，逼真的三维虚拟场景可以带给患者身临其境的沉浸感。例如模拟饮食动作可训练患者上臂的举物等动作以及上肢的平稳、准确动作，有利于肩、肘关节的运动康复。今后，可考虑设计更多的趣味性、针对性的康复训练项目，完善系统功能。

随着我国老龄化现象的加剧，医患比例不协调的状况愈发严重，虚拟现实技术与康复治疗的结合可有效减轻理疗师的工作压力，提高康复效果。本研究开发的康复训练系统可将康复训练“移植”到家庭及社区环境中，避免了患者于家庭和医院往返的困扰，并且康复系统为患者提供极富真实性的虚拟训练场景，患者能在可重现的场景和任务下反复强化特定动作，在带给患者身临其境感受的同时也极大提高了患者参与康复的积极性和主动性,对患者肢体运动功能的改善意义显著。

由于硬件设备的限制，目前基于Kinect的康复训练系统只能引导患者完成主动康复训练，Brunnstrom分期<Ⅲ期的患者往往不能完成主动康复训练。这一系统局限性也为后续研究指明了方向，即传统模式与虚拟现实技术的融合。

4 结论

本研究结合Kinect技术及相关康复理论，开发了上肢虚拟康复训练系统。通过采集患者的运动数据识别交互动作及系统操作指令，患者通过自身动作控制虚拟模型与场景交互，实现体感人机交互，交互方式更自然。以游戏形式设计了针对肩、肘关节及上肢综合能力康复的训练项目，训练过程更具趣味性。经验证，该系统对上肢功能障碍患者的上肢康复有潜在的治疗效果，适合患者家庭环境的自我康复训练。尽管虚拟康复系统不能完全取代传统的康复手段，但在脑卒中患者上肢功能的恢复过程中, 如果联合传统治疗方式与虚拟现实游戏的训练,可更好地促进脑卒中后患者上肢功能的恢复, 从而提高其生活自理能力和生活质量, 具有重要的社会现实意义。

[1] Rizzo A, Kim G. A SWOT analysis of the field of VR rehabilitation and therapy [J]. Tele-operators and Virtual Environments, 2005,14(2): 119-146.

[2] Taylor MJ, McCormick D, Shawis T,etal. Activity-promoting gaming systems in exercise and rehabilitation[J]. Journal of Rehabilitation Research & Development, 2011,48(10):1171-1186.

[3] 王静,马景全,陈长香.体感游戏Kinect改善脑卒中患者执行功能的效果研究[J].中国康复医学杂志,2014(8):748-751.

[4] Alana Da Gama, Thiago Chaves, Lucas Figueiredo,etal. Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems[C]//The 14th Symposium on Virtual and Augmented Reality. Rio Janiero: IEEE, 2012:191-200.

[5] Chang YJ, Han WY, Tsai YC. A Kinect-based upper limb rehabilitation system to assist people with cerebral palsy[J]. Research in Developmental Disabilities, 2013, 34(11): 3654-3659.

[6] Erazo O, Pino JA, Pino R,etal. Magic Mirror for Neurorehabilitation of People with Upper Limb Dysfunction Using Kinect [C]//47th Hawaii International Conference on System Sciences (HICSS). Waikoloa: IEEE, 2014:2607-2615.

[7] 杨艺,许源,张俊杰,等.基于Kinect与虚拟现实的社区家庭康复系统的研制[J].微型电脑应用,2014(3): 32-34.

[8] 桑德春,纪树荣,张缨,等.Fugl-Meyer 量表在社区脑卒中康复疗效评定中的应用[J].中国康复医学杂志,2007,22(3):264-265.

[9] 毕胜, Chan CH. Wolf 运动功能测试量表的标准效度和评定者内部信度研究[J].中国康复医学杂志,2006,21(12):1084-1086.

Development and Application of a Kinect-Based Upper-Limb Rehabilitation System

Qu Chang1Dai Aibo1Guo Aisong2Yu Chenchen1Zhu Xiaolong1

1(SchoolofMechanicalEngineering,NantongUniversity,Nantong226019,Jiangsu,China)2(DepartmentofRehabilitation,AffiliatedHospitalofNantongUniversity，Nantong226021，Jiangsu,China)

rehabilitation; kinect; upper limb function

10.3969/j.issn.0258-8021. 2015. 05.012

2015-00-00， 录用日期:2015-04-20

南通市应用研究计划项目(BK2013018)；南通大学研究生科技创新计划(YKC14007)

R496/TP399

A

0258-8021(2015) 05-0607-06

*通信作者 (Corresponding author)，E-mail: xu.ch@ntu.edu.cn