基于体感技术上肢康复游戏系统的评价模块

韩志峰，曹磊，杨文璐，贾杰，夏斌

基于体感技术上肢康复游戏系统的评价模块

韩志峰1，曹磊1，杨文璐1，贾杰2，夏斌1

目的 基于体感交互技术开发上肢运动功能康复系统，观察其实时获得康复效果的模块功能。方法 利用Kinect体感器的骨骼跟踪技术和Unity3D技术开发一款3D康复游戏系统。选取4个常用的上肢康复动作，利用动作引导轨迹引导5名健康受试者进行训练，按系统设计进行评分。结果 5位受试者在有引导轨迹的康复游戏系统下的得分高于无引导下的得分。结论 基于Kinect的上肢康复游戏训练系统可以通过动作引导轨迹引导患者进行康复训练，并对康复效果进行量化评估。

体感交互技术；上肢；康复；评估

老年人容易发作脑卒中、高血压等疾病[1]。传统康复方法模式较为单一，患者容易失去康复兴趣，导致康复难以进行。基于虚拟现实(virtual reality,VR)和增强现实(augmented reality,AR)技术的新策略已经开始用于脑卒中的康复[2-5]。

目前，虚拟现实康复系统主要有两种形式：一种是基于穿戴设备的康复系统[6]，患者通过穿戴智能设备对其康复训练进行记录与反馈，智能设备的重量和体积等给患者康复带来负担；另一种是基于体感交互技术的康复系统[7]。利用体感交互技术不需要佩戴传感器，就可以帮助患者进行康复训练。

本课题组设计了一种基于Kinect骨骼跟踪技术和Unity3D的康复游戏系统。系统利用Kinect的骨骼跟踪技术设计康复动作引导轨迹，以辅助患者进行自我康复训练；在结束时，则依据患者所做动作与标准动作的角度比较、坐标比较和时间比较，实现对动作的评估。系统追踪并记录患者的康复过程，有利于患者及时调整康复训练计划，提高康复效率；且系统的游戏性较强，能够提高患者进行康复训练的积极性。

1 系统设计

本文主要研究基于Kinect体感设备的康复评估系统，结构图如图1。评估方法总结性量表评定法，由一系列技能或功能活动组成，根据受试者完成活动的表现进行评分，最后将各项评分相加得出总分，做出结论[8]。

图1 系统结构图

系统首先利用Kinect体感设备获取人体25个关节点的三维坐标，将三维坐标转换为各关节角度序列和距离序列；根据康复动作的特征提取出关节点角度序列、关节点距离序列和时间序列，这三个序列统称为参量值。根据患者动作的参量值，结合患者做动作前标定的关键参量值，计算参量评分。最后采用参量评分加权的方式评估患者康复动作的效果，并及时反馈给患者，从而指导患者进行康复训练。

1.1 Kinect体感器和Unity3D游戏引擎

Kinect 2.0体感器是微软公司研发的一款设备，由彩色摄像头、红外传感器和深度传感器组成[9]。它可以实时获取人体25个关节点三维坐标和彩色高清视频。我们利用Kinect采集的数据开发应用程序，可以为康复医疗提供可扩展的解决方案[10-11]。

Unity3D游戏引擎可实现玩家与虚拟现实环境的交互[12]。由于其独特的跨平台优势和优越的3D渲染效果，近年来在体感互动游戏系统[13-14]的开发领域倍受青睐。

1.2 康复动作的设计

脑卒中患者一般经历软瘫期、痉挛期和康复期三个阶段[15-17]。软瘫期患者只能进行被动运动训练，痉挛期患者需进行伸展类康复训练，康复期患者需进行关节活动度训练。

利用Kinect的骨骼跟踪技术，可对患者动作过程进行实时跟踪[18-19]，对患者的动作进行评估、实时反馈和精确记录，引导患者做出标准的康复动作。康复训练任务可根据患者情况做出相应调整。

本文康复动作设计根据医院康复科理疗师的建议，结合BrunnstormⅣ、Ⅴ、Ⅵ期的动作范式[8]，针对康复期患者选取4个常用的上肢康复动作(表1)。经过多次试验，Kinect对这些动作的跟踪效果良好。

表1 上肢康复动作

1.3 数据处理

利用Kinect 2.0 SDK(software development kit)的应用程序编程接口，获取表征人体骨骼25个关节点坐标[9]，将关节点坐标转换为角度序列和距离序列，将动作时间转换为时间序列。从上述序列中提取特征，根据特征计算出评估参量的评分；最后采用参量评分加权的方式计算出游戏评分。具体流程见图2。

图2 数据处理流程图

1.3.1 特征的提取

经过多次试验结果分析，关节点间的角度序列和距离序列中变化最大的共计7个，将它们作为特征。为提高评估的科学性，特征还包含动作的时间序列，共8个特征值。记特征值集合为Pa={c1,c2,c3...c8}。在4个综合性康复动作中，这8个特征值表示8个参量，见表2。

表2 特征值变量与参量名

做动作前，患者正对Kinect体感器站立，距离2.3～2.5 m，双臂放松向下，肘关节伸展，躯干挺直，双肩平齐。系统完成标定，记录参量的标定值。参量标定值可作为参量评分的一个约束因子。通过多次试验，将上肢康复的参量标定值设为5个，分别是手与目标距离、左肘关节角度、右肘关节角度、躯干倾斜度和双肩高度差，记为Pb={d1,d2,d3...d5}。系统动作评估参量的得分由Pa和Pb计算而来。

1.3.2 关键特征的计算

以第1个动作为例，选取左肘关节、腕关节和肩关节3个关节点(图3)，分别设为J1(x1,y1,z1)、J2(x2,y2,z2)、J3(x3,y3,z3)。其中，连接点J1和J2的矢量M在X,Y,Z方向的分量分别为MX,MY,MZ，连接点J2和J3的矢量N在X,Y,Z方向的分量分别为NX,NY,NZ。

图3 关节点空间矢量图

计算出矢量的模，也就计算出了距离序列；根据两个矢量的模，可以计算角度序列。

设两个相邻关节点组成的矢量为M，模

设M与X轴、Y轴、Z轴的夹角为α1,α2,α3，

其中，α1,α2,α3均∈(0°,180°)，β∈[30°,180°)。

1.3.3 参量评分的计算

不同动作的评估方法相同，但计算参量评分的阈值和计算游戏得分的权值不同。以第1个动作为例，使用特征值集合Pa对动作进行评估，ci为动作实测的特征值，则其平均值为

其中，k和n表示测试者运动轨迹包含的三维坐标点的数量；da和db属于集合Pb，η为根据健康人多次试验后选取的阈值，可根据条件做出修改，它是一个经验值。参量阈值集合为 H={η1,η2,η3...η8}。c表示cmean和cmin。不同动作选不同的c和η，计算方法相同。

1.3.4 评估结果

通过参量评分的计算，可以得到一个参量评分的集合Sp={s1,s2,s3...s8}。由于参量评分si不尽相同，而且它们对于衡量动作评估结果的贡献度也存在差异，因此不能直接使用参量评分之和来评估动作得分，可以通过给每一个参量评分赋予不同的权重来削减这种差异。权重值的设定要考虑每个参量在动作评估中的波动性，波动性大的设定的权值较大，波动性小的权值较小。经过多次试验，给每个参量评分匹配了相应的权重值，得到一个权重集合W={w1,w2,w3...w8}，并使根据各参量评分及其对应的权重，可以得到归一化的得分

2 实测

2.1 对象与方法

为了验证系统评估算法的可行性和有效性，分别进行两组试验。招募5名健康受试者，其中男性3名，女性2名，年龄22～24岁，均首次接触该游戏训练系统。5名受试者分别在无引导轨迹的系统和有引导轨迹的系统中完成5次试验，每次完成4个动作，共200次。比较系统以百分制给出的训练效果得分，分数越高，表明受试者训练效果越好。

2.2 结果

5名受试者在有引导轨迹下的得分高于无引导轨迹下的得分。见表3。

测试显示，不同受试者动作2的平均得分相比动作1和动作3略低，但在实验时，受试者都能较好完成该动作，提示得分不能很好反映训练效果。分析主要原因是计算参量评分的阈值设定不太合理。通过对计算参量评分的阈值和计算游戏得分的权值进行优化，有轨迹得分结果较优化前有所提高。见表4。

3 讨论

本研究通过健康人测试了系统的评估模块。尽管由于受试者少，还不能得出一般性结论，但从系统设计的动作引导轨迹能够引导受试者进行更有效率的康复训练来看，系统的评估方法能够有效地对上肢功能进行评估。

动作4不同受试者在有轨迹引导下的得分波动较明显，主要是由于受试者在将手臂举过头顶时，会出现手臂弯曲、身体倾斜等动作，正确完成该动作需要进行一段时间训练。今后可以考虑入选更多的训练项目，完善系统功能。

虚拟现实康复系统使得患者能够利用自己的身体在虚拟环境中进行交互，然后使用计算机技术，将患者的运动功能情况进行实时反馈[20]。虚拟现实康复系统能够通过感觉(视觉、听觉、触觉)输入，增强运动功能训练，并以虚拟环境和虚拟现实系统为目标导向，让患者在康复过程中保持兴趣[21]。目前已经有虚拟现实康复设备应用于医院和家庭[22]，如麻省理工学院的手动机器人和镜像运动机器人。这些设备的主要缺点有二：一是设备本身的成本高，二是这些设备要求患者必须穿戴在身上，患者训练时会感觉不适[23]。

Kinect体感交互技术和Unity3D游戏引擎技术可以给患者带来互动感和沉浸感，被越来越多地应用于医疗康复中，利用体感交互技术不需要佩戴传感器就可以帮助患者进行康复训练。Chang等[24]基于Kinect设计的康复系统能够改善有运动障碍年轻人的运动功能。日本青山大学开发的康复评定系统[25]，能完成起立-走测试、10米步行测试及实时关节活动度测量三项康复评定。利用Kinect体感交互技术开发的康复游戏系统，不仅可以记录并反馈患者的康复训练效果，还可以提高患者进行康复训练的积极性。

本研究利用Kinect体感器，并参考相关的康复理论，设计并开发了一个体感康复游戏系统，该系统能对患者的动作进行实时跟踪、记录、评估计算及反馈，整个过程都以游戏的形式引导患者进行康复训练。由于设计的动作来源于一线治疗师的临床实践，该系统在上肢功能障碍的康复中有潜在的应用价值。系统使用的设备简单，成本低，只需要一台Kinect和计算机就可以满足要求，适合患者居家进行自我康复训练。

表3 两种条件下各动作的评分比较(n=5)

表4 算法优化前后动作2有轨迹引导下的评分比较(n=5)

在以健康人为对象的试验中，系统可以引导研究对象进行标准的康复动作训练，并对动作效果给出评价。但该康复游戏系统在评估方面存在一些不足，如参量评分中阈值的选取、评估结果中权值的设计等。我们将与康复治疗师合作，以患者为对象进行研究，探索合理的设计方案，完善该康复系统。

[1]陈彤,尹岭,李小鹰,等.老年人群脑卒中现患率及危险因素调查[J].中华老年心脑血管病杂志,2003,5(3):168-170.

[2]金玲,张通,赵军.虚拟现实康复技术对脑卒中患者上肢运动功能恢复的研究进展[J].中国康复理论与实践,2014,20(10):905-907.

[3]Proffitt R,Lange B.Considerations in the efficacy and effectiveness of virtual reality interventions for stroke rehabilitation:moving the field forward[J].Phys Ther,2015,95(3):441-448.

[4]Tsekleves E,Paraskevopoulos IT,Warland A,et al.Development and preliminary evaluation of a novel low cost VR-based upper limb stroke rehabilitation platform using Wii technology[J].Disabil RehabilAssist Technol,2016,11(5):413-422.

[5]王宏图.虚拟现实技术在脑卒中运动康复中的应用现状[J].中国康复理论与实践,2014,20(10):911-915.

[6]Ustinova KI,Leonard WA,Cassavaugh ND,et al.Development of a 3D immersive videogame to improve arm-postural coordination in patients with TBI[J].J Neuroeng Rehabil,2011,8(61):1-11.

[7]Da Gama A,Fallavollita P,Teichrieb V,et al.Motor rehabilitation using Kinect:a systematic review[J].Games Health,2015,4(2):123-135.

[8]王玉龙.康复功能评定学[M].北京:人民卫生出版社,2013:12-380.

[9]Geerse DJ,Coolen BH,Roerdink M.Kinematic validation of a Multi-Kinect V2 instrumented 10-meter walkway for quantitative gait assessments[J].PLoS One,2015,10(10):e0139913.

[10]Norouzi-Gheidari N,Levin MF,Fung J,et al.Interactive virtual reality game-based rehabilitation for stroke patients[C].International Conference on Virtual Rehabilitation,IEEE,2013:220-221.

[11]Meadmore KL,Exell TA,Hallewell E,et al.The application of precisely controlled functional electrical stimulation to the shoulder,elbow and wrist for upper limb stroke rehabilitation:a feasibility study[J].J Neuroeng Rehabil,2014,11:105.

[12]Wang S,Mao Z,Zeng C,et al.A new method of virtual reality based on Unity3D[C].International Conference on Geoinformatics,IEEE Xplore,2010:1-5.

[13]瞿畅,丁晨,王君泽,等.基于Kinect体感交互技术的上肢关节活动度测量方法[J].中国生物医学工程学报,2014,33(1):16-21.

[14]Almeida JE,Pinheiro NJJT,Faria BM,et al.Serious games for the Elicitation of way-finding behaviours in emergency situations[C].Information Systems and Technologies,IEEE,2014:1-7.

[15]胡永善,吴毅,朱玉连,等.规范三级康复治疗促进脑卒中偏瘫患者综合功能康复的临床研究[J].中国康复医学杂志,2004,19(6):418-421.

[16]李晓英.Brunnstrom康复训练程序在脑卒中患者中的应用[J].井冈山医专学报,2005,12(4):90-91.

[17]王红星,王彤,陈旗,等.三级康复干预对脑卒中偏瘫患者肌张力影响的动态分析[J].中国康复医学杂志,2006,21(9):807-810.

[18]蓝箭,孙娟,杨裕炳,等.基于Kinect骨骼追踪的控制方法的研究[J].仪表技术,2014(8):20-22.

[19]Clark RA,Bower KJ,Mentiplay BF,et al.Concurrent validity of the Microsoft Kinect for assessment of spatiotemporal gait variables[J].J Biomech,2013,46(15):2722-2725.

[20]Steinisch M,Tana MG,Comani S.A post-stroke rehabilitation system integrating robotics,VR and high-resolution EEG imaging[J].IEEE Trans Neural Syst Rehabil Eng,2013,21(5):849-859.

[21]Holden MK.Virtual environments for motor rehabilitation:review[J].Cyberpsychol Behav,2005,8(3):187-211.

[22]Broeren J,Claesson L,Goude D,et al.Virtual rehabilitation in an activity centre for community-dwelling persons with stroke.The possibilities of 3-dimensional computer games[J].Cerebrovasc Dis,2008,26(3):289-296.

[23]Jaffe DL,Brown DA,Pierson-Carey CD,et al.Stepping over obstacles to improve walking in individuals with poststroke hemiplegia[J].J Rehabil Res Dev,2004,41(3A):283-292.

[24]Chang YJ,Chen SF,Huang JD.A Kinect-based system for physical rehabilitation:a pilot study for young adults with motor disabilities[J].Res Dev Disabil,2011,32(6):2566-2570.

[25]Kitsunezaki N,Adachi E,Masuda T,et al.KINECT applications for the physical rehabilitation[C].IEEE International Symposium on Medical Measurements and Applications Proceedings,IEEE,2013:294-299.

Upper Limb Rehabilitation Game System Based on Somatosensory Technique:Assessment Module

HAN Zhi-feng1,CAO Lei1,YANG Wen-lu1,JIA Jie2,XIA Bin1
1.Department of Electronic Engineering,Shanghai Maritime University,Shanghai 201306,China;2.Department of Rehabilitation,Huashan Hospital,Fudan University,Shanghai 200040,China

XIA Bin.E-mail:binxia@shmtu.edu.cn

Objective To develop a upper limb motor function rehabilitation system based on somatosensory interaction technique,and test the work of assessment module.Methods A 3D rehabilitation game system was developed based on the skeletal tracking of Kinect and Unity3D.Five subjects were trained with four actions commonly used for upper limb rehabilitation with the trajectory guidance or without,and were evaluated with the system.Results The scores of all the actions were more with the trajectory guidance than without.Conclusion Upper limb rehabilitation training game system has been developed based on Kinect,which can guide patients for rehabilitation training through trajectory guidance and assess the outcome of rehabilitation quantitatively.

somatosensory interaction;upper limb;rehabilitation;assessment

10.3969/j.issn.1006-9771.2017.11.021

R496

A

1006-9771(2017)11-1341-05

[本文著录格式] 韩志峰，曹磊，杨文璐，等.基于体感技术上肢康复游戏系统的评价模块[J].中国康复理论与实践,2017,23(11):1341-1345.

CITED AS:Han ZF,Cao L,Yang WL,et al.Upper limb rehabilitation game system based on somatosensory technique:assessment module[J].Zhongguo Kangfu Lilun Yu Shijian,2017,23(11):1341-1345.

1.国家自然科学基金项目(No.61550110252)；2.上海市科委课题(No.14441900300)。

1.上海海事大学信息工程学院，上海市201306；2.复旦大学附属华山医院康复医学科，上海市200040。作者简介：韩志峰(1990-)，男，汉族，山西忻州市人，硕士研究生，主要研究方向：智能信息处理。通讯作者：夏斌(1975-)，男，汉族，贵州遵义市人，副教授，硕士生导师。E-mail:binxia@shmtu.edu.cn。

2017-03-12

2017-04-24)