基于虚拟现实技术的手功能康复评估训练系统的设计①

肖　阳，徐秀林，翟　艺，安美君



基于虚拟现实技术的手功能康复评估训练系统的设计①

肖阳，徐秀林，翟艺，安美君

[摘要]目的设计一种基于虚拟现实技术的手功能康复评估训练系统。方法利用5DT Data Glove 5 Ultra、Visual Studio 2010集成开发环境及DirectX 9.0开发组件，并基于MFC编程框架集成系统。结果和结论系统实现对患者手指功能状态评估、手势动作识别及三维环境虚拟训练，能够指导患者进行主动训练。

[关键词]手功能；手指；康复；评估；训练；虚拟现实

[本文著录格式]肖阳，徐秀林，翟艺，等.基于虚拟现实技术的手功能康复评估训练系统的设计[J].中国康复理论与实践,2016,22(3):341-344.

CITED AS:Xiao Y,Xu XL,Zhai Y,et al.Develepment of hand function rehabilitation evaluation and training system based on virtual reality technology[J].Zhongguo Kangfu Lilun Yu Shijian,2016,22(3):341-344.

脑卒中是导致患者永久残疾的主要原因之一[1]，严重影响患者的生活质量，增加家庭和社会的负担[2]，必须依靠长期康复才能逐渐恢复[3]。面对每年大量增加的脑卒中幸存者[4]，传统“一对一”的康复模式已无法满足社会的需求。随着计算机网络信息技术的发展，多种康复平台应运而生；康复训练方式从患者被动地简单训练到促进患者积极主动投入到训练中[5-6]。

手不仅能完成复杂运动，还具有精细感觉功能[7]。脑卒中患者手功能缺陷主要表现为屈曲挛缩，握持、侧捏、对掌、对指等功能丧失[8]。目前针对手功能的康复训练仍以传统的物理疗法为主[9-11]，患者被动参与，训练过程枯燥乏味，难以取得理想的康复效果。

研究表明，采用虚拟环境的训练模式可以有效提高患者主动参与积极性，从而达到良好的康复效果[12]。虚拟现实技术因其具有交互、想象和沉浸三大特征[13]，利用虚拟环境与现实的交互，给人以强烈的感官刺激[14-16]，可以极大提高患者主动训练的兴趣。

伊利诺伊大学于2014年开发的手功能康复训练设备[17]，主要由气动手套PneuGlove、数据采集与传输PC机和虚拟训练软件组成，实现3D虚拟屋的呈现，但设备缺乏康复评估功能。芝加哥康复研究中心设计一种虚拟键盘系统(Virtual Keypad System-AVK)[18]，实现对三维手指的模拟仿真以及针对每个手指的虚拟钢琴键训练，可以对患者康复程度进行初步评估。国内东南大学研发的手指康复训练辅助装置[19]，能实现单个手指康复训练，但无法对手指运动的协调性进行训练，且康复过程相对单调。

本研究设计一种基于虚拟现实技术的手功能康复评估训练系统。该系统基于虚拟现实技术，实现对三维虚拟物体的运动控制，包括手指功能评估、手势动作识别等模块，以期提高康复效率。

1系统设计

系统由三部分组成：数据传输设备、计算机、用户(User Interface,UI)系统软件。系统软件部分包括手指功能评估模块、手势动作识别模块、三维虚拟训练模块。系统总体框架如图1。

图1　系统框架图

数据传输设备采用5DT公司生产系列数据手套中的5DT Data Glove 5 Ultra[20-21]。5DT Data Glove 5 Ultra内含有5个光纤传感器，分布于5个手指；利用传感器的弯曲曲率并进行归一化处理模拟手指的屈曲角度(近指关节屈曲角度)。最高采样频率200 Hz。封装数据采集的API函数接口，提供二次开发平台。

系统软件的设计利用Visual Studio 2010集成开发环境，VC++编程语言，Office 2010组件中的Access数据库，DirectX 9.0开发组件。

2软件的设计与实现

UI系统软件部分主要包括手指功能评估、手势动作识别、三维虚拟训练三大功能模块。

2.1手指功能评估模块

该模块采集5DT Data Glove 5 Ultra数据手套上5个手指的数据，实现手指运动曲线图的动态显示和数据回放；根据数据手套中光纤传感器的弯曲曲率，对手指屈曲角度进行归一化线性拟合，并计算每个手指的最大屈曲角度及平均屈曲角度。

其中K表示曲率，Δs表示弧长，Δ∂表示弧两端点的夹角。

Xi表示传感器输出值，rawval表示传感器当前值，rawmax表示传感器最大值，rawmin表示传感器最小值，100表示近指关节的最大屈曲角度(拇指为90)。

数据采集频率为100 Hz，主要调用数据手套的接口函数(API)，主要包括：fdGlove *fdOpen(char *pPort)、int fdScanUSB(unsigend short *aPID,int &nNumMax)、int fdClose(fdGlove *pFG)、float fdGet-SensorScaled(fdGlove *pFG,int nSensor)，将采集到的数据动态显示到对应的功能区内。

手指运动曲线图绘制的采样频率为10 Hz，实现方式为自定义类CGraphView，包括数据的填充LoadGraphyData(DataBuff&dataShow)、显示DrawG-raphy(CDC* pDC,CRect rectCoord)、刷新DrawCoordinate(CDC* pDC,CRect rectCoord)等。手套的数据及手指运动轨迹的动态显示图如图2，左边曲线显示手指运动轨迹，右边数据显示手套传感器数据。

数据回放主要是对采集的数据重新进行动态绘图，为其分配内储空间，并进行读取回放，便于医生与患者及时查看。评估结果的查看模块主要是计算5个手指的最大屈曲角度和平均屈曲角度，使医生能够对患者手指的屈伸程度进行初步了解，并以此为依据设置后续训练的强度。数据回放与结果查看如图3，左边曲线显示运动轨迹的回放，右边数据显示五指屈曲角度最大值和平均值。

2.2手势动作识别模块

该模块根据Brunnstrom六级评价法[22]设计6种手势：握拳、拇指伸展、食指伸展、双指伸展、对指、五指平伸。患者需要根据计算机屏幕上随机出现的手势提示进行相应的动作；患者若能在规定时间内完成对应的手势，系统提示成功；反之失败。

系统通过API接口接收姿态数据，每隔1 s对传入的数据进行判断，根据30 s内患者完成该手势的次数判断此次手势动作是否完成。设计有30 s倒计时以提醒患者对时间的把握。

训练结果查看模块对患者每种手势的完成情况进行总结。结果查看如图4，左侧显示当前手势动作完成情况，右边数据显示每种手势的完成次数。

图2　手指功能评估模块：数据及手指运动轨迹

图3　手指功能评估模块：数据回放

图4　手势动作识别模块

2.3三维虚拟训练模块

该模块主要训练患者五指屈伸功能，根据五指的运动姿态控制虚拟人物的运动方向。

三维虚拟训练模块主要包括地形、人物、天空等虚拟场景的渲染(分别自定义三个类：CD3DMap、CSkinMesh、CSkyBox)，利用DirectX 9.0开发组件实现三维虚拟场景。

采集五指同步运动的数据，得到手指屈伸运动姿态，以此控制虚拟人物的运动方向。当五指的弯曲度之和>2.5时(五指处于深度屈曲状态)，虚拟人的运动方向为左；<2.5时(五指处于放松至平伸状态)，运动方向为右。

虚拟人物采用3ds Max建模软件进行三维建模，并保存为.X文件，然后由系统进行调用控制。三维渲染的流程图如图5。

图5　三维虚拟渲染流程图

3结论与展望

本系统实现了对脑卒中患者手指功能的康复评估及训练，可以为患者手部康复训练提供有效指导。系统具有如下特点：①所有模块均需患者主动参与，体现提高患者主动参与的设计初衷；②手指功能评估模块可以使患者对自己手指功能状态的实时了解；③手势动作识别模块根据系统设计的手势，可以了解患者整体手运动状态；④三维虚拟训练模块以现实环境中的手动作控制虚拟环境中的人物运动，增强患者主动训练的积极性。

由于手部结构的复杂性和精细性[23-24]，设计精确的康复评价机制，对患者手部的各项功能(各关节的屈伸，手指的对指、侧捏等)进行测试和定量评定，依然是手功能康复的难点和热点。随着计算机技术的发展，利用虚拟现实技术实现对手语的识别[25-26]，以改善听障人士的学习生活条件，也是康复领域的发展方向之一。

[参考文献]

[1]杨启志,曹电锋,赵金海.上肢康复机器人的研究现状的分析[J].机器人,2013,35(5):630-640.

[2]彭锦绣,王粤湘,张衍,等.城镇老年人生活状况及健康需求的调查研究[J].广西中医学院学报,2011,14(1):122-124.

[3]卢正秋.脑卒中患者社区康复的疗效观察[D].大连:大连医科大学,2012.

[4]翟艺,徐秀林.基于虚拟现实技术的上肢康复训练系统发展现状[J].中国康复理论与实践,2014,20(10):908-910.

[5]Krebs HI,Krams M,Agrafiotis DK,et al.Robotic measurement of arm movements after stroke establishes biomarkers of motor recovery[J].Stroke,2014,45(1):200-204.

[6]Cho S,Ku J,Cho YK,et al.Development of virtual reality proprioceptive rehabilitation system for stroke patients[J].Comput Methods Programs Biomed,2014,113(1):258-265.

[7]薛慧琴,乌兰图雅.AM-1000A神经功能重建仪治疗正中神经损伤后手部感觉功能康复疗效的观察[J].内蒙古医科大学学报,2013,35(s2):551-552.

[8]邢科新.手功能康复机器人系统若干关键技术研究[D].武汉:华中科技大学,2010.

[9]由丽,饶江,刘莉,等.作业疗法改善脑卒中后偏侧感觉障碍及手功能的效果[J].中国康复理论与实践,2012,18(7):638-639.

[10]王维,马跃文,杨巍.镜像疗法对脑卒中偏瘫患者上肢功能和手功能的影响[J].大连医科大学学报,2013,35(6):600-602.

[11]李芳华,刘靖,刘艳,等.运动针灸疗法对偏瘫患者手功能障碍恢复的临床观察[J].针灸临床杂志,2012,28(8):36-37.

[12]Levanon Y.The advantages and disadvantages of using high technology in hand rehabilitation[J].J Hand Ther,2013,26(2):179-183.

[13]肖喜玲,杨朝辉,黄剑,等.基于虚拟现实技术手功能康复训练系统的设计及临床应用[J].中国康复医学杂志,2014,29(6):537-541.

[14]王宏图.虚拟现实技术在脑卒中运动康复中的应用现状[J].中国康复理论与实践,2014,20(10):911-915.

[15]梁明,窦祖林,王清辉,等.虚拟现实技术在脑卒中患者偏瘫上肢功能康复中的应用[J].中国康复医学杂志,2012,28(2):114-118.

[16]Saposnik G,Levin M.Virtual reality in stroke rehabilitation:a meta-analysis and implications for clinicians[J].Stroke,2011,42(5):1380-1386.

[17]Tsoupikova D,Stoykov NS,Corrigan M,et al.Virtual immersion for post-stroke hand rehabilitation therapy[J].Ann Biomed Eng,2015,43(2):467-477.

[18]Thielbar KO,Lord TJ,Fischer HC,et al.Training finger individuation with a mechatronic-virtual reality system leads to improved fine motor control post-stroke[J].J Neuroeng Rehabil,2014,11:171

[19]张金龙,黄剑,杨朝晖,等.结合捏力采集与虚拟现实技术的手指康复系统[C].广州:中国自动化学会中南六省(区)2010年第28届年会,2010:227-230.

[20]5DT.5DT公司官方网站[OL].(2014-05-12).[2015-08-01].http://www.5dt.com.

[21]5DT.5DT-VR产品介绍[EB/OL].(2014-05-12).[2015-08-01].http://www.5dt.com/?page_id=115.

[22]纪树荣.康复医学[M].北京:高等教育出版社,2004:156-158.

[23]周春临,张红健,李芳,等.多功能手指关节康复仪的设计[J].制造业自动化,2011,33(14):148-150.

[24]王鹏,付宜利,王树国,等.创伤手指康复外骨骼手系统的设计[J].光学精密工程,2010,18(1):108-117.

[25]王凯.基于OpenCV的手语识别研究与实现[D].成都:电子科技大学,2012.

[26]王海鹏.基于视觉的手语识别技术研究与实现[D].成都:西南交通大学,2014.

·康复护理·

Develepment of Hand Function Rehabilitation Evaluation and Training System Based on Virtual Reality Technology

XIAO Yang,XU Xiu-lin,ZHAI Yi,AN Mei-jun
School of Medical Instrument and Food Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China

Correspondence to XU Xiu-lin.E-mail:xxlin100@163.com

Abstract:Objective To develop a system for hand function evaluation and training based on virtual reality.Methods 5DT Data Glove 5 Ultra,Visual Studio 2010 were integrated as the development environment and DirectX 9.0 as components,and the system was developed based on the MFC programming framework.Results and Conclusion The system can assess the fingers function,recognise gestures and can be used as a 3D environment for virtual training,which may guide the patients to take the training actively.

Key words:hand function;fingers;rehabilitation;evaluation;training;virtual reality

(收稿日期：2015-09-12修回日期：2016-01-07)

作者简介：作者单位：上海理工大学医疗器械与食品学院，上海市200093。肖阳(1991-)，男，汉族，江苏泰州市人，硕士研究生，主要研究方向：精密医疗器械。通讯作者：徐秀林，女，教授。E-mail:xxlin100@163.com。

基金项目：上海市科技支撑计划项目(No.14441905100)。

DOI:10.3969/j.issn.1006-9771.2016.03.023

[中图分类号]R496

[文献标识码]A

[文章编号]1006-9771(2016)03-0341-04