基于镜像疗法的上肢手功能康复游戏系统设计

梁爽 邹任玲

摘 要：为改善传统镜像疗法训练形式单一、效率低下、受康复训练师数量限制等缺点，将传统镜像疗法与虚拟现实技术结合，利用虚拟现实的高沉浸感和目的导向，提高镜像疗法效果。基于镜像疗法的上肢手功能康复游戏系统使用5DT数据手套和MPU6050作为数据采集装备，获取健侧手指弯曲度和患侧腕部弯曲度，作为游戏输入控制，在游戏中控制双手的弯曲和移动。利用5DT数据手套和MPU6050实现手部抓握和移动同步，实现镜像治疗效果。将虚拟现实技术应用于镜像治疗，突破了镜像治疗的限制，使患者体位更加舒适，加强了任务导向性，提高了治疗效果。

关键词：镜像疗法；虚拟现实；手功能康复

DOI：10.11907/rjdk.172933

中图分类号：TP319

文献标识码：A 文章编号：1672-7800（2018）006-0116-04

Abstract：In order to improve singleness，dullness low efficiency and restriction of the traditional mirror therapy training， this paper designs a rehabilitation system of upper limb hand function based on mirroring therapy. It combines mirroring therapy with virtual reality game， and uses the virtual reality of immersion and purpose orientation to increase the effect of mirror therapy. The rehabilitation system of upper limb hand function based on mirroring therapy using 5DT data gloves and MPU6050 as the data acquisition equipment to get access to the curvature of the contralateral finger and the curvature of the affected wrist as the game input data to control the bending and moving hands in the game. The result shows that the rehabilitation system of upper limb hand function based on mirroring therapy can apply virtual reality technology to the mirror treatment， employs the 5DT data glove and MPU6050 to achieve hand grasping and mobile synchronization to fulfill mirror therapy. The Conclusion is that the virtual reality technology can be applied to mirror therapy， which can break the restriction of mirror treatment， offer more comfortable position for patient， strengthen task orientation and enhance therapeutic effect.

Key Words：mirror therapy； virtual reality； hand function recovery

0 引言

镜像疗法（Mirror Visual Feedback，MVF）由Ramachandran等[1] 于1995年首次提出并应用于上肢康复领域。镜像疗法通过于视觉反馈诱发患侧活动，使未受损伤的半脑和损伤的半脑进行交互，从而诱导运动皮层神经网络重组，促进大脑皮层神经的可塑性[2-3]，达到消除异常感觉或恢复运动功能目的，该方法疗效显著，目前已广泛应用于临床[4-5]。

传统的镜像疗法依靠镜子反射，将镜子放置在患肢和健肢中间，患肢放在镜子后面，健肢放在镜子前面[6]。患者按照医生指示尽可能使患肢与健肢做相同动作，当患者同时移动双侧肢体时，会将镜子中健肢的移动当成患肢的移动。该方法受到装置限制，患者训练范围受到约束，而且患者必须在医师的指导下才可进行；镜像康复训练动作由康复师主观决定，形式单一，难以调动患者积极性，导致康复效率低下[7-9]。

本文将虚拟游戏交互系统引入镜像疗法中。虚拟现实技术有很高的沉浸感，可实现触觉、视觉、听觉等多种感官刺激，使患者很好地与虚拟场景中的对象进行信息交互，解决了传统康复医疗的弊端，提高了整体康复训练效果。

1 系統设计

1.1 下位机系统硬件设计与数据处理

基于镜像疗法的上肢手功能康复游戏系统采用上下位机结构。下位机数据采集系统由5DT Data Glove Ultra Series （5DT数据手套）、MPU6050传感模块组成。5DT数据手套通过USB口将手指关节运动数据传输至计算机，MPU6050传感模块（传感器、单片机）通过串口将腕关节运动数据传输至计算机。

1.2 5DT数据手套

5DT数据手套采用光纤传感器， 该传感器通过对光的偏振、相位、强度、波长、频率等进行调制，利用检测器获得调制结果。通过计算传感器的弯曲曲率，模拟手指的屈曲程度，获得被测手指的功能状态，见式（1）。

其中，K表示曲率，ΔS表示弧长，Δ表示弧两端的夹角。数据手套驱动可将传感器的弯曲角度线性转换为0～4 095之间的整数（伸直为最小值，弯曲180度为最大值）。手指运动具有一定范围，而手指的极限位置会形成传感器的最小弯曲和最大弯曲，从而得到传感器的最小数值rLow和最大数值rUp。SDK中的标定方法可通过式（2）将当前的原始数值rVal线性映射为[0，1]区间内的数值scaled，从而实现归一化[10]。

1.3 腕关节数据传输设备

腕关节数据传输设备由采集信号的传感装置MPU6050、电源控制器MSP430f149和信号传输无线蓝牙模块组成。基于2IC通信协议读取MPU6959的X、Y、Z三轴的加速度信号和角速度信号，将采集到的数据经串口发送至上位机。

MPU6050通过测量每个轴转动的角速度判别物体运动状态。系统要求获得倾斜角度的位置信息，为了实现加速计算倾斜角度的分析方法，建立三轴陀螺仪姿态识别模型[11]。假设t-0时刻绕Y轴旋转角度为A-xz0，经过时间Δt后旋转角度为A-xz1，则物体绕Y轴旋转的角度变化率计算公式为：

将陀螺仪Y轴输出的角度变化线性相关值带入式（5），可得出物体绕Y轴旋转时的角度变化率：

其中，Rate-Axz表示物体绕Y轴旋转的角度变化率，AdcGyro-xz表示陀螺仪输出的角度变化率线性相关值，V-ref表示ADC参考电压，n表示ADC位数，V-ZeroRate表示陀螺变化率为零时的输出电压值，Sensitivity表示陀螺仪灵敏度（单位：mV/（deg/s ））。同理可得物体绕X轴、Z轴旋转的角度变化率。

在获取每个轴的角度变化率之后，对角度变化率积分，即可求出t时间内每个轴旋转的角度。加速度计和陀螺仪直接输出的数据误差较大，并不能直接用于受试者关节活动度的评定，还需要进行滤波和融合处理。

为了减少均方误差，本设计使用卡尔曼滤波器方法对数据进行处理。滤波器估计某一时刻的状态，然后以（含噪声）测量变量的方式获得反馈。

时间更新方程和测量更新方程计算完成后，将上一次计算得到的后验估计作为下一次计算的先验估计，整个过程再次重复。时间更新方程可视作预测方程，状态更新方程可视作校正方程，最后的估计算法成为一种具有数值解的预估——校正算法。

2 上位机虚拟现实游戏系统

2.1 虚拟手模型

为使所有资源可以在Unity3D中使用，需先在Assets中创建文件夹，将手部模型、贴图、脚本等全部文件放在该文件夹中。

解剖学研究表明[12-13]，手部骨骼主要由手掌关节和手指关节组成，关节间可以相对转动，关节运动状态决定手的姿态。为保证虚拟手能够模拟真实手的各种姿态，本文根据手的解剖结构和运动特征，采用实体建模方法建立了虚拟手实体模型，该模型由手掌、5根手指和手臂组成。每个手指由3个关节组成，分别为根关节、中关节和顶关节，如图1所示。手掌实体和每个关节实体都可通过函数控制其运动。相连关节之间遵循铰链运动约束关系，即两者可以相对运动但不能移动。在虚拟手的关节模型中，关节之间的连接箭头表示关节之间父子关系，箭头根部为父节点，头部为子节点。父节点的运动状态传递给子节点，而子节点的运动状态对父节点不产生影响[14]。

2.2 联动镜像游戏控制阈值设计

“联动镜像游戏”集康复训练与认知训练于一体，患者需要抓握正方体，并将正方体移动到与其颜色相同的平面上。正方体有3种不同大小，分别对应现实生活中不同大小物体，大正方体对应杯子等直径大的物体，中正方体对应小型盒子等物体，小正方体对应电池等直径小的物体。同样选取10个自然人，分别抓握每个物体10次，实验选用的3个物体直径分别为7.5cm、5cm、1.5cm，如图2所示。

计算五指弯曲度平均值并四舍五入，数据记录如表1所示。

根据以上数据分析，由于抓取物体时手指弯曲较小，为防止出现误差，所以无名指和小拇指数值取最大，当五指数据（拇指、食指、中指、无名指、小拇指）满足（>0.3，>0.4，>0.5，>0.2，>0.2）时，认定物体1抓握成功；当五指数据满足（>0.5，>0.4，>0.5，>0.3，>0.3）时，认定物体2抓握成功；当五指数据满足（<0.6，>0.4，>0.7，>0.6，>0.5）时，认定物体3抓握成功。

使用阈值判定的手部动作控制如图3所示。

2.3 socket数据传输

本系统主程序服务端与游戏客户端采用socket通讯模式进行数据传输。首先进行两个socket的初始化工作，接着进行“三路握手”，完成socket的连接建立。服务器系统调用Recv（）进行数据获取，客户端可通过调用Send（）进行数据发送，如图4所示。本系统在相同主机进程之间通讯，服务器端IP地址为"127.0.0.1"，端口号设置为6666。

5DT数据手套和MPU6050数据在服务端按照协议打包，通过socket通讯传送到客户端，在客户端按照协议进行拆包，将数据用于游戏控制。

3 康复游戏设计

本系统设置镜像训练时，游戏需要患者双手操作，患者将5DT数据手套佩戴于健侧，将三轴陀螺仪佩戴于患侧。游戏开始时，后台会根据患者情况生成患侧手臂，由患侧手臂控制游戏中虚拟手的移动，由健侧手控制游戏中虚拟手的抓握。游戏时患者会不自觉地用控制移动的患侧手进行抓握动作，较传统镜像训练增加了患者的主动参与度。由于虚拟现实环境的真实性，当游戏中的手臂進行抓握动作时，会在一定程度上“欺骗”患者认为患侧手也可以进行灵活操作，从而达到康复训练目的。

虚拟训练软件系统采用服务端方式进入。服务端与数据库相连，医师输入患者编号，自动弹出患者信息，信息确认无误后进入游戏。游戏训练时，患者的视野很小，当患者抓取到木块时需要不断移动，以找到目的地。当木块准确放置到相应位置时，系统会播放一段音乐提示正确。患者通过不断抓握、移动、松手，将所有木块放到对应的位置上，如图5所示。通过手部动作与手腕的转动做康复训练，通过左右手完成镜像训练，通过颜色识别完成认知，游戏集成了镜像与认知的康复训练。训练过程中，双手同时参与的运动可增加患者双手的协同运动能力；患者在尝试使用患侧手进行运动时，能看到患侧手做完整的动作，达到镜像训练目的；同时，游戏设定目的导向，使康复训练效果更好。

4 结语

基于镜像疗法的上肢手功能康复游戏系统，将镜像疗法与虚拟现实相结合，针对偏瘫患者的上肢康复进行训练。采用数据采集与虚拟游戏相互独立的结构，代码分开管理，避免了不同模块间的相互影响，运行加载速度更快。本系统将手指关节和腕关节都参与到游戏控制中，实现了双手及手腕的协调运动，替代临床采用镜子的传统镜像训练疗法，避免了康复师繁琐的体力劳动，提高了康复效率。多样化的真实虚拟场景提高了患者康复的兴趣，达到最佳康复训练效果。但系统服务端功能及外观还需优化，要扩展数据库功能，增加游戏数据存储、历史游戏数据显示等功能。

参考文献：

[1] RAMACHANDRAN V S，ROGERS RAMACHANDRAN D，COBB S.Touching the phantom limb[J]. Nature， l995，377（6549）：489-490.

[2] KIM H， MILLER L M， FEDULOW I， et al. Kinematic data analysis for post-stroke patients following bilateral versus unilateral rehabilitation with an upper limb wearable robotic system[J]. IEEE Trans. Neural Syst Rehabil Eng， 2013，21（2）：153-164.

[3] CAURAUGH J H， SUMMERS J J. Neural plasticity and bilateral movements： a rehabilitation approach for chronic stroke [J]. Progress in Neurobiology， 2013，75（5）：309-320.

[4] 王峻瑶，黄真.镜像视觉反馈及其在康复医学中的应用进展[J].中华物理医学康复杂志，2012，34（1）：70-73.

[5] DOHOLE C， PLLEN J， NAKATEN A， et al. Mirror therapy promotes recovery from severe hemiparesis： a randomized controlled trial [J]. Neurorehabil Neural Repair， 2009，23（3）：209-217.

[6] 沈芳，王晶，曾明.镜像疗法在脑卒中偏瘫患者上肢运动功能康复中应用的研究进展[J].中国康复医学杂志，2016，31（5）：590-593.

[7] OYAMA H， WAKAO F. Evaluation of a virtual reality system for medicine： virtual systems and multimedia[C]. VSMM '97. Proceedings， International Conference on， 1997

[8] 岳宏，王小龙，张娟.虚拟现实在手臂外骨骼康复系统中的应用[J].科技通报，2006，22（1）：111-114.

[9] FREUND E， ROSSMANN A. Decentralized virtual reality： making the move to multi-user- and multi-screen virtual worlds： Intelligent Robots and Systems[C].Proceedings，2001 IEEE/RSJ International Conference on， 2001.

[10] 孫素梅，陈洪耀，尹国盛.光纤传感器的基本原理及在医学上的应用[J].中国医学物理学杂志，2008，25（5）：846-850.

[11] 佟昭，张志利，梁丰，等.基于Unity和5DT数据手套的虚拟手仿真研究[J].电脑知识与技术，2015，11（21）：186-189.

[12] 王洛夫，张正治，刘正津.指屈肌腱鞘滑车系统的巨微解剖学研究[J].解剖学报，1998，29（4）：342-346.

[13] LIU J S， YAO Y X， LI J G. Virtual manipulation based on data glove in virtual assembly [J]. Journal of System Simulation， 2004，16（8）：1743-1747.

[14] 殷磊，韩静，王烨，等.虚拟现实环境下虚拟手控制技术研究[J].系统仿真学报，2009，21（2）：448-456.

（责任编辑：杜能钢）