数据传感设备在上肢康复训练中的应用研究*

张旭辉,吕欣媛,王妙云,魏倩楠,王 恒,杜昱阳

(1.西安科技大学 机械工程学院,陕西 西安 710054;2.陕西省矿山机电装备智能监测重点实验室,陕西 西安 710054)

0 引 言

肢体运动功能受损是脑卒中等疾病常见的后遗症症状,而上肢功能障碍往往是患者日常生活能力下降的主要因素[1～3]。目前,针对上肢的康复训练多为依赖治疗师对患者进行重复的机械式训练,患者主观意识与辅助训练无法有效配合,导致康复效果不佳。因此,急需新的康复手段引导患者进行有效的训练[4]。

目前已有不少学者在将虚拟现实(VR)技术应用于康复训练方面进行了深入的研究[5]。罗格斯大学开发了一种名为Rutgers Arms Ⅱ的康复训练系统,通过运动跟踪、重力以及VR游戏来实现手臂的康复训练,增加了训练的趣味性和多样性,但缺陷在于不能实时对患者的康复情况作出评价;Cho S 等人[6]利用本体感觉反馈刺激大脑神经产生运动意图,为康复训练提供了新的思路,但与视觉反馈相比,其沉浸感和趣味性会有所下降;陈东林等人[7]设计了基于HTC VIVE的上肢康复训练系统,利用VR手柄与康复训练游戏进行交互,但上肢功能障碍患者运动时手部姿态变化极为轻微,故采用抓握手柄的方法难以达到预期效果。

在前人的研究基础上,本文引入数据传感设备应用于上肢功能障碍人群中,融合VR技术为患者提供沉浸式和趣味性的训练体验,解决了患者主动参与积极性差且抓握实物困难而导致训练效果不佳的问题。利用Unity 3D软件与C#语言编程搭建软硬件环境,结合传感器技术与数据库技术采集并保存患者训练时的上肢主要关节运动信息,实时监测患者运动时的身体情况,并对其进行康复效果评定，以便及时更新患者的训练计划。该方法在调动患者主动训练积极性的同时,既提高了康复训练的效率,又减少了目前医疗师与患者存在“一对多”的资源压力。

1 系统总体设计

1.1 总体设计思路

在VR交互中,计算机必须通过各种传感器设备实时检测、分析、处理用户的姿态变化情况、生理参数、语音等多种信息,并将其处理结果及时反馈给用户,从而发挥参与在虚拟环境中的沉浸感和主动性[8]。本文选用数据手套和VR眼镜作为传感设备实现人机交互,利用Unity3D软件和C#语言开发虚拟训练环境。

数据手套采用WISEGLOVE 7+系列位置跟踪数据手套。如图1所示,它可通过分布在手掌重要关节的7个柔性弯曲光纤传感器和分布在手臂活动关节上的3个惯性传感器来实现上肢位置移动和姿态捕捉功能[9]。

图1 数据手套

VR眼镜采用HTC Vive眼镜,它利用激光扫描定位技术提高了定位精度。除了身体动作以外没有其它形式的用户输入条件,并减轻了患者肢体上的额外负担[7]。

总体设计思路如图2所示，患者佩戴数据手套与VR眼镜进入VR游戏中进行训练,数据手套采集患者的姿态变化数据传输到虚拟场景中,驱动场景产生相应的变化,其上肢运动信息与游戏数据存储进数据库中，以供治疗师对比、观察和分析，从而判断患者的康复程度和训练效果;VR眼镜通过视觉反馈刺激患者大脑神经中枢促进大脑神经元重塑,并根据系统提示引导患者主动进行训练。

图2 康复训练系统设计思路

患者训练方案的制定与更新通过康复效果评价实现[10],根据确定时间内系统指定任务的完成度和传感器所采重要关节的活动情况，确定障碍级别,同时结合肌力受损程度生成患者信息,据此为患者制定康复计划。在执行训练计划一个或多个周期后,再次对患者进行康复效果评价，并更新训练方案。训练过程中,治疗师可以通过传感器所采数据实时监测患者的训练状态,以实时判断该训练方案是否可行并及时对其进行调整。康复评价过程如图3所示。

图3 康复评价过程

1.2 多级康复训练任务规划

由于不同患者的运动功能受损程度差异,且遵循康复训练难度应逐级递增的原则[11]。如表1所示,设计多级训练模式以供患者选择。

表1 多级训练任务规划

初级训练模式针对康复训练初期的患者,其手部运动轨迹简化为A-B-C-A。以桌面为X-Y平面,在X-Y平面内将物体从A点移至C点。该运动所涉及的肩、肘关节均为X-Y平面内轻微的内收/外展运动,通过“拾取→移动静态模型”训练患者的抓握能力。

高级训练模式针对康复训练中后期的患者,其手部的运动轨迹简化为A-B-C-D。

以桌面为X-Y平面,垂直桌面方向为Z轴,将物体从A点移至D点并作出投掷动作。相比于初级模式,还涉及Z轴方向的上旋/下旋运动,且运动幅度较大。通过“锁定→拾取→移动→投掷动态模型”训练上肢的抓握能力、协调能力、手眼配合能力等。

2 基于数据手套的人机交互方法

2.1 基于四元数的手部姿态解算算法

手部姿态及位置的解算是通过将传感器在载体坐标系下测得的数据转换至导航坐标系,从而得到手部在空间中的位置与姿态。在众多解算方法中,四元数法计算量小，精度高，可避免奇异性[12]。四元数是由4个实数q0,q1,q2,q3和3个相互正交的单位向量i,j,k组成。其一般表现形式为

q=q0+q1i+q2j+q3k

(1)

四元数表示旋转时,实部表示角度大小,虚部表示转动方向。手掌在空间中的位置定位由坐标系之间的转换来实现,具体通过横滚角φ、俯仰角θ、偏航角γ的连续转动实现。

标量部分q0,q1,q2,q3的初始值由欧拉角的初始值计算所得,其微分方程的矩阵形式为

(2)

(3)

则

(4)

式中q(t)为初始时四元数,T为四元数更新周期,q(t+T)为更新后的四元数,K1为在周期T初始时的斜率,K2与K3为1/2周期T/2处的斜率,K4为周期T结束时的斜率。

根据K1,K2,K3,K4这4个参数的更新值,可由姿态阵T更新欧拉角[12]

(5)

其姿态解算的转换矩阵为[13]

T=

(6)

由式(5)与式(6)可得姿态角

(7)

根据式(7)可得到载体在导航坐标系下任何时刻的姿态估计。

2.2 传感器标定

数据手套上的传感器采集到的数据通过微处理器经由RS—232接口传向主机,从而驱动计算机内的虚拟手同步运动,其中柔性光纤传感器测量手指关节弯曲角度,由陀螺仪与加速度计组成的惯性测量单元分别测量空间中手臂运动的角度和加速度,并解算出手臂的姿态、速度以及位置信息等。

传感器值设置在A(最小值)和B(最大值)之间,数据手套采集到的传感器原始数据范围是0～255,若当前手套值是C,则满足关系A

if(C>B) thenB=C

if(C

以此便保证了当前值C始终在A和B之间。若采集到的某个手指的活动角度是E,则当前的弯曲角度F可以通过式(8)转换得到

(8)

据此设定手指的归一化活动范围为[0,1]：

当(C-A)/(B-A)<0.5时,手指动作为开;

当(C-A)/(B-A)>0.5时,手指动作为合。

通过这个函数关系定义每个手指的开合,组成各种自定义手势,以执行程序预定义的各种指令[14]。动作姿态捕捉如图4所示。

图4 动作姿态捕捉

2.3 基于距离检测的抓取响应实现

2.3.1 碰撞检测

碰撞检测是为了防止虚拟手与目标物体之间发生“穿透”现象。这里采用包围盒算法进行碰撞检测,在满足精度的条件下,该算法能加快检测速度[15]。如图5所示,以食指为例,根据关节位置添加3个胶囊碰撞体,将未发生碰撞的部分排除在计算之外,将需要被进行精确检测的部分限制在很小的范围之内,确保手指无法“穿透”小球。

图5 胶囊体包围盒

2.3.2 抓取响应

在虚拟手可以触发碰撞的基础上,采用距离检测的方法来实现虚拟手的抓取响应。如图6所示,在虚拟手掌心处添加Object物体并为其添加盒子碰撞器,当盒子碰撞器与目标物体之间的距离小于一定值,同时拇指与食指、中指、无名指之一角度符合要求,则可驱动虚拟手与目标物体之间实现抓取响应。该方法相比于单纯靠手指胶囊体碰撞检测实现抓取，缩短了响应时间并且提高了检测精度。

图6 抓取响应

3 系统验证

试验根据人体上肢运动规律提取3个主要动作,即人坐在距离桌面一拳左右的椅子上，佩戴数据手套完成抓取、移动、投掷动作。如图7所示,连接数据手套并运行,当用户手部做出抓取动作时,虚拟手会做出相同的动作,用户通过移动自己手臂来调整视野中虚拟手的位置至小型篮球架处,放松手掌,便可将小球投掷进篮球架中,在屏幕左侧可显示各传感器数值和小球抓取数。

图7 实验过程

手掌7个主要关节位置传感器标记为sensor0,sensor1,sensor2,sensor3,sensor4,sensor5,sensor6,系统运行时testwave.exe动态显示传感器的运动数据曲线。如图8所示,选择相应传感器显示用户相应关节变化曲线(毫秒为单位),从曲线的变化趋势可以分析对应关节的活动情况。

图8 相关关节变化运动变化曲线

图8中展示了用户进行抓取动作时,1 s内手掌7个主要关节的变化情况。当手掌没有发力动作而处于放松状态时,传感器显示其最小值为0,当手掌开始动作时,传感器检测到相较于手掌处于放松状态时的动作变化,关节弯曲程度越大,传感器显示值越大,曲线波动越明显。根据图8得到其所采最大值如表2所示。

表2 抓取姿态下手掌主要关节处传感器最大值

结果表明,在用户手掌姿态变化非常轻微时,曲线波动变化明显,且7个主要关节弯曲最大值均在1 500以上,可以实时监测患者的关节活动情况,并实现人机交互与虚实同步，从而达到训练上肢的目的。

4 结 论

本文将数据传感设备应用于上肢康复训练中,提供了在常见疗法中无法实现的视觉反馈与感觉运动经验,为传感器技术的应用提供了新的思路。通过数据手套与虚拟模型进行交互,在很大程度上调动了患者的积极性。结合传感器技术采集并监测患者的上肢主要关节运动信息,以便医疗师及时更新训练计划。对实现高效性的康复训练具有重要意义。

目前,该系统处于初步研究阶段,未应用于临床试验,具体不足表现在：1)训练方案不能自动生成和更新,需要医疗师结合各项评估内容为患者制定训练方案;2)对患者的信息采集不够完善,未涉及患者的心理参数(如心率、呼吸频次等)与心理状态(是否有消极、抑郁倾向等)评估。因此,后续研究将继续改善系统的智能性。使得该系统能为肢体功能障碍患者提供更加完善的康复训练。