Kinect体感交互技术及其在医疗康复领域的应用①

丁晨，王君泽，瞿畅，高瞻

富有沉浸感和操纵感的人机交互技术是虚拟现实学科研究者的追求目标。随着3D技术的日益发展和对各个领域不断的渗透，对人机交互技术所能带来的沉浸感和生动性的要求亟待提高，作为最新兴的人机交互技术，体感交互技术成为当前的研究热点[1-2]。

Kinect是目前最为人们熟知的体感设备，它是微软公司于2010年11月4日推出XBox360游戏机体感周边外设的正式名称，起初名为Natal。Kinect以低廉的价格和崭新的方式，将体感交互融入到用户的生活中。Kinect彻底颠覆了游戏的单一操作，使人机互动的理念更加彻底地展现出来。用户无需适应游戏手柄上的摇杆和按键，用身体即可直接控制游戏[3]。2012年的CES 2012大会上，微软正式发布了Windows版Kinect体感外设和Kinect for Windows SDK软件开发工具包1.0正式版。

许多变革是由娱乐开始，而将Kinect的体感交互技术引入到虚拟现实领域正是人机交互方式变革的又一个起点，使得体感交互技术被誉为继鼠标和多点触摸技术之后的“第三次人机交互革命的原点”。

1 Kinect体感交互技术简介

Kinect体感设备共有3个摄像头，中间是RGB彩色摄像头，左右两边分别为红外线发射器和红外线CMOS摄像头。Kinect搭配了追焦技术，底座马达会随着对焦物体移动而转动。Kinect内置麦克风阵列，用于语音识别。Kinect主要有三大功能：

1.1 3D影像侦测

Kinect利用红外线发射器发出连续光(近红外线)，通过红外线CMOS摄像机记录空间的每个散斑，结合原始散斑图案，对测量空间进行编码。感应器读取编码的光线，由芯片运算进行解码，生成3D深度的图像。

1.2 人体骨架追踪

将侦测到的3D深度图像，转换到骨架追踪系统。该系统最多可同时侦测6人，包含2人动作追踪，可记录包含躯干、四肢以及手指等20组细节。

1.3 音频处理

Kinect的音频系统采用四元线性麦克风阵列技术、先进的噪音抑制、回声消除以及用于识别当前声源的波束形成等技术。

Kinect对用户进行动态捕捉和麦克风输入，通过影像和语音辨识，转换到骨架追踪系统，与应用程序进行交互，从而完成整个系统的工作目标。

Kinect的核心技术是PrimeSense公司体感侦测装置Prime-Sensor的Reference Design。Reference Design能够实时生成场景的深度、色彩和音频数据。在Reference Design基础上对其进行深入研究和二次开发，将这一技术与自主研发的虚拟现实平台相结合，经过图像识别分析、图像跟踪算法将Reference Design提供的深度信息转化为人体的骨骼节点数据，并嵌入到虚拟现实平台中，能让计算机像人类一样感知三维世界并将其转换成同步影像，有效突破了虚拟交互过程中需要配戴复杂动作捕捉设备的限制，进一步扩大虚拟现实的应用范围。

2 Kinect体感交互技术在医疗康复领域的应用

基于Kinect的体感技术从最初的游戏产业领域迅速向医学、建筑[4]以及网络[5-6]等领域渗透。在医学领域中，Kinect体感技术目前主要应用于医疗康复、医学影像学[7-8]和心理学[9]。尤其在医疗康复领域，Kinect体感技术发展十分迅猛。

在医疗康复领域，目前Kinect体感技术主要用于患者的主动运动训练与康复治疗，适用于社区与家庭康复。利用Kinect体感技术开发出的康复训练系统可以替代许多繁琐复杂的传统器材，为广大患者在社区与家庭更有效地得到康复服务提供帮助。

2.1 认知障碍的康复

Chang等开发了基于Kinect的Kinempt系统[10]。Kinempt系统用于认知障碍患者的工作提示训练，该系统模拟了一套针对认知障碍患者的比萨饼店快速配餐的康复训练。计算机将任务指令以视频的形式将反馈信息实时显示在一台42英寸LCD显示器上。受测的两位患者中，一位是患有轻度痴呆症的31岁女性患者，另一位是患有脑损伤及偏执型精神分裂症的39岁男性患者。受测患者在Kinempt系统的语音激励作用下，进行比萨饼馅料的选择。Kinempt系统利用Kinect传感器对患者手部及其腕部的动作进行干预，对动作的正确性进行验证：若患者配餐动作准确，系统语音模块给予鼓励；若患者配餐动作有误，语音模块提示错误并进行纠正。在无Kinempt系统干预的1-5以及11-12阶段的康复疗程中，患者训练成功率在20%～60%之间；在有Kinempt系统干预的6-10和13-17阶段的康复疗程中，患者训练成功率在90%以上。

为了减缓老年人脑力衰退，预防老年痴呆，Chen利用Kinect传感器，开发了能提升老年人认知功能的体感交互游戏[11]。该游戏的首批试用者是53位常年使用轮椅的老年人，试用者必须有言语沟通能力和基本的生活自理能力。而整个游戏分为“追寻箭头”、“对号入座”和“打松鼠”3个子游戏。在“追寻箭头”游戏中，游戏体验者要在5 s内用双臂指出屏幕中从5个不同方向弹出的红色箭头以完成单个操作任务，并在1 min内完成20个操作任务；在“对号入座”游戏中，体验者用双手将屏幕中的大量图形符号按形状一一配对，并且要在1 min内完成15个组配对；在“打松鼠”的游戏中，体验者需要观察屏幕中4棵松树的状况，用手触击树上出现的红、绿色松鼠来得分，避开金色松鼠以免减分，而游戏时长同样为1 min。试用者每周进行3次游戏训练，每次训练30 min，其中包括5 min热身，20 min的互动游戏以及5 min恢复调整。衰老会导致中枢神经系统退化，神经系统传导精确度降低，老年人的反应时间会越来越慢，手眼协调能力变差。通过视频游戏的训练可以改善认知能力，消除认知障碍的隐患。为了验证Kinect视频游戏能够提升试用者反应速度，他们利用维也纳心理测验系统的S9反映测试模块对试用者进行测试。为了验证试用者手眼协调能力的提升，他们引入一套“翻汽水罐”的实物训练游戏，测试桌上画有6个圈，1、3、5号圈中各放有一个汽水罐，游戏内容就是依次将1、3、5号圈中的汽水罐分别翻转并放在2、4、6号圈中。试用者在4周的Kinect视频游戏体验前后均进行这两项测试，反应速度有不同程度的提升，而手眼协调能力有明显的改善。

2.2 运动障碍的康复

为了对青年运动障碍患者的运动康复治疗进行指导，Chang等开发了基于Kinect的Kinerehab系统[12]。该系统利用Kinect传感器的图像处理技术检测运动障碍患者的运动信息。受测的两例患者中，一例是患有因脑瘫引起的上肢僵化与先天性肌无力的17岁男性患者，另一例是患有肌肉萎缩并且肌无力的16岁女性患者。受测患者依次进行双臂前举、侧举以及上举的康复动作，整套动作缓慢并且连贯。系统将Kinect传感器捕获的患者关节点位置与计算机中的数据库进行匹配，计算出动作到位的精准程度。系统以“鲸鱼甩尾唱歌”的动画形式(患者动作准确性越高，鲸鱼尾部摆动越活跃，歌声越响亮)反馈在显示设备上，对患者进行干预和指导，从而检验康复效果。在无Kinerehab系统干预阶段，因无法得到反馈的动作指导，受测的两例患者动作准确率较低；在有Kinerehab系统干预阶段，由于Kinerehab系统的影音提示，受测患者训练动作的准确率显著提高。

提高运动障碍患者受损或病变的神经系统运动机能的可塑性和后续恢复能力的最有效方法是大运动量康复训练[13]。为了达到这一目的，Belinda等结合虚拟现实与电视游戏技术，将三维模型与场景通过Unity3D三维引擎导入到开发平台中，开发出适宜于脊柱损伤和脑外伤患者进行平衡康复训练的游戏[14-15]。参与该平衡康复训练的20例患者(16例男性，4例女性)中，10例为脑卒中患者，3例为创伤性脑损伤患者，另外7例为脊髓损伤患者。在游戏过程中，系统用虚拟人反映患者的形象姿势和运动状态，Kinect传感器实时准确地进行影像追踪。患者通过接收到的反馈信息进行肩、肘等部位的平衡调整，实现与虚拟人的实时互动，从而提高自身的平衡感知能力，达到训练目的。整个游戏分为多个训练阶段，患者在每个阶段都需要完成相应的训练指标，计算机会进行评分和数据存储，验收患者的康复成果。在受测的患者中，其中8例未能按要求的体姿完成训练，另外12例在医疗师的辅助下被动地进行肩部的屈曲、外站以及外旋等科目训练，完成预定的动作。

Alana等设计出一套基于Kinect的针对肩、肘部运动康复训练的系统[16]。在康复训练过程中，患者保持双肩等高，进行手臂自下而上的侧举运动。受测患者若保持正确的体姿，系统交互界面的信息栏会实时显示关节的活动度(手臂从体侧外伸至水平位置，即0°～90°)。如果动作未能达到要求，系统会通过提取Kinect传感器捕捉的深度图像，计算肩部与肘部在冠平面(将人体分成前、后两个部分的平面)内的夹角(肩、肘节点连线与肩、髋节点连线所形成的角度)，对患者进行动作纠正指导。纠正主要包括手肘部的弯曲纠正和平面偏离纠正。当肩、手节点连线矢量与冠平面的法矢量夹角不等于90°，系统报错，提示患者手肘部运动偏离冠平面；当肩、肘节点连线与肘、手节点连线的矢量和不等于肩、手节点连线的矢量，系统报错，提示患者手肘部产生了弯曲。受测者来自三种不同的人群：理疗专业人员(3名)，目的是收集系统和给予应用程序技术意见；普通成年人(4名)，来评估系统的通用性和交互体验；需要物理治疗的老年人(3名)，是系统今后应用的主要对象。在测试体验之后，其中8人在人为提示帮助下顺利完成10个科目，另外2人在无任何帮助下完成了所有科目。受测者同时给该系统进行了评分(满分5分)，该系统最后平均得分为4.66。

罗元等利用Kinect深度传感器所获取的深度信息图像，将手势部分从背景中分割获得二值图像，再对二值图像进行目标识别，把得到的识别结果转换成控制指令通过网络传送给残疾人用轮椅，实现对轮椅运动的智能控制，方便下肢运动障碍的患者在康复过程中自理生活[17]。他们在Hu不变矩基础表达式(Hu首先提出连续函数矩的定义和关于矩的基本性质，并具体给出具有移动、旋转、缩放不变性的7个不变矩基础表达式)上加入了3个表达式，使不变矩表达式包含更多的细节特征，优化了算法。此外，他们还通过验证手势分割对光照及背景干扰的鲁棒性、手势识别系统的三重不变性，证明该手势识别控制轮椅系统的方案可行。

3 结论

Kinect体感设备可以进行深度图像获取、动态捕捉以及麦克风输入，可以通过Kinect for Windows SDK提供的软件库与应用程序进行交互。可以将Kinect体感交互技术与自主研发的虚拟现实平台相结合，对Kinect进行二次开发。

利用开发接口，研究图像处理与实时交互的相关算法，将Kinect体感交互技术嵌入到自主研发的虚拟现实平台中，可进一步扩大虚拟现实技术在医学领域的应用范围。结合虚拟现实技术，可以研究基于Kinect体感交互技术的运动障碍和认知障碍患者医疗康复训练的关键技术。针对运动障碍患者肢体运动不便，认知障碍患者在空间认知、智力和记忆上存在障碍，鼠标、键盘等传统输入设备不适用的特点，可以开发基于Kinect体感技术的运动功能康复训练模块、空间认知障碍康复训练模块、智力障碍康复训练模块和记忆障碍康复训练模块，实现医疗康复训练的评估与指导。将该成果应用于康复医院、社区医疗机构及家庭的医疗康复临床实践，对患者的早日顺利康复将起到十分重要的作用，为患者重返社会、提高生活质量创造条件，对减轻甚至消除家庭和社会的物质精神负担具有重要的现实意义。

[1]张光刘,李琳,谭剑波.体感设备与被动立体相结合的人机交互方法研究[J].合肥工业大学学报,2011,34(2):251-254.

[2]Uwe R,Kristian S.Designing a BIM-based serious game for fire safety evacuation simulations[J].Advanced Engineering Informatics,2011,25(4):600-611.

[3]Ioannis C,Georgios M,Panagiotis K,et al.Irene Mavrommati.Implementing multiplayer pervasive installations based on mobile sensing[J].The Journal of Systems and Software,2011,84(11):1989-2004.

[4]Brian M,Zak M,Caroline A.Utilizing Explorable Visual Environments for Experiential Applications[J].Procedia Computer Science,2012,8:261-266.

[5]Boulos MN,Blanchard BJ,Walker C,et al.Web GIS in practice X:a Microsoft Kinect natural user interface for Google Earth navigation[J].Int J Health Geogr,2011,10:45-59.

[6]Michael Z,Michael M,Günther G,et al.Automatic reconstruction of personalized avatars[J].Computer Animation Virtual Worlds,2011,22(1):195-202.

[7]Luigi G,Alessio PP,Mario C.Controller-free exploration of medical image data:experiencing the kinect[C].24th InternationalSymposium onComputer-BasedMedicalSystems(CBMS),Bristol,Britain:IEEE,2011:1-6.

[8]Sebastian B,Jakob W,Sven H,et al.Multi-modal surface registration for markerless initial patient setup in radiation therapy using Microsoft's kinect sensor[C].Barcelona,Spain:International Conference on Computer Vision Workshops(ICCV Workshops),IEEE,2011:1175-1181.

[9]Yu XY,Wu LY,Liu QY,et al.Children tantrum behaviour analysis based on kinect sensor[C].Beijing,China:Third Chinese Intelligent Visual Surveillance(IVS)Conference,2011:49-52.

[10]Chang YJ,Chen SF,Chuang AF.A gesture recognition system to transition autonomously through vocational tasks for individuals with cognitive impairments[J].Res Dev Disabil,2011,32:2064-2068.

[11]Chen ST.Using Xbox 360 Kinect Games on Enhancing Visual Performance Skills on Institutionalized Older Adults with Wheelchairs[C].Takamatsu,Japan:Fourth International Conference on Digital Game and Intelligent Toy Enhanced Learning,IEEE,2012:263-267.

[12]Chang YJ,Chen SF,Huang JD.A Kinect-based system for physical rehabilitation:A pilot study for young adults with motor disabilities[J].Res Dev Disabil,2011,32(6):2566-2570.

[13]Lang BS,Flynn SM,Rizzo AA.Initial usability assessment of off-the-shelf video game consoles for clinical game-based motor rehabilitation[J].Physical Therapy Review,2009,14(5):355-363.

[14]Belinda L,Chien-Yen C,Evan S,et al.Development and evaluation of low cost game-based balance rehabilitation tool using the Microsoft kinect sensor[C].Boston,USA:Engineering in Medicine and Biology Society Annual International Conference,IEEE,2011:1831-1834.

[15]Belinda L,Sebastian K,Eric M,et al.Interactive Game-Based Rehabilitation Using the Microsoft Kinect[C].Costa Mesa,USA:Virtual Reality Workshops,IEEE,2012:171-172.

[16]Alana DG,Thiago C,Lucas F,et al.Poster:Improving Motor Rehabilitation Process through a Natural Interaction Based System Using Kinect Sensor[C].Costa Mesa,USA:3D User Interfaces Symposium,IEEE,2012:145-146.

[17]罗元,谢彧,张毅.基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J].机器人,2012,34(2):110-113.