基于体感技术的感觉统合游戏的设计与实现*

◆王勇丽 梁峻波 万勤 黄昭鸣 高栋

基于体感技术的感觉统合游戏的设计与实现*

◆王勇丽 梁峻波 万勤 黄昭鸣 高栋

特殊教育学校大部分学生存在感觉统合失调，通过虚拟现实场景的游戏锻炼学生的感觉统合功能，丰富了教学内容，有利于学生身心的全面发展。结合Kinect体感交互技术设计一系列的感觉统合训练游戏，使学生在较为安全的环境中提高感觉统合能力。

虚拟现实；感觉统合；Kinect

10.3969 /j.issn.1671-489X.2016.02.053

1 虚拟现实

虚拟现实（Virtual Reality，VR）是一种体验虚拟世界的计算机系统，它以仿真的方式给用户创造一个实时反映实体对象变化与相互作用的虚拟环境[1]，再结合相关的专业知识，生成在视、听、触感等方面高度近似的数字化环境，让用户产生亲临真实环境的感受和体验[2]。VR人机交互技术可较大程度地构建“真实”学习环境，有力地支持了学生主动参与教学实践的课改要求。

随着“教育回归生活”的讨论愈演愈烈，虚拟现实技术运用于特殊儿童感觉统合失调的教学成为发展特殊教育的关键之一。张倩[3]等人认为，虚拟现实的交互性可以使学生沉浸在虚拟学习环境的角色中，可以全身心地投入学习。Romano DM[4]等人认为，虚拟现实技术可以为用户提供每次训练结果的实时反馈和一阶段训练后的成绩反馈，可以激发患者的兴趣及主动性。且大量研究结果表明[5-8]，患者在虚拟环境中学会的运动技能能够迁移到现实环境中。

2 感觉统合训练

感觉统合（Sensory Integration，SI）是指脑对个体从视、听、触、嗅、前庭、本体等不同感觉通路输入的感觉信息进行选择、解释、联系和统一的神经心理过程，是个体进行日常生活、学习和工作的基础[9]。感觉统合理论是美国的艾尔丝（Ayres）博士创立的，于20世纪90年代中后期传入我国，是儿童康复训练中应用最广、影响力最大的干预技术之一，在特殊儿童教育和康复治疗领域占有重要地位。

综合区域性研究报告，我国3～13岁儿童的感觉统合失调率大约在10%～30%之间，男童的发病率显著高于女童，应引起家庭、教育机构和社会的关注[10]。目前很多感觉统合的训练室中，大部分设备功能较为单一无趣，且冰冷的仪器设备没有亲近感，往往不能持久地引起使用者的兴趣，不能充分调动他们自主参与的愿望。且有些传统的感觉统合训练设备安全系数较低，在使用过程中难免会出现各种各样的损伤。如果借助现代化高科技产品来锻炼孩子感觉统合功能，通过在平地上虚拟现实的游戏场景，便可以解决以上问题。

感觉统合失调的关键问题是本体觉、前庭觉和触觉障碍。本体觉是感受个体身体所处的空间位置、运动状态及其变化的感觉，并参与身体姿势、动作及平衡的调控。本体觉可促进大脑功能的发展，提高行为的表现力，直接影响儿童的学习能力。本体觉障碍的儿童，动作方向、力度、幅度、速度控制不好，空间方位感知困难，从而影响儿童的阅读、书写等学习行为。本体感受器是位于肌肉及肌腱深处的特殊装置，感受肌肉及肌腱受牵拉的机械信息，通过做一系列拉伸四肢的动作，可改善个体的本体觉。研究显示，踢足球活动可以促进儿童下肢本体运动感知觉的发展[11]，足球活动的活泼性和生动性可以激发儿童训练的积极性。

前庭觉的功能主要是感受躯体空间位置的变化，与平衡功能密切相关。儿童的抬头、翻身、坐、爬、站、走等早期运动功能发育与前庭功能相互促进、共同发育。前庭功能异常的儿童往往表现在对身体失衡不敏感，不善于保持和调节躯体平衡；或对身体失衡特别敏感，表现为动作僵硬笨拙。前庭感受器的球囊主要感受人体垂直方向直线变速运动，跳蹲动作可训练前庭觉。

触觉是儿童感觉、认识、运动等的发展基础，是儿童认识世界的主要基本途径，而且触觉是有效的社会交往方式，是建立亲子感情的主要途径。触觉的防御功能对儿童健康生长、自我保护、免疫系统等方面有很大的影响。触觉感觉信息处理失调往往会导致多种不良后果，影响儿童的学习、交往等能力。在游戏设计中，考虑到游戏的趣味性设计了走迷宫项目，在地板上铺2平米左右不同材质和形状的方格，有凸起的小石子、海绵、花纹、泡沫等。该2平米的方格大小对应三维游戏中的迷宫大小。

3 虚拟现实感觉统合训练系统的设计与实现

虚拟现实感觉统合训练系统的硬件虚拟现实感觉统合训练系统的实际测量的硬件包括图像采集设备（Kinect）、电脑主机（Windows7操作系统）、外置音箱等设备，收集到的信息通过数学模型计算来获得物体的运动轨迹数据。

1）图像采集设备。采用微软公司2010年推出的基于体感交互的Kinect人机交互新型设备，利用即时人体骨骼追踪、影像识别等功能，通过玩家的肢体动作来控制游戏[12]。人体骨骼追踪技术是Kinect的核心技术，根据人体的大关节部位将人体标定为20个关键点（图1），躯干、四肢的运动可以用这20个点的三维运动来描述出来。微软公司采用机器学习技术，建立了庞大的人体骨骼框架图像资料库，能对感应到的人体骨骼框架进行智能辨识匹配，实时获取训练者的姿势和动作变化的数据，并将该动作数据结合实时影像互动系统，使训练者与屏幕之间产生紧密结合的互动效果。

Kinect的整体构架包括红外线发射器、RGB彩色摄像头、红外线COMS深度摄像头、仰角控制马达和超强并行计算逻辑的系统级芯片。Kinect将采集图像、深度数据流和骨骼信息，通过USB传给PC主机，最后利用进程间的通信与PC机上的其他应用程序进行信息融合[13]。

Kinect的工作示意图如图2所示，它的水平视角为57°，侦测的人体骨豁的最佳距离为1.2～3.5米，有效工作距离为5米。训练者处于有效距离之内，计算机通过获取训练者的动作数据用于控制虚拟场景，虚拟场景通过置于训练者正前方的LED显示屏显示，训练者通过观看LED的交互结果与虚拟场景交互。

2）电脑主机。硬件需求：需满足处理器（CPU）主频2.0 GHz以上，内存（RAM）4 G以上，显卡NVIDIA GeForce GT610以上，硬盘容量200 G以上。电脑主机通过Kinect for Windows API来获取深度图像数据来进行骨骼运动轨迹跟踪。

图1 Kinect感应人体20个关键点

图2 Kinect工作示意图

虚拟现实感觉统合训练系统的游戏设计游戏设计根据三大常见感觉统合障碍训练原则制定。

1）本体觉训练——足球射门。足球射门游戏是一款要求训练者通过单脚站立同时另一只腿进行踢腿动作来控制屏幕中人物完成射门的游戏。游戏背景是一个足球场，绿色的草坪上方有一个白色的球门。屏幕中有一个足球运动员与球门有一定的距离，脚下放一足球。训练者踢出自己的脚，以控制游戏中人物踢出右脚，当踢出的角度达到一定值，便可将足球踢出，足球向前滚动，足球的滚动速度和脚踢出的速度有关，当脚踢出的速度达到一定值，足球便可进球门。若脚踢出的速度过小而达不到设定值，球到达球门之前便会停下来，这就表示此次动作失败。当足球进门时，会发出欢呼的音效给训练者以听感上的刺激。游戏可选“右脚模式”和“左脚模式”。结束游戏后的界面中，给出游戏总时间、踢进的足球个数和游戏的成功率r。设踢出的足球总数为N，其中进门的足球个数为n，则成功率r的计算公式为：

踢脚的检测是通过检测当前脚抬起的角度和踢脚的角速度来完成，当脚抬起的角度大于预设值，同时踢脚的角速度也大于预设值时，判断当前动作为踢脚。其中，踢脚的角速度这一值可以反映出训练者脚部运动能力的强弱，它的获得的过程如下：①创建脚抬起角度链表，用于保存脚抬起角度，脚抬起角度通过髋（HIP）、膝（KNEE）、脚（Foot）与垂直线的夹角获得，经过测试和调节，确定此处序列的长度为30帧；②将链表中30个值两两相减，再将所有差值求平均数，得到的便是平均角加速度。

图3 人体跳跃时感应点的位移变化

以检测右脚踢脚为例。设定右臀点（HipRight）坐标（x1，y1，z1），右脚（FootRight）坐标（x2，y2，z2）。设抬起的角度是指与垂直线的夹角α，计算公式为：

2）前庭觉训练——跳蹲游戏。跳蹲游戏是指虚拟场景中躲避障碍物的游戏。该游戏设定的场景是一片美丽的树林，游戏的主角在树林前方的小路上奔跑，跨过一道道障碍，奔向胜利的终点。当人物前方出现石头等障碍物时，画面中将会出现向上的箭头，此时训练者需要做出跳跃（或替代性动作）以控制游戏人物向上跃起以躲避障碍物；当人物前方出现悬空的木头等障碍物时，画面中将会出现向上的箭头，此时训练者需要做出蹲下（或替代性动作）以控制游戏人物向下蹲以躲避障碍物。若人物没有及时躲避障碍物，HP（血量）就会减少，在游戏时间结束之前HP减少到0，游戏也会结束。

跳跃姿势的判断识别：人体在向上跳跃的过程中会伴随着身体多个关节点的位移，同时跳跃的方法多种多样；在经过多次试验和调试后发现，头部和肩部在不同的跳跃动作中均发生较明显的位置变化，以此作为此动作识别的依据点。经过多次测试，并在综合考虑实时性和精准度的前提下，选取30帧数据作为一次判断的序列。由于Kinect的摄像头拍摄帧率为30帧/秒，对跳跃的判断有1秒的延时，这也是训练者可以接受的范围，具体实现算法如下。

①从当前点往前取30个肩部中心垂直坐标点数据：Z1，Z2，…，Z30。

②若满足Z(t+1)≥Z(t)*(1+K)，则判断此时的动作为跳跃，K值为经验值。本系统中，K=0.01，这个取值是由多次测试并调节而得出的。跳跃过程如图3所示。

在判断下蹲姿势的过程中，用到的关节点有右臀A（HipRight）、右脚B（FootRight）和右膝盖C（KneeRight）。下蹲时，判断这三个点所构成的△ABC内角∠ACB是否为锐角，即小于90°。设A、B、C三个点的坐标分别为（x1，y1，z1）、（x2，y2，z2）（x3，y3，z3），计算方法如下：

按照相同方法，对左臀A′（HipLeft）、左脚B′（FootLeft）和左膝盖C′（KneeLeft）进行判断，若cos∠ACB和cos∠A′C′B′均大于0，则表示当前训练者处于下蹲状态，如图4所示。

图4 下蹲时下肢感应点位置

3）触觉训练——走迷宫。走迷宫是一款通过视觉刺激来引导训练者进行身体前后左右移动，同时脚底出现不同感觉刺激平面的游戏，训练其触觉功能。并且这是一款益智类游戏，可锻炼训练者的思维和视觉追踪能力。游戏感应训练者的SHOULDER CENTER骨骼关键点。本游戏的结果记录是显示游戏时间、成功率，如果最终没有走出迷宫，就显示游戏失败。

走迷宫游戏的实现原理主要是空间坐标的映射。游戏中迷宫为一个长w，宽h的长方形。设定初始时刻游戏人物的坐标为（0，0），在屏幕的左下角，终点位置在评估的右上角（w，h）。训练者位于Kinect前方，其初始位置的腰部重心Hip Center空间坐标为（x0，y0，z0）。在游戏的过程中，训练者通过变化的腰部重心Hip Center空间坐标来控制游戏中人物的位置变化。当空间坐标为（x，y，z）的位置时，由于y值不变，其位置亦可表示为（x，y0，z）。在实际空间坐标系中，人物的位移为：

设游戏中的坐标比例和实际坐标比例a:1，则游戏中人物的位移为：

在x、z坐标轴上的位移为：

由于游戏人物的原是坐标为（0，0），经过位移之后，游戏人物的坐标为：

依此坐标便可对游戏元素进行绘制。当游戏人物坐标达到目标位置（w，h）时，游戏结束。

虚拟现实感觉统合训练系统的游戏实现游戏的实现是利用XNA框架搭建而成，包括游戏初始化（Initialize）、资源加载（LoadContent）、逻辑更新（Update）、画面刷新（Draw）、资源卸载（UnloadContent）五个部分。这五个部分的工作原理如图5所示。

图5 XNA工作原理图

游戏初始化的工作包括配置文件的加载、游戏参数的初始化、Kinect工作类的启动。资源加载是指将游戏图像资源、音频资源等加载到内存中。逻辑更新是指游戏逻辑的更新，包括随时间推进的自动更新和训练者触发的更新：随时间推进的更新指的是诸如时间增加、背景移动等非训练者可控的更新；训练者触发的更新包括动作控制以及引起的相关系列更新，如发出跳跃动作，Kinect工作类中的人体动作识别模块识别出 这一动作，发出消息通知Update（）函数对游戏人物进行位置的更新，同时播放相关音效。画面刷新是指根据当前状态绘制图像到屏幕之上。由于XNA的轮询特点，因此，Update（）和Draw（）是间隔固定的时间（一般60帧的刷新率时，间隔时间为1000/60=16毫秒）自动执行操作，无论训练者是否触发相关事件。资源卸载是在退出游戏之时，释放之前加载到内存的资源，以确保系统的正常运行。

虚拟现实感觉统合训练的系统实现本系统的开发语言为Microsoft Visual C#，开发环境为Microsoft Visual Studio 2010，主程序框架是基于Windows窗体应用程序开发；虚拟互动游戏也是基于Microsoft Visual C#语言，利用Microsoft XNA框架和Kinect for Windows SDK开发包进行开发的。由于C#语言语句开发高效、易用等强大的优势，而且在运行效率上和C、C++已经非常接近，足以处理绝大部分情况。同时，作为一个轻量级游戏框架，XNA在开发2D游戏上有着不可比拟的简易性。每个游戏对应的实现方法框架如图6所示，其中灰色的为游戏名称。游戏分为两种类型，采用的识别算法有所区别。单帧静态分析是指在经过滤波去噪后，对当前帧进行分析检测，这种分析得到的结果将得到一个姿势（Posture）；多帧动态分析是指从当前帧开始往后累积若干帧，进行分析检测，这种分析得到的结果得到的是一个动作（Gesture）。

图6 每个游戏对应的实现方法

4 结束语

现代教育教学已经向信息技术为背景转化，虚拟现实技术由于其沉浸性、交互性、多感知性的特点[14]，成为现代化科技发展的热点。国家“医教结合”理念尚处于摸索阶段，使用新兴高科技来丰富教学模式和教学方式，有助于特殊教育教学质量的提升。基于虚拟现实的运动能力训练，设计游戏的原则是要依据特殊教育学校的儿童运动发育特点，从易到难设置等级，不至于最低难度的游戏大部分学生还是完成不了，这样会降低他们使用的欲望。游戏设计的最基本原则是能够提高相应的运动功能，在玩游戏的情况下既锻炼了运动能力，又能将这些能力迁移到生活和学习中，就达到了教学目标。而且运动有助于智力的发展，调动学生运动参与的主动性，同时也开发了大脑，对障碍儿童的身心发展非常有益。

[1]马王俊美,邓文生,梁昭峰,等.DVR技术在教育领域中的应用研究[J].中国电化教育,2005(4):85-88.

[2]赵沁平.虚拟现实综述[J].中国科学（E辑:信息科学）,2009(1):2-46.

[3]张倩.虚拟现实技术在自闭症患者干预中的应用[J].中国特殊教育,2010(5):27-31.

[4]Romano D M. Virtual reality therapy[J].Dev Med Child Neurol,2005,47(9):580.

[5]Mirelman A,Mirelman I,Herman T,et al. Virtual reality for gait training: can it induce motor learning to enhance complex walking and reduce fall risak in patient with Parkinson’s disease[J].J Gerontol A Biol Sci Med Sci,2011,66(12):234-240.

[6]Golomb M R,McDonald B C,Warden S J,et al. In-home virtual reality videogame telerehabilition in adolescents with hemiplegic cerebral palsy[J].Arch Phys Med Rehabil,2010,91(1):1-8.

[7]Golomb M R,Warden S J,Fess E,et al. Maintained hand function and forearm bone health 14 months after an in-home virtual-reality videogame hand telerehabilitation intervention in an adolescent with hemiplegic cerebral palsy[J].J Child Neurol,2011,26(3):389-393.

[8]Cikajlo I,Rudolf M,Goljar N,et al. Continuation of balance training for stroke subjects in home environment using virtual reality[J].International Journal on Disability and Human Development,2011,10(4):317-320.

[9]汤盛钦.特殊儿童康复与训练[M].大连:辽宁师范大学出版社,2005:128.

[10]王和平.特殊儿童的感觉统合训练[M].北京:北京大学出版社,2011:10.

[11]冯振杰.足球游戏活动对学前儿童下肢本体运动感知觉能力影响的实验研究[D].广州:广州体育学院,2013.

[12]吴国斌,李斌,阎骥洲.KINECT人机交互开发实践[M].北京:人民邮电出版社,2013.

[13]顾容,何益明,金丽燕.基于Kinect骨骼追踪技术的智能教学控制系统的设计与实现[J].计算机应用与软件,2013(6):276-280.

[14]黄俐军,宋强,仇亚萍.虚拟现实综述[J].科技经济市场,2007(4):11-13.

TP391.9

B

1671-489X(2016)02-0053-05

*项目来源：公司合作“医教结合”综合康复研究项目（项目编号：48901640）。

作者：王勇丽，华东师范大学言语听觉康复科学系博士研究生；梁峻波，华东师范大学言语听觉康复科学系硕士研究生；万勤，华东师范大学言语听觉康复科学系副教授，博士；黄昭鸣，华东师范大学言语听觉科学教育部重点实验室教授，博士，主要从事特殊儿童教育康复研究（200062）；高栋，上海泰亿格康复医疗科技股份有限公司，主要从事教育游戏、体感游戏软件开发（200333）。