基于虚拟现实技术的认知功能康复训练系统的设计与构建①

王文春，王倩，庞日朝，江玥，王彧，罗绯，田恬，刘鹏远，杨孝光，张安仁

·康复工程·

基于虚拟现实技术的认知功能康复训练系统的设计与构建①

王文春1，王倩1，庞日朝1，江玥1，王彧1，罗绯3，田恬1，刘鹏远2，杨孝光3，张安仁1

目的 本文介绍基于虚拟现实技术的认知功能康复训练系统的设计构建，包括总体构思，系统的组成和功能设计，系统实现所采用的训练数据形式化描述、人机交互控制、训练过程仿真控制和虚拟环境模块开发等关键技术等。该系统适合我国国情和军队环境，将为认知康复开辟新的治疗途径，有助于推动虚拟现实技术在康复医学领域中的应用。

认知障碍；认知康复；虚拟现实技术

[本文著录格式]王文春，王倩，庞日朝，等.基于虚拟现实技术的认知功能康复训练系统的设计与构建[J].中国康复理论与实践,2012,18(10):988-990.

认知功能障碍是脑损伤患者的常见问题，不仅影响运动功能、日常生活活动能力的全面康复，更直接影响社会适应能力，给患者重返社会带来困难。因此，脑损伤后的认知康复已成为医学界所面临的重要课题之一。随着计算机技术的发展，计算机与认知障碍领域的结合已经从理论研究进入应用产品开发阶段。特别是虚拟现实(virtual reality,VR)技术的出现，促进了计算机技术和认知科学在更高层次的结合，在认知障碍的康复评定和训练方面表现出传统方法所无法比拟的优势[1-4]。将虚拟现实技术用于认知障碍康复，国外已有众多的报道[5-7]。国内虽然可查到虚拟现实与认知康复的相关文献[8-10]，但均为综述性文献，尚未有虚拟现实技术用于认知康复的临床报道。本项目旨在为脑损伤后认知功能障碍提供一整套适合我国国情的、具有独立自主知识产权的虚拟现实康复训练系统。目前该系统已开发完成，正在进行临床应用。本论文研究的重点是基于虚拟环境的认知康复训练技术的研发。

1 总体设计思想

项目总体设计思想及目标是：将认知科学与康复医学、虚拟现实技术进行充分的学科交叉与融合，针对脑损伤后的认知功能障碍，在虚拟现实建模的基础上，实现人机交互的认知康复评价和训练，克服传统认知康复治疗中耗时、费力、效果欠佳的缺点。

2 虚拟认知康复训练系统的构成及功能设计

虚拟认知康复训练系统结构包括定向能力训练、注意力训练、记忆力训练、视知觉能力训练、空间知觉能力训练、思维操作能力训练和动作运用训练7大模块，每一个模块都安排低、中、高级3种类别的题目若干。一些题目以多媒体的形式提供给患者作答，训练方式主要有二维图片、三维物品和借助虚拟场景实现的虚拟认知训练。而在定向能力训练、空间知觉能力训练和动作运用能力训练3个模块中，则根据定向能力障碍、空间知觉障碍和动作运用能力障碍的特点，广泛使用虚拟现实技术。实施训练时，依据LOTCA量表评定结果发现患者认知功能受损的领域，针对不同领域的障碍进行相应的康复训练计划。以下主要针对这3个模块中基于虚拟现实技术的题目进行阐述。为了提高人机交互的友好性，系统中设计两种交互模式：基于键盘、鼠标、触摸屏等普通外设的交互模式和基于空间球、位置跟踪器、数据手套、立体眼镜等虚拟外设的交互模式，分别简称普通交互模式和虚拟交互模式。在系统中采用Multigen Creator建立三维模型，使用Vega进行虚拟环境驱动。

虚拟认知康复训练系统本质上是一个人在回路的过程仿真系统，患者按照系统的要求通过外设与虚拟环境进行交互，驱动虚拟环境状态发生变化。系统对整个交互过程进行监控，提取交互特征数据并与已经形式化的训练数据(题目)进行比对，从而确定患者是否达到题目的要求。

虽然虚拟认知康复训练系统中采用虚拟现实技术的题目形式多样，但由于都是人在回路的过程仿真系统，因此在结构上是一致的，都包括人机交互、仿真控制、虚拟环境和训练成绩评定等4个模块，它们相互作用，形成认知康复训练过程仿真模块，如图1所示。

图1 基于虚拟现实训练题目过程仿真模型结构图

3 系统关键技术的实现

3.1 训练数据形式化描述 以空间定向能力中的一个题目为例。一个靶场包括半身靶、射击位置和预备区域三个区域，一个虚拟战士处于预备区域。题目要求是控制虚拟战士由预备区域到射击位置射击后再到半身靶处数环数。在系统中采用Multigen Creator建立三维虚拟靶场。

3.2 人机交互控制 在普通交互模式下，主要解决用二维交互设备拾取和控制三维虚拟实体；在虚拟交互模式下，则要实现真实人动作向虚拟人动作的映射，需要解决虚拟外设安装、驱动、映射算法等问题[11]。虚拟交互控制的对象是虚拟人，一是要实现虚拟人的人体动作，如行走、跑、立定等，人体动作基于DI-GUY实现，采用空间球进行控制。二是控制虚拟人实施虚拟操作，这需要位置跟踪器和数据手套等虚拟外部设备。

3.3 训练过程仿真控制 仍以3.1中的题目为例，说明仿真控制的过程，如图2所示。对是否进入某一区域的判断方法是，获得虚拟人的当前坐标位置P0(x0,y0,z0)，根据矩形区域的顶点坐标计算xmin、ymin、xmax、ymax，如果xmin＜x0＜xmax，并且ymin＜y0＜ymax，则虚拟人已处于该区域[12]。

图2 仿真控制流程

3.4 虚拟环境模块开发 虚拟环境模块负责实现虚拟环境中各类虚拟实体行为状态的更新、碰撞检测以及环境特效。虚拟实体有3种基本行为模式：平移、旋转和缩放。在Vega中对应这3种基本模式分别设计相应的函数，通过这3种行为模式的组合，可以实现任何复杂的行为。为了保证虚拟环境的真实性，在虚拟环境中需要设置碰撞检测，防止出现穿越等不真实现象。在Vega中提供BUMP、Z、VOLUME等多种成熟的碰撞检测方法，能够实现与地形表面、与前方障碍物的碰撞检测与响应。Vega中还提供环境模块，能够模仿大气、日月星辰、雾雨雪等效果。

4 临床应用情况

为比较虚拟认知康复训练系统与人工作业认知训练对颅脑损伤认知功能障碍的疗效差异，客观评价该系统的临床实用价值，我们进行了一个小样本的临床观察。将38例患者随机分为两组，对照组及治疗组各19例，两组均进行常规针刺治疗及药物治疗。治疗组在此基础上采用虚拟认知康复训练系统，对照组采用临床常用人工作业认知训练。治疗前后采用LOTCA量表进行评价，比较两种方法对颅脑损伤后认知功能障碍的改善情况。试验结果：①治疗前后组内比较：对照组除图片排序B(PS2)、逻辑问题(LQ)条目评分差异无统计学意义(P＞0.05)外，其余条目评分差异均有统计学意义(P＜0.05)；治疗组除图片排序B(PS2)、几何图形排序推理(GS)条目评分差异无统计学意义(P＞0.05)外，其余条目评分差异均有统计学意义(P＜0.05)。②治疗后组间比较：7项认知域评分在注意力、空间知觉有统计学意义(P＜0.05)，其余5项认知域的差异均无统计学意义(P＞0.05)；总分比较差异无统计学意义(P＞0.05)。

通过临床应用，我们得出初步结论：虚拟认知康复训练系统与人工作业认知训练对颅脑损伤后认知功能障碍均有一定的改善作用。在注意力、空间知觉的改善方面，虚拟认知康复训练系统优于人工作业认知训练；在其他认知域，两种方法没有显著性差异。与人工作业认知训练相比，虚拟认知康复训练系统更具趣味性，训练效率更高，依从性更好，适用于临床推广应用。

5 讨论

认知是人对外界事物的全面感知，包括感觉、知觉、思维、注意、记忆、智能、判断、推理、学习、想象、概括和语言等心理过程[13]，任一过程损害均可导致认知功能的障碍。在战争中，会造成战斗员的大量战伤，其中最严重的首推颅脑战伤。同样，在平战时期的训练中，也会因为多方面的原因导致颅脑损伤。颅脑损伤伤残率高达40%[14]，其中认知功能障碍是最为常见的颅脑损伤后遗症之一。认知、认知科学(C)已经和纳米技术(N)、生物技术(B)、信息技术(I)一起，形成21世纪的NBIC前沿体系。更为严重的是，由于军事医学的特殊性，战争创伤后的认知功能障碍不仅影响患者自身的生活质量，而且对军事任务、军事机密等也会造成难以估量的影响。因此，提高战争创伤后认知功能障碍的康复技术水平，不仅对目前平战时期认知功能障碍患者的康复治疗具有重要意义，而且对于一旦发生战争所导致的潜在认知功能障碍者也是一种保障。

虚拟现实技术是利用计算机生成一种模拟环境(如飞机驾驶舱、分子结构世界等)，通过多种传感设备使用户“投入”到该环境中，实现用户与该环境直接进行自然交互的技术。虚拟现实系统具有“3I”的特征，即沉浸(immersion)、交互(interaction)和想象(imagination)。虚拟现实可以使人沉浸在计算机实时产生的三维环境中，并能够与多种刺激下的虚拟环境进行交互，这就能够满足为患者提供一种可控刺激的环境以进行认知障碍的康复治疗，并在治疗过程中对多种重要指标进行测量和监控[15-17]。同时，对于患者来说，这也是一种有趣新颖的治疗方法，整个治疗在熟悉的安全环境中进行。如果将治疗过程设计得比较巧妙，治疗过程将像游戏一样引人入胜，患者也乐于参与，可消除传统方法的弱点[18]。

在临床应用中，虚拟认知康复训练系统对注意力、空间知觉的改善优于人工作业认知训练。推测其原因，可能与本系统在空间知觉能力训练模块中广泛使用虚拟现实技术有关。该系统人机交互的训练形式，丰富多彩的训练内容，声音影像的多重刺激，以及对多种环境的模拟，能够吸引患者训练的兴趣。同时，该训练系统根据患者障碍的种类和程度，提供具有针对性的、循序渐进的方案，使患者不会因太难而产生挫折感，并感觉到训练挑战性，从而提高患者训练积极性，使患者能够有趣有效地进行训练，提高训练专注力。故该训练系统在注意力及空间知觉的改善方面表现出较人工作业认知训练更大优势。这与Weiss[19]、Cho[20]等的研究结果一致。

本课题针对脑损伤后的认知功能障碍，在虚拟现实建模的基础上，实现人机交互的认知康复评定和训练，克服传统认知康复治疗中耗时、费力、效果欠佳的缺点，有助于提高脑损伤后认知康复疗效，让患者尽快重返社会。此外，研发过程中开发的部分虚拟现实康复技术能为脑损伤后其他功能障碍的研究提供思路，某些核心技术可直接用于其他虚拟现实康复系统产品的开发。

[1]Standen PJ,Brown DJ.Virtual reality in the rehabilitation of people w ith intellectual disabilities[J].Cyberpsychol Behav, 2005,8(3):72-82.

[2]Rose FD,Brooks BM,Rizzo AA.Virtual reality in brain damage rehabilitation[J].Cyberpsychol Behav,2005,8(3):41-62.

[3]Riva G,Mantovani F,GaggioliA.Presence and rehabilitation: toward second-generation virtual reality applications in neuropsychology[J].JNeuroengineering Rehabil,2004,1(1):9.

[4]Zhang L,Abreu BC,Seale GS,et al.A virtual reality environment for evaluation of a daily living skill in brain injury rehabilitation:reliability and validity[J].Arch Phys Med Rehabil, 2003,84(8):1118-1124.

[5]Lo Priore C,Castelnuovo G,Liccione D,etal.Experiencew ith V-STORE:considerations on presence in virtual environments for effective neuropsychological rehabilitation of executive functions[J].Cyberpsychol Behav,2003,6(3):281-287.

[6]Lannen T,Brown D,Powell H.Controlof virtualenvironments for young peoplew ith learning difficulties[J].Disabil Rehabil, 2002,24(11-12):578-586.

[7]Zhang L,Abreu BC,Masel B,etal.Virtual reality in the assessment of selected cognitive function after brain injury[J].Am J PhysMed Rehabil,2001,80(8):597-604.

[8]李科,尧德中.虚拟现实技术在认知康复中的应用[J].中华物理医学与康复杂志,2005,27(4):245-247.

[9]窦祖林,文伟光,谭声辉,等.认知障碍的远程康复进展[J].中华物理与康复医学杂志,2003,25(9):568-571.

[10]张安仁,王文春.脑损伤后认知功能障碍的虚拟现实康复技术研究进展[J].西南国防医药,2006,16(2):227-229.

[11]刘鹏远,李瑞华,张锡恩.虚拟操作训练系统中的人机交互技术研究[J].系统仿真学报,2005,17(5):1141-1144.

[12]刘鹏远,张锡恩.虚拟操作训练系统中的过程仿真模型研究[J].计算机仿真,2004,21(3):161-163.

[13]李维.认知心理学研究[M].杭州:浙江杭州人民出版社, 1998.

[14]黎鳌,盛志勇,王正国.现代战伤外科学[M].北京:人民军医出版社,1998:608-665.

[15]Tarr MJ,Warren WH.Virtual reality in behavioral neuroscience and beyond[J].NatNeurosci,2002,5(5):1089-1092.

[16]Rizzo AA,Schulthesis MT,Kems KA,et al.Analysis of assets for virtual reality applications in neuropsychology[J].NeuropsycholRehabil,2004,(14):207-241.

[17]Schulthesis MT,Rizzo AA.The application of virtual reality technology for rehabilitation[J].Rehabil Psychol,2001,(46): 296-311.

[18]Emily AK.Virtual reality and physical rehabilitation a new toy or a new research and rehabilitation tool[J].JNeuroengineering Rehabil,2002,(17):378-394.

[19]Weiss PL,Naveh Y,Katz N.Design and testing of a virtualenvironment to train stroke patientsw ith unilateral spatial neglect to crossa streetsafely[J].Occup Ther Int,2003,10:39-55.

[20]Cho BH,Kim S,Shin DS,et al.Neurofeedback training w ith virtual reality for inattention and impulsiveness[J].Cyberpsychol Behav,2004,7:519-527.

Design and Building of Virtual Reality Technology-based Rehabilitation System for Patients w ith Cognitive Deficits

WANG Wen-chun,WANGQian,PANG Ri-zhao,etal.DepartmentofRehabilitation Medicine,Chengdu Military General Hospital ofPLA,Chengdu 610083,Sichuan,China

ObjectiveThe article described the design and building of a virtual reality technology-based rehabilitation system for patientsw ith cognitive deficits,including overall idea,design and structure of the system,the key technology,such as formal description of the training data,man-machine interactive control,controlling simulation of the training process and virtual environmentmodule development to achieve system implementation.The system is suitable for our country andmilitary.Itw ill create a new way for the cognitive rehabilitation and help to promote theapplication of virtual reality technology in rehabilitation.

cognitive deficits;cognitive rehabilitation;virtual reality technology

R493

A

1006-9771(2012)10-0988-03

2012-07-16

2012-08-07)

全军“十一五”科技攻关计划项目(No.06G050)。

1.中国人民解放军成都军区总医院康复医学科，四川成都市610083；2.石家庄军械工程学院，河北石家庄市050003；3.成都军区总医院计算机网络管理中心，四川成都市610083。作者简介：王文春(1977-)，男，四川绵阳市人，硕士，主治医师，主要研究方向：神经系统疾病的康复。曾获省部级科研成果奖4项。通讯作者：张安仁。

10.3969/j.issn.1006-9771.2012.10.029