虚拟现实技术在聋童言语训练中的应用初探

冯　霞　胡永斌

[摘要]多媒体技术在聋童言语训练中的应用改善了聋童语言学习的现状，文章在分析当前多媒体聋童言语训练软件优缺点的基础上，提出利用虚拟现实技术构建聋童言语训练场景，根据聋童视觉和推理能力较强的优势，设计人机交互界面和系统逻辑结构。从理论上开创了虚拟现实技术在聋童言语训练中的应用先例。

[关键词]言语训练；虚拟现实；聋童

[中图分类号]G40-057[文献标识码]A[论文编号]1009-8097(2009)03-0050-04

聋童因为听觉障碍，导致不同程度的语言障碍，严重影响他们与主流社会的沟通交往和自身发展。而聋童语言的发展在很大程度上依赖于环境，根据聋童的身心发展特点，创设适合聋童语言发展规律的环境，为聋童语言发展提供了新的方向。而虚拟现实技术因其环境创设的独特优势，必将为聋童言语的发展提供强有力的支持。

一常用多媒体及虚拟现实聋童官语训练软件评析

从目前的文献调查来看，国内外很多学者在聋童言语康复训练实践方面做出了努力，也有部分不错的商业训练系统在聋校得到应用，但是更多的系统只是进行了开发和测试，没有得到实际应用。以下系统在实际应用中发挥了积极作用。

1软件介绍

(1)启音博士(Dr.Speech)，美国TigerDRS，Inc公司开发的比较专业的聋童言语训练软件，目前有包括中英文版本在内的多个版本。“启音博士”提供了数十个声控动画游戏，帮助聋童进行多方面的实时训练，聋童发音后，立刻能获得动画形式的反馈。聋童在玩游戏的同时，该软件能够获得相关特征曲线图和统计报告，对于言语训练教师来说，这一功能为记录聋童的言语过程提供了可能，并为取得更好的训练效果提供了依据。

(2)妙语快车，语言训练是聋童言语训练的中心任务，聋童大部分的时间都在从事语言训练。徐州师范大学开发的多媒体技术支持下的语言训练系统“妙语快车”是通过计算机多媒体技术设计开发的训练程序，可以帮助聋童进行听觉训练、发音器官训练、语音训练、语言理解训练和语言表达训练。其中发音训练和辨音训练通过游戏的方式，调动了聋童学习语言的积极性。

聋童语言教学最重要、最艰巨的任务，就是帮助他们建立语言信息和视觉形象、感觉等相互对应关系。计算机多媒体技术很好地解决了这个难题。在计算机的屏幕上，可以看到文字和图像，同时听到语音，它能帮助聋童建立语言信息和视觉形象的相互感应关系，可以提高聋童学习语言的积极性，改善聋童学习语言的效果。

2多媒体聋童言语训练软件在聋童言语学习中的不足之处

聋童是听力有障碍的儿童，他们有自己特殊的认知方式，现有的多媒体聋童训练软件在教学内容的设置上充分考虑了聋童的言语需求，却未能充分发挥聋童的认知优势，聋童的视觉和推理优势没能得到很好的利用和发掘，具体表现在以下几个方面。

(1)聋童的视觉优势未能得到充分发掘

研究者经由标准的心理学范式讨论聋童的认知能力，发现聋童在视觉空间任务上的表现超过健听儿童。比如聋童在心理旋转，面孔识别，心理表象生成，运动觉察，边缘视觉的手语，改变方向的视觉注意等方面聋童都有优秀的表现。Todman和Cowdy的研究发现，6—16岁的聋童在视觉信息混合刺激(以下简称CSVI)任务中的成绩超过健听儿童。CSVI任务包括复杂视觉图形的短时记忆和在不同图形维度上并发操作的活动。这些都说明聋童在视知觉上有自己的天然优势，聋童更加依赖视觉信息，必须连续而非同时地处理视觉和言语信息，所以他们的知觉和认知机能与那些利用视觉和听觉同时输入信息的健听群体不同。也就是说聋童的视知觉有自己的特性，视知觉的某些方面优于正常儿童。当前的多媒体聋童言语训练系统在一定程度上发挥了聋童的视觉优势，但在具体视觉优势的设置及体现方面和正常儿童语言学习软件没有太大区别。

(2)聋童较强的知觉推理能力被忽略

学习与交流是人的天性，聋童也不例外。听力上的缺陷，使得聋童无法理解正常人的语言，为达到理解语言的目的，聋童依靠残余听力及知觉对听觉障碍的补偿，通过猜想、推理等方法，达到理解的目的。正常儿童在认识事物的同时习得语言，聋童由于听力缺陷带来的语言障碍，认识到的往往是事物的形象，及通过推理所得的事物，语言的习得落后于认识活动，落后于认识过程中发展起来的推理能力，使得聋童的推理能力强于言语理解能力。聋童具备了一定的推理能力，在学习语言时可以通过一定的情境认知，结合聋童的推理优势，达到对语言的习得和理解。现有的多媒体聋童言语训练软件缺少对聋童推理能力较强这一特点的考虑，在多媒体言语训练系统的逻辑结构设置中，未能充分发挥推理能力较强的优势。

(3)聋童身心参与度不够人本主义学习理论的代表人物罗杰斯认为教学中应该使学生整个人沉浸于学习之中，包括情感、行为等方面。即在学习中要充分发挥学生学习的自主性，只有把学生的积极性充分调动起来，学生才能全身心地投入到学习中去。错过最佳学语期的聋童已经习惯原有的听和表达方式，对声音的刺激表现出不友好态度。多媒体训练软件仅仅依靠视觉形象的刺激，无法将聋童的注意力持续集中到声音的刺激上，而多数聋童言语训练软件的交互功能较差导致聋童的注意力不集中，或过分集中于多媒体画面上，不利于聋童的语言习得。如何调动聋童全身心参与到语言的学习中，使聋童在自然场景中学会说话，成为当前聋童言语训练系统的发展方向。

二虚拟现实技术及其开发工具

1虚拟现实技术概述

虚拟现实技术又称灵境技术，是20世纪末兴起的一种新型综合性信息技术。借助虚拟现实技术可以为学习者创立真三维、全立体的仿真环境，它可以充分调动人的视觉、听觉、触觉、味觉、平衡感、力感、痛感等，通过特制的仪器，学习者就可以完全进入计算机产生的三维空间现实中，在虚拟空间可以遇到事先安排的各种情境，其临场感、可信度完全可以同现实相比。虚拟现实是一项融合了计算机图形学、人机接口技术、传感技术、心理学、人类工程学及人工智能的综合技术。由于其特有的感知特征，在多领域中得到广泛应用。

虚拟现实系统的基本特征可以简单地表征为沉浸性、交互性和构想性。沉浸性是使人具有真实感并获得体验的根本。通俗地解释为“身临其境”，意味着参与者将不是以敏锐的双眼和聪慧的大脑介入虚拟环境，而是要以完整的生物个体融入虚拟系统。交互性是实现人机互动的关键，计算机使用者可以通过三维交互设备直接操纵计算机所给出的虚拟世界中的对象，虚拟世界中的对象也能够实时地做出相应的反应。构想性则是辅助人类进行创造性思维的基础，虚拟现实系统可以构造出那些现实中不存在或不易观察到的，只出现在人们想象中的情景。虚拟现实技术中人与虚拟环境的交互作用，在本质上意味着它不是现成的而是生成性的，是人为创造的。

虚拟现实所具有的三个特征使得传统的多媒体系统无法与之相比。虽然利用虚拟现实技术的聋童语言实验室尚未问世，但随着虚拟现实技术的发展，虚拟现实技术与聋童语言实验室相结合将成为必然。

2虚拟现实开发技术介绍

目前常用的虚拟现实开发工具是VRML语言和3D MAX软件。VRML语言是一种描述三维场景的语言，可以直接构建虚拟环境。通过VRML语言构造的三维物体具有代码简单、执行速度快等优点。用户可以直接用写字板编辑VRML文件，也可用VRML的编辑器(如VrmlPad)编辑VRML文件。而3D MAX则提供了良好的用户界面以及简单易行的操作方式，是目前较好的可视化三维开发工具。3DMAX基于PC平台进行软件开发，是目前世界上应用最广泛的三维建模、动画、渲染软件，其强大的三维场景建造功能简单易行，完全可以满足场景建造的需要。

Poser是由Curious Labs美国公司推出的人体三维动画制作软件。Poser提供了丰富多彩的人体三维模型，使用这些模型可轻松快捷地设计人体造型和动作，免去了人体建模的繁琐工作。Poser的模型材质和动画可以导出到其它大型的三维软件中，如3ds Max和Maya等。Poser强大的人体造型设计功能为虚拟人物的制作提供了极大便利，利用其工具，可以很迅速地完成人物的姿态塑造工作。简单直观的关键帧制作方式，还可以很方便地得到细腻逼真的人体动作。利用该软件的导入功能可以大大丰富人物造型和动作设计的创作空间。

虚拟现实聋童言语训练系统可以采用VRML语言和3DMAX以及Poser相结合的方法来进行开发。

三虚拟现实技术在聋童言语训练中的应用研究

1研究背景

虚拟现实技术是一种面向自然的交互形式，它对于听力障碍的学习者有着特殊的用途。2003年3月，中国科学院计算所开发的“中国手语合成系统”，是国内第一例利用人工智能，计算机图形学等技术，实现用三维虚拟角色演示用户指定的中国手语。中国手语合成系统负责人指出，该系统实现了手语和自然语言之间的双向翻译：一方面，穿戴有数据手套和位置跟踪器的聋人输入手语，可以转换为正常人可以听到的语音输出；另一方面，通过语音识别技术识别正常人的语音，转换为聋人能够看懂的手语输出，从而使得聋人能够“看到”正常人说的话，是一个用于聋人和具有正常听说能力的人之间进行无障碍自然交流的原型系统。本系统在国际上率先实现了聋人与健听人之间的交流和对话，为手语和自然语言之间的翻译奠定了基础。中国手语合成系统的关键意义在于成功地开创了虚拟现实技术在聋人教育中的应用先河，对于虚拟现实技术在聋人言语训练中的应用具有启发性意义。

虚拟现实已经成功地模拟了手语的生成过程，它还可以模拟真实的场景和过程，提供给用户真实的经历体验和动态信息。虚拟现实所具有的对时间和空间的压缩、放大、转换等特性。使得在利用虚拟现实所营造的真实场景中很容易实现学习、训练、探索的目的性和娱乐性的统一，对人们产生强大的吸引力。虚拟现实技术的这些特点，无论为手语学习、还是言语学习，都起到了语言学习环境所需要的积极作用，从而弥补目前聋童言语训练系统的缺憾，大大提高训练的效果。

2虚拟现实聋童言语训练系统模型构建

语言训练是聋童言语训练的中心任务，聋童大部分的时间都在从事语言训练。虚拟现实技术支持下的语言训练可以通过设计的虚拟现实场景帮助聋童进行语言表达训练、语言理解训练。根据聋童的需要开发出虚拟现实语言训练系统，让学生在虚拟的语言环境中漫游，得到更多的言语信息，从而促进聋童学习语言的积极性。

虚拟现实聋童言语训练系统模型如图1所示。

虚拟聋童言语训练系统模型具有以下关键环节：

(1)创设虚拟现实场景

对聋童来说最困难的是开口说话和表达，因此语言的表达训练应该从启发、激励聋童开口说话开始。利用Poser软件工具设计出虚拟教师、虚拟学伴等人物，并将人物导入利用3D MAX创建好的虚拟场景中，利用动画技术实现人物的运动，从而逼真地模拟出现实场景、游戏场景等，让学生置身于有虚拟人物的情境中，聋童受到情境的感染，产生探索和交流的欲望，使聋童处于将要开口交流的氛围当中，帮助学生获得真实体验，促使聋童做出交流和交互，从而迈出聋童语言表达的第一步。众所周知，构建优良的语言环境对促进聋童听说能力的发展非常重要，因此虚拟聋童语言环境的构建必须贴近聋生的实际，有一定的针对性和科学性。

(2)人机交互界面的设计需遵循聋童的视觉优势

人机交互界面相当于虚拟聋童言语训练系统的面孔，决定了虚拟现实系统的表现形式。而且人类视觉原理是人机交互设计的重要依据，人机交互作用于聋童的视、听、触觉，对聋童接收信息起着基础的作用。但是聋童由于听觉障碍，对于外界信息的选择多依赖于视觉，使得对外界信息处理上具有与正常儿童不同的选择性技巧。人机交互界面的设计应该根据聋童特殊的视觉原理及其优势，精心设计视觉信息内容，在给聋童言语训练提供丰富视觉信息的同时，避免提供和正常儿童相同的视觉刺激，从而防止视觉信息冗余带来的厌烦情绪。充分利用虚拟现实创建真实场景的特点，营造出让聋童感兴趣的视觉画面，让他们在愉快、轻松的学习游戏中进行听和说的训练，利用场景所提供的友好用户界面教会聋童注意声音、识别声音、理解声音的含义，同时锻炼发音器官，循序渐进地获得口语。另外，我们还可以利用虚拟现实超现实的特点，把语言教学中的困难之处形象化，使聋童可感觉、可操作，加强视觉形象与语言信息的联系，从而培养聋童理解语言的能力。

(3)充分发挥聋童推理能力较强的优势，设计信息呈现的逻辑结构

虚拟现实系统应用成功的关键在于信息呈现的方式以及逻辑安排是否合乎聋童较强的视觉推理特征。儿童多媒体言语训练系统的设计在逻辑推理和言语理解方面保持同步，而研究证明聋童推理能力优先于言语理解能力，更优先于语言能力。因此在虚拟现实系统信息表达的逻辑设计中，要使言语内容的理解程度与聋童的逻辑推理发展程度相吻合，充分利用较强的推理能力来发展聋童的语言能力。在虚拟现实环境中通过设置带有一定情境的推理知识，有意识地发挥聋童的推理能力优势，尤其是直观形象推理能力，训练聋童使用推理的方法来学习语言，在理解语言意义的基础上，习得与其相对应的口语，从而加深语言印象。

虚拟环境可以根据需要，人为地或自动地进行调整。可以根据聋童的情绪和反应，调整言语训练的进度和内容，使语言学习和娱乐融为一体，让学生保持最佳的练习状态。虚拟现实技术本身的性能还在不断提高，更加简单易于操作的技术无疑能为其在聋校语言教学中的应用提供可能，从而促进聋童言语能力的提高。

虚拟现实技术在聋童语言教学中的应用结合了计算机图形学、传感技术、人类工程学、人工智能、聋童心理学、康复科学、医疗科学等技术，是一个全新的交叉性研究领域。聋校教育专家和一线教师由于教学任务繁重和计算机技术欠缺，无力开展计算机虚拟现实技术的教学应用，聋校需采取一定的方法，如通过校企合作的方式开展虚拟现实的教学应