虚拟教师研究综述＊

赵慧勤 ，孙 波 ，张春悦

(1.北京师范大学 信息科学与技术学院，北京 100875；2.山西大同大学 计算机科学与技术系，山西 大同 037009；3.中央财经大学 外国语学院，北京 100081)

基于网络的在线学习给学习者提供了宽松、自由和开放的学习环境，学习者可以根据自己的需要选择学习内容、学习时间、学习地点、学习方式甚至指导教师。然而，这种时空分离的教与学导致了教学中教师和学生之间缺少互动，缺乏情感的交流，学生大部分时间处于一种无人监控的自由学习状态，容易产生孤独感，不易对学习保持长久热情，教学效果差。虚拟现实技术的出现，为人们提供了一种全新的学习方式，它的沉浸性、交互性、构想性[1]的特点突出了认知和感知的并用，弥补了现有网络教学系统的种种缺陷。探求虚拟现实技术更合理地应用于教育教学，为学习者创建更和谐的虚拟学习环境已成为一个新兴的研究领域。伴随着虚拟现实技术的发展，虚拟人技术的研究也在不断深入，如何将虚拟人技术应用于三维虚拟学习环境中，构建和应用三维虚拟教师，使网络在线学习在虚拟教师的指导下进行，进一步增强教学互动，提高学生学习兴趣、激发学习热情。本文针对虚拟教师问题进行了研究，从虚拟教师的起源与发展历程出发，给出了虚拟教师的概念界定，介绍了现有一些虚拟教师系统及其关键技术，指出了现有系统存在的不足以及今后的发展趋势，最后设计了一个虚拟教师的框架结构。

1 虚拟教师的起源与发展

多数情况下，虚拟教师是作为教师的引申出现的，不同阶段对虚拟教师的研究，冠以了不同的名称，体现了各阶段的特色。虚拟教师概念的形成与发展起源于20世纪50、60年代的计算机辅助教学(CAI)，自 1958年IBM公司奥斯顿研究中心开发世界上第一个计算机教学系统以来，至今已有50多年的历史。计算机辅助教学是利用计算机来模拟教师的行为，通过学生与计算机间的交互活动来达到教学的目的。因此，从CAI诞生起，研究者们在对如何利用计算机来帮助教师开展教学活动、指导学生更好地学习进行研究的同时，对CAI系统的相关部分——虚拟教师的研究也在不断深入，内涵也在不断变化和发展。早期的CAI系统主要采用程序教学，把教学内容和教学策略等结合在一起编制顺序执行的计算机程序，其运行的具体过程事先已确定，不能根据实际的学习需要调整教学策略，灵活性差[2]。这个阶段虚拟教师的概念还没有形成，但已经有了雏形，就是如何利用计算机呈现教学内容。到了20世纪60年代，CAI引入了分支程序的概念，学生在一定程度上可以决定学习的路径，根据自己的特点选择学习内容，这时虚拟教师的内涵增加了互动性。20世纪70年代，人工智能技术被引入到传统的 CAI系统，出现了智能 CAI系统(即ICAI系统)继而出现了智能导师系统(ITS)。通过智能导师可以为学生提供一定程度的学习指导、帮助和反馈，其目的是使学生达到个别的、自适应学习，它注重后台功能的研究开发，在交互界面上并未出现形象化的教师，这时虚拟教师的内涵增加了智能性。进入20世纪90年代后，随着多媒体技术和网络技术的发展，智能导师系统不仅在一定程度上具有了人类导师的作用，而且能够弥补真实教师的一些不足，如长时间为学生提供指导而不会疲倦，学习者可以自主地安排学习时间、学习内容、学习方式等。这时，美国的马里兰大学的一个课题组提出了虚拟教师的概念，即“一个基于多媒体技术的网络教学环境，通过该系统可以使传输过程完善、同步运行并能交相互动的多媒体教学内容”[3]，而参考文献[4]对虚拟教师的界定是：虚拟教师是一种设备或技术，它是学习环境的一部分，作为学习环境的补充，有助于学习者操作技能的获得。进入21世纪，随着虚拟现实技术与虚拟人技术在教育领域的广泛应用，虚拟教师的内涵又得到了进一步的发展，构建形象逼真、表情丰富、动作生动、行为真实的三维虚拟教师成为研究的重点，这时的虚拟教师才是名副其实的虚拟教师。虚拟教师被逐渐定义为：计算机生成的三维虚拟学习环境中，能够模拟真实教师的形象及动作表情、模拟真实教师的教学功能的技术实体。表情丰富、动作生动、行为逼真的虚拟教师可以极大地增强学生在线学习的效果。

2 虚拟教师的研究现状

目前虚拟教师系统很多，大部分都具有虚拟教师形象，下面重点介绍一些有特点的系统。

2.1 虚拟教师系统

2.1.1 具有智能性的虚拟教师系统

由美国南加利福尼亚大学(USC)JOHNSON W L和SHAW E提出的教学代理Adele[5]是虚拟教师的一项成功应用，Adele结构中最主要的部分是代理人和推理引擎，它具有基本的教育功能：表达知识、监控学生、提供反馈、探究问题、提示和解答，这些功能是通过一个能够支持与学生进行连续的、多种模式的智能代理来完成的。目前，已应用于医学教育课件，教授外伤和肿瘤医疗课程。

由美国南加州大学信息科学院计算机部开发的Steve[6]的教学代理用来支持学习过程，Steve的体系结构包括感知、认知、运动控制三大模块。感知模块监视虚拟世界的状态，维护一致性，并将相关信息提供给认知和运动控制模块；认知模块解释感知输入，选择合适的目标，构建执行计划以达到那些目标，并发出运动指令；运动控制模块执行那些运动指令，控制Steve的声音、运动、眼神和手势。该系统提供了一个三维虚拟的实验室，Steve能够演示技能操作、回答学生的问题、观看学生完成任务的过程，并且在学生遇到困难时给出建议，同时还具有逼真的人体形象和行为动作。

AvaTalk[7]是一个用于交互技能训练的智能虚拟教师系统，使用代理技术设计了1个具有知识和情感表达的替身，它由3部分组成：语言处理器、行为引擎和虚拟人可视化引擎。语言处理器接收语音的输入并将它映射为基本的语义表示，由语音生成器与语义表示匹配，以语音形式输出，并配合面部表情、手势，通过可视化引擎进行显示。行为引擎与语言处理器相匹配，模拟虚拟教师的行为，如改变面部表情、形成语音对话等。

Jacob[8]项目重点实现3个问题：即建立了一个虚拟现实系统，集成了自然语言和其他交互形式，使用了代理技术。Jacob项目集成了多种学科技术，包括智能导师系统、虚拟现实技术、智能代理技术、自然语言处理技术、代理可视化、动画技术等，在人体运动方面遵守HAnim标准。

Whizlow[9]项目是北卡州立大学开发的3个动画教学代理之一，Whizlow包括了一个三维的虚拟环境和一个动作逼真的代理，它提供关于计算机体系结构的学习指导，这个虚拟环境提供了如CPU、总线等概念的三维显示效果。学生指定一个程序，代理会解释这个程序是如何被执行的。

2.1.2 具有三维逼真形象的虚拟教师系统

除了上面介绍的虚拟教师系统都具有三维教师形象外，在佛州大学学习创新技术研究中心RITL的贝勒教授正在开展对虚拟教师的研究[10]。贝勒教授致力于研究虚拟教师的年龄、性别、种族等外在特征对学生动机和信仰的影响，并且对虚拟教师的面部表情、手势等非语言交流进行了研究，使这些虚拟教师既让人感到逼真、真切，又有超强的说服力。

新西兰梅西大学的研究人员创建了一个虚拟教师Dubbed Eve，她是一个与人相似的三维动画教师，是“智能和情绪感知系统”概念的具体实践。Eve目前被设计用来以一对一方式教8岁大小孩子的数学。她能提问、反馈、讨论、给出答案，并能表现相应的情感，也能根据远程学生的情绪状态做出适当的反应。

Jack[11]是宾西法尼亚大学人体建模和仿真中心开发的一个在三维环境中控制和模拟逼真人物的软件系统，它提供了碰撞检测、实时物体的抓取、实时可视化的功能。这个软件系统的商业版本提供了在三维环境中的产品设计和产品测试。另外，基于这个系统开发的Soda-Jack，提供了一个动画代理，可以搜寻和操纵物体。

2.1.3 具有语音对话的虚拟教师系统

除了上面介绍的Steve和AvaTalk具有语音交互功能外，由科罗拉多大学波尔得分校的Ron Cole领导设计和实现的一个只有头部的三维辅导教师Baldi，是用来开发听力有障碍儿童的会话技能的，通过语音识别和其他新技术，向学生显示怎样理解和产生口头语言。Baldi在产生精确的面部运动的同时，会产生相应的语音，声音可以是已经记录好的真实人的声音，也可以是计算机生成的声音。

国内推出的智能虚拟英语老师Lucy，学习者可利用此软件与虚拟人物Lucy对话、聊天，帮助克服英语学习者普遍存在的难以启齿、大胆说英语的障碍，创造了人机智能互动说英语的环境。数据库智能引导互动模仿练习，提供实时、引导式、自由式对话，采用真人唇形、发音比照模拟图形，从而使发音更加准确，同时还可以纠正发音。

目前，虚拟教师系统还有很多。表1对一些典型的虚拟教师系统进行了比较。通过研究发现，目前虚拟教师的研究重点是构建一个高逼真度的虚拟教师人物形象，除了具有接近真实人物的外在表现外，还要具有真实的动作行为，并且具有一定的智能性，但目前已有的研究还没有涉及到利用体态语(肢体语言)在网络教学中实现交互的问题。

表1 典型虚拟教师系统的主要特点比较

2.2 虚拟教师研究中的关键技术

虚拟教师的概念经过不断演变，其内涵越来越丰富，涉及的实现技术也变得更加复杂。当前，虚拟教师研究涉及的关键技术包含以下几个方面。

2.2.1 智能代理技术

Adele、Steve、AvaTalk、Jacob、WhizLow 等 系 统 均 采 用了智能代理技术。智能代理是分布式人工智能技术和网络技术发展的必然结果，代理(Agent)是指能在某一环境中运行，能响应环境的变化，灵活、自主地采取行动以满足其设计目标的计算实体。其本质上是一个计算机软件程序，它运行于动态环境中并具有较高的自治能力，能够接受其他实体(如用户、智能体、系统或机器等)的委托并为其提供帮助和服务，同时，能够在该目标的驱动下主动采取包括社交、学习等手段在内的各种必要的行动以感知、适应并作用于动态变化的环境。智能代理以其具有良好的自治性、自主性、智能性、反应性和社会性等特点，成为描述实体行为模型的通用技术框架。智能代理技术在网络教学系统中可以发挥5个方面的作用：动态跟踪过程实时监控、教与学的行为分析、信息的检索与过滤、协同学习和智能推理建议。这5个方面的作用，使得网络教学系统可以利用智能代理技术实现对学生自主学习行为和教师的辅导行为的监督，并根据学生的学习情况、进度和效果给出具体的指导，为教师进行辅导提供智力支持。

2.2.2 虚拟现实技术

在 Adele、Steve、Jacob、Whizlow、RITL、Jack 等 系 统 中，都构建了一个三维的虚拟学习环境，并在此环境中设计了一个形象逼真、动作生动、表情丰富的虚拟教师形象。其中采用的就是虚拟现实技术和虚拟人技术。虚拟现实技术(Virtual Reality)也称灵境技术，是指利用三维图形生成技术、多传感交互技术、多媒体技术、人工智能技术、人机接口技术以及高分辨显示技术等高新技术，生成三维逼真的虚拟环境，实现人与虚拟环境直接进行自然交互和沟通的技术。利用虚拟现实技术构建的虚拟环境，可以是某一现实世界的真实实现，也可以是虚拟构想成的世界，人在虚拟现实环境中可以获得与在自然环境中相同的感受，真实体验视觉、听觉、触觉及智能感知的直观、自然的效果。虚拟现实技术所具有的沉浸性、交互性、构想性的特点突出了形象思维和逻辑思维的结合，认知和感知的并用，使其应用于教育可以弥补现有网络教育缺乏体态语交互和亲身体验等缺陷[12]。

2.2.3 虚拟人技术

虚拟人(Virtual Human)是人在计算机生成空间(三维虚拟环境)中的几何特性与行为特性的表示，是多功能感知与情感计算的研究内容。基于虚拟人技术设计的虚拟教师有以下几个特点：有自身的几何模型；可以与周围的环境交互，感知并影响周围环境；虚拟教师的行为可以由计算机程序控制，称为智能体(Agent)；虚拟教师的行为也可以由真实人控制，称为真实人的化身(Avatar)；虚拟教师与虚拟学生之间可以通过自然的方式，如自然语言、体态语等进行交流。因此，在设计高逼真性的虚拟教师时，要涉及到虚拟人的人体建模技术、运动生成与控制技术、手势识别技术、人体姿态识别技术、面部表情识别和生成技术等。

2.2.4 自然语言处理与语音合成技术

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，它研究实现人与计算机之间通过自然语言进行有效通信的各种理论和方法。实现人机间自然语言通信意味着要使计算机既能理解自然语言文本的意义，也能以自然语言文本或语音形式来表达给定的意图、思想等。因此，在大多数虚拟教师系统中都会用到自然语言处理技术和语音合成技术。

语音合成就是将文本转化为语音输出的过程，这个过程的工作主要是将输入的文本按字或词分解为音素，以及将音素生成数字音频，然后用扬声器播放出来或者成为声音文件以后用多媒体软件播放。Balli、AvaTalk、Lucy即采用了自然语言处理技术和语音合成技术。

3 虚拟教师系统的发展趋势

3.1 现有虚拟教师系统的不足

分析目前已有的虚拟教师系统，并没有发现从形象到行为具有与真实教师一样的虚拟教师系统，其不足体现在以下几点：

(1)缺乏逼真的人体几何表达。虚拟人技术在教育领域的应用还不够成熟，还没有一个虚拟教师具有真实的人体几何外形。

(2)缺乏真实的人体运动控制。在已有的虚拟教师系统中，或者只具有头部形象、或者虽然有整个人体，但都是静态的姿势，没有进行人体运动的控制，更缺乏体态语交流。

(3)缺乏人体运动行为和内在认知表达的统一。在已有的虚拟教师系统中，大部分是从教师的功能角度去考虑，没有将虚拟教师的功能与外在行为表现结合在一起去考虑。

(4)缺乏丰富的情感表达。在已有的虚拟教师系统中，还没有一个系统研究了人工情感问题，以方便师生之间的情感交流。

3.2 虚拟教师系统发展的趋势

可以预测，赋予虚拟教师更多样的表情、更生动的动作、更逼真的行为和更丰富的情感将是今后虚拟教师研究中的热点，涉及到的研究内容大致可以分为虚拟教师的几何表达、运动生成及控制、行为表达、认知表达、情感表达5个主要方面。其中几何表达、运动生成及控制主要从虚拟教师几何和运动行为特性逼真性的角度进行研究，行为表达、认知表达主要从虚拟教师智能化角度进行研究，情感表达是从虚拟教师的情感拟人性的角度进行研究。

3.2.1 几何表达技术

形象亲切、动作逼真的虚拟教师会使学生产生亲切感，对学生的学习会产生很大作用，因此虚拟教师的几何模型的构建非常重要。虚拟人的几何模型表示主要有：棒模型、表面模型、体模型、分层模型等方法。虚拟教师的人体几何模型可以采用层次模型，即由骨骼层、肌肉层、皮肤层组成。皮肤位于最外面，骨骼位于最底层，肌肉填充于前两者之间，在底层骨骼的驱动下，带动肌肉的收缩或扩张，从而引起虚拟教师面部表情和身体细节的变化。目前，骨骼层有2个标准：VRML的H-Anim和MPEG-4[13]。其中，H-Anim是以人体重心为根节点、以关节为子节点、以骨骼为连线的树形；MPEG-4提供对Body对象的支持，1个Body对象主要包括两类参数：人体运动参数和人体模型定义参数，骨架是构建逼真的虚拟教师几何模型的基础，肌肉层是影响虚拟教师表面形态重要的因素。采用基于隐式曲面的几何造型技术，可以很好地表现虚拟教师面部表情和身体的变化。皮肤层由平面或曲面片组成的表面模拟皮肤的几何外形，能够平滑细腻地虚拟教师形象化。

3.2.2 运动生成及控制技术

虚拟教师几何模型建好之后，得到的是虚拟教师的静态表示，如何驱动静态的虚拟教师人体模型，得到逼真的动作，这是虚拟教师运动生成和控制技术的关键。目前，对虚拟人运动控制的技术有：参数化关键帧技术、过程动画技术、运动学技术、动力学技术、运动捕获技术等。在虚拟学习环境下，教师的教学行为和情感表达可以通过一些动作来反映，主要有：站姿、坐姿、手势、头部姿势、行走等。这些动作通过使用专门的传感器以三维的形式记录真实教师的运动信息，然后利用所记录下来的数据来重新构建虚拟教师的动作模型，从而生成运动动画。通过这种方法能够捕捉到真实教师运动的数据，因而效果非常逼真。由于虚拟教师在体型高度等方面存在着不同，因此，需要引入运动重定向技术进行动作的匹配计算。

3.2.3 行为和认知表达技术

行为和认知建模是探索一种能够尽可能贴近真实实体对象行为的模型，使构造实体对象的人能够按照这种模型方便地构造出一个行为上真实的虚拟实体对象[14]。智能代理以其特有的性质成为描述实体行为模型的通用技术框架，代理分为反应型和认知型。反应型不对内部状态进行推理，仅对环境变化和其他代理的消息做出反应；认知型代理基于符号表示和推理来采取动作和完成任务，具有较高的智能，但不能对环境变化做出快速反应。对虚拟教师行为和认知建模，不仅要实现信念、愿望等精神状态以及判断、推理等思维过程，而且要实现对周围环境进行快速反应的行为动作，因此，采用混合型代理对虚拟教师行为和认知建模。该模型可以分为2层：反应层和规划层。反应层不做任何推理，直接由感知信息映射到动作行为；规划层进行推理工作，将感受到的信息进行分析，按照一定的策略进行行为规划，转换成一系列的动作行为。当代理接收到外界信息后，若信息属于响应型，直接做出响应，否则由规划层进行规划并处理。

在三维虚拟教学环境下，虚拟教师的行为包括两大类：一类是自治性的行为，即虚拟教师应能够感知周围环境的变化，包括对虚拟环境中实体的增删、碰撞检测以及对学生是否在线的感知。另一类是交互性行为，包括两类：一类是虚拟教师与虚拟环境下的虚拟实体的交互行为，如拿书、握笔等，这属于低级行为；另一类是虚拟教师与学生之间的教学交互，包括高级智能行为和低级行为，最终要以言语、手势、站姿、面部表情等形式表现出来。

通过分析现有网络教学模式，可以将教学中常见的教学活动划分为两大类：低级教学活动和高级教学活动。其中，呈现教学材料、提问、答疑、提示、讲解、练习、讨论、总结、复习、测试等属于低级活动，可以直接映射为一系列的固定动作，由反应层直接做出响应；确定教学目标、教学策略选择、教学结果评价等属于高级智能活动，要由规划层进行推理，制定相应的行为规划。

3.2.4 情感表达技术

在虚拟教学环境中，虚拟教师的面部表情携带着教师的一种教学情感(鼓励、平静、赞许、批评、惊奇等)，它作为虚拟教学活动的一种重要辅助手段支持教学活动的展开和知识的传递。目前，常用的表情识别方法有：基于几何特征的识别方法、基于代数特征的识别方法、基于连接机制的识别方法、频率域特征识别、基于隐马尔科夫模型的识别方法以及基于运动特征的识别方法等[15]。在表情控制方面，采用基于MPEG-4的人脸动画参数，即用于描述特定脸型的人脸定义参数(FDP)和描述脸部活动的人脸动画参数(FAP)。首先对教师教学活动典型表情特征进行分析，提取教学情感特征参数TEP(Teaching Emotion Parameter)，然后根据虚拟教师的情感控制模块将TEP映射到FDP和FAP。另外，建立适应于教学情感状态的虚拟教师面部表情模型，在FAP的驱动下，使虚拟教师发生相应的面部表情变化，实时表现虚拟教师的面部表情。虚拟教师面部表情控制如图1所示。

3.3 基于智能代理的虚拟教师框架结构

通过前面的分析与讨论，基于智能代理的虚拟教师框架结构如图2所示。

在该模型中，感知模块用来收集来自三维虚拟教学环境中的信息，如虚拟场景中实体的增删、场景的变化等，也包括环境中虚拟学生的行为变化，如身体姿态、在线状态等。信息处理模块负责将收集到的信息进行分析、整理，属于反应型的直接将信息传送给运动控制或情感控制模块，如果属于高级智能型的信息，则传送给存储模块。存储模块接收学生学习特征与教学目标，对虚拟学生的学习做出适当的过程性评价。行为决策规划模块根据上一步的评价结果，在教学策略库、行为规则库、领域知识库的支持下，为虚拟教师下一步的行为制定相应的规则，包括运动规则和情感规则。运动控制模块根据运动规则在标准运动模板库中找到基本动作，控制运动反应模块产生相应的动作，如行走、小臂弯曲、抓物体、站立姿势等。情感控制模块根据情感规则，在标准情感模板库中找到基本的情感动作，控制情感反应模块驱动面部表情呈现情感的变化，如微笑的表情等。

图1 虚拟教师面部表情控制图

图2 虚拟教师模型框架图

虚拟教师系统经历了多年的发展，在网络在线学习中发挥着极其重要的作用。目前，随着虚拟现实技术、虚拟人技术等新技术在教育领域的不断应用，在三维虚拟学习环境中构建一个形象逼真、表情丰富、动作生动、行为真实的三维虚拟教师成为发展趋势，它不仅要求构建的虚拟教师能够感知周围环境的变化，具有自治性，而且要求虚拟教师能够模拟真实教师的教学行为，具有智能性。

[1]李欣.虚拟现实及其教育应用[M].北京∶科学出版社，2008.

[2]赵盼，古兆兵.智能导师系统在军事训练中应用现状及发展[J].计算机工程与设计，2007，28(17)∶4275-4277.

[3]董梅.创新网络教学重塑教育传输模式[J].聊城大学学报(自 然科学版)，2005，18(3)∶82-84.

[4]GILLESPIE R B， O’MODHRAIN M S， TANG P， et al.The virtual teacher.http∶//ccrma.stanford.edu/～sile/abstracts/asme98.html，1998.

[5]JOHNSON W L，SHAW E.Using agents to overcome deficiencies in Web-based Courseware[C].Proceedings of the workshop， IntelligentEducationalSystemson the World Wide Web， 8th World Conference of the AIED Society，Kobe， Japan， August 1997∶18-22.

[6]RICKEL J，JOHNSON W L.Animated agents for procedural training in virtual reality∶perception， cognition， and motor control[J].Applied Artificial Intelligence， 1999，13∶343-382.

[7]GUINN C，HUBAL R.Extracting emotional information from the text of spoken dialog.http∶//www.cs.ubc.ca/～conati/um03-affect/guinn-final.pdf，2009.

[8]TAN T， SHI Y， GAO W.Jacob-An animated instruction agent in virtual reality[C].Springer-Verlag Berlin Heidelberg 2000，ICMI 2000， LNCS 1948∶526-533.

[9]LESTER J C， ZETTLEMOYER L S， GREGOIRE J P， etal.Explanatory lifelike avatars∶performing user-centered tasks in 3D learning environments[C].Agents’99， Proceedings of the Third International Conference on Autonomous Agents， ACM Press， 1999∶24-31.

[10]Anthropomorphic interface agents demos.http∶//ritl.fsu.edu/agentsdemo/，2009.

[11]Transom technologies∶Jack software.http∶//www.transom.com/Public/transomjack.html.2009.

[12]赵慧勤，孙波.网络环境下基于虚拟现实技术的情感教学环境的构建[J].中国电化教育，2009(4)∶101-104.

[13]任利锋，潘志庚，朱杰杰，等.虚拟环境中化身技术的研究与进展[J].计算机工程与应用，2008，44(10)∶1-5.

[14]苏绍勇，陈继明，潘金贵.虚拟环境中行为建模技术研究[J].计算机科学，2007，34(2)∶270-273.

[15]王志良，孟秀艳.人脸工程学[M].北京∶机械工业出版社，2008.