增强现实关键技术及其在儿童教育中的应用综述

黄 松

(重庆第二师范学院 数学与信息工程学院， 重庆 400065)

增强现实(Augmented Reality，AR)是通过向用户的真实世界精准添加计算机生成的虚拟内容，增强和提升人类对外界的感知能力，因而引起了业界和学术界的极大关注[1]，并成为计算机视觉领域和教育技术领域研究的热点问题之一。随着移动计算和传感等技术的快速发展及移动智能设备的逐步普及，AR已被广泛应用于教育、医学、旅游、娱乐等诸多领域。

目前有关AR的研究成果不断涌现，AR技术对儿童学习和娱乐的影响也越来越大。本文首先对AR关键技术、对AR在儿童教育的正式、非正式和教育游戏三个领域的应用进行了介绍，对近年来AR跟踪注册、虚实融合显示和人机交互等关键技术研究成果、AR与儿童教育有关的研究进行了分析和总结，最后指出了AR未来的机遇和挑战。

一、增强现实关键技术

AR系统的主要功能模块包括：(1)获取场景信息；(2)跟踪注册；(3)虚实融合显示；(4)人机交互。其中，跟踪注册、虚实融合显示和人机交互是成功实现AR技术的重点和关键。

(一)跟踪与注册技术

跟踪与注册也被称为虚实注册和三维注册，其关键在于明确虚实物体坐标系之间的转换关系，从而将虚拟物体正确地融合到真实场景中。跟踪与注册是一个动态持续的过程，先跟踪三维空间某个(或某些)点的三维坐标与6DOF的姿态信息，再通过注册来实现虚拟物体和真实场景在空间上的整合，确保其在三维空间中位置的一致性。其过程基本步骤如下：先跟踪摄像机在真实场景中的位置以获取摄像机外部参数；然后通过标定技术得到其内部参数；再测量定位，采取用户交互或自动计算的方式确定虚拟物体在三维场景空间中的位置和方向，进而实现虚实景象的融合。

目前，虚实注册方法主要有基于传感器方法、基于视觉方法和混合方法3类。基于传感器的方法通过惯性、磁场、电磁场、超声波等测量并计算姿态信息；基于视觉的方法根据来自捕获的图像、视频的标记和特征的点对应关系估计姿态信息；混合方法将上述不同的方法组合在一起来克服单个方法的固有局限性。

基于视觉的方法是目前注册研究的主流，它又包括基于标识和基于自然特征两类。基于标识的方法主要通过对放置在真实环境中的人工标志物进行特征提取以获得注册所需信息实现注册。这类方法鲁棒性较高且对计算能力要求较低，但会在一定程度上影响场景整体感，户外场景适用性差。其一般工作流程如图1所示。基于标识的注册方法具有代表性的是ARTool Kit、ARTag、ARStudio和VisualCode。基于自然特征的方法需要从场景中提取其自然特征，以实现图像匹配与注册，如通过在二维图像特征点与三维场景特征点之间建立一一对应关系来求解摄像机注册矩阵。目前自然特征检测算法有很多，其中Harris、SIFT、SURF、FAST、ORB、BRISK以及LLDB等算法应用相对较广。

图1 基于标识的跟踪注册工作流程

(二)虚实融合显示技术

如何将虚拟对象精准地放置到真实场景，实现与周边不同深度景物的自然交互，涉及到遮挡处理、渲染绘制以及碰撞检测等技术。

遮挡的目的是在创建AR场景时保持人类视线的规则。在嵌入虚拟对象时，需要考虑真实物体和虚拟对象的前后关系，任何在真实物体背后的虚拟对象，都应该被“遮挡”或隐藏在真正的物体后面。目前解决虚实遮挡问题的方法主要有基于建模、基于深度和基于图像分析的方法，表1对三种遮挡方法的虚实遮挡关系检测和边缘提取进行了比较。基于模型方法的基本原理是对遮挡虚拟物的真实物体进行三维建模，求得该物体在世界坐标系下的三维坐标，然后利用三维注册矩阵将重建得到的真实物体的三维模型叠加到场景中该物体所对应的位置上，从而实现真实物体对虚拟物体的遮挡。基于深度方法的基本原理是首先计算真实场景图像上每个像素点的深度信息，然后根据观察者的视点位置、虚拟物体的叠加位置以及求得的深度信息，比较虚拟物体与真实物体的空间位置关系。如果虚拟物体被真实物体遮挡，则在显示合成场景图像时，只绘制虚拟物体未被遮挡的部分，不绘制被遮挡的部分。基于图像分析的方法一般采用边缘检测、特征提取、背景分割、前景分割、阴影等技术用于虚实遮挡处理。图像分析技术本身也常被用来提升基于模型方法和基于深度方法的性能。

表1 三种遮挡方法的比较

渲染技术通过对嵌入的虚拟对象进行与场景一致的真实感渲染，从而更加真实地将虚拟对象与周围环境相融合。一般步骤如下：通过纹理和虚拟光线下产生的阴影来增强真实感；采用虚拟光源和虚拟阴影，以实现一个支持阴影效果的混合现实环境；在渲染前需要预先获得真实场景的模型和预定义虚拟光源位置的三种实时AR应用阴影形式；使用立方体环境贴图和GLSL着色器等技术来渲染虚拟对象；从真实场景估算光照方向来构造虚拟光源和虚拟对象的阴影，以及虚拟光源对真实场景的影响，实现实时AR系统中的光照一致性效果等。

在虚实交互过程中，虚实物体之间的碰撞检测及碰撞响应问题也是虚实融合时值得关注的课题，它可以进一步加强AR的沉浸感和真实感。AR环境下的碰撞检测相对比较复杂，但通过对真实物体三维重构可将其降维为虚拟现实(Virtual Reality，VR)环境下的碰撞检测问题，借助VR已有方法来加以解决。AR碰撞检测后的响应问题主要是相应虚拟物体的变形问题，有实时性要求的碰撞响应需要变形迅速，无实时性要求的碰撞变形有空间变形和表面变形等方法。

虚实融合的增强信息必须采用合适的显示方式才能让人们感知。目前AR显示设备繁多，近年最有潜力的当属移动式AR显示设备，如智能手机、AR眼镜、平视显示器(Head-Up Display，简称HUD)以及裸眼3D等。直接将虚拟投影信息叠加到现实世界的AR眼镜本可作为移动AR的最佳选择，但因其计算能力有限,目前只能满足基础的应用。智能手机因其较高的计算能力和便携性，成为了移动AR(Mobile Augmented Reality，简称MAR)不错的选择。MAR系统组成示意图如图2所示，只需手持设备并在屏幕上触摸，同时保持某种朝向或移动就能操作MAR应用程序。HUD主要基于光学反射原理，将待显示的信息投射到前方的一片玻璃上面，使用户可以在保持原有视角的情况下，将HUD显示信息和外界场景融合在一起。HUD在AR高端应用领域潜力十分巨大。裸眼3D显示技术是AR中颇具发展潜力的技术，能使观看者无需配戴眼镜等任何助视设备，通过两只眼睛就能观看到立体效果。目前主流的裸眼3D显示技术主要包括光栅3D显示、集成成像3D显示和全息3D显示等。

图2 MAR系统组成示意图

(三)人机交互技术

AR人机交互包含三个因素：用户、AR系统以及用户与AR系统之间的交互。它是一门包括计算机视觉、心理学、人工智能和其他学科的交叉技术，并开始呈现出命令多样化、多用户的特点。目前AR交互方式有触觉反馈、语音控制、手势跟踪、动作捕捉、肌电模拟、眼球追踪等。随着相关硬件技术的发展，多模人机交互也开始成为可能，AR人机交互的研究成果也不断涌现。AR人机交互问题是AR系统一个至关重要的问题，虽然目前取得了一定进展，但仍有许多问题有待继续深入的研究。

二、增强现实在儿童教育中的应用

AR作为一种较为关键的新兴技术，给教育领域带来的技术红利和改革初见雏形。基于AR的教育强调学习者与环境交互，建立知识与反应两者间的链接，这正好符合行为主义有关学习的“刺激-反应”观点；AR提供了丰富的虚拟学习环境构建工具，并赋予了更多的自主控制选择，恰好契合建构主义学习理论中关于“学习是一种真实情境的体验”观点，以及皮亚杰“把实验室搬到课堂中去”的设想与实践。AR应用于教育领域呈现以下特点：(1)直观、形象地展示抽象的学习内容；(2)提供丰富的泛在环境下的学习情境；(3)提升学习者的直觉、存在感和专注度；(4)交互方式自然多样；(5)结合正式和非正式学习，支持泛在学习。这些特点正好适合儿童教育的需求，而且AR与其他技术相结合，还可以在儿童教育领域发挥更大的潜能。

(一)正式教育领域

AR的互动性和探索性特征使其适合幼儿教育，因为这个阶段的儿童喜欢探索，需要高度的活动自由和运动。在学前教育阶段，儿童的智力发展水平较低、理解能力有限，对新事物的接受方式也存在一定的差异，因此这阶段的AR应用大多是把简单抽象的学习内容和儿童熟悉的、直观形象的相关对象建立思维上的链接。例如，采用AR技术来加强幼儿对数学、数字和计数规则的理解，利用AR构建情境进行4～6岁儿童的物理启蒙教学，以及利用AR帮助学龄前儿童建立单词、实物模型和语音之间的联系。

在小学教育阶段，儿童智力和理解能力进一步发展，对新事物的接受能力也随之增强。因此，这阶段AR应用开始着重于较为抽象复杂的学习内容，调动儿童的学习兴趣，促进儿童对抽象复杂内容的理解。引入AR需要教师学习新的技能，以便能够使用这种技术，并且接受采用这些AR工具所引起的教育者角色的变化。一些研究已经证明，在包括一些小学在内的学校实施AR教学提高了学生的学习成绩。有学者尝试将体感自然交互技术和AR技术结合，让青少年在运动中学习物理知识。例如Lee[2]采用游戏化的AR学习调动了学生学习数学的积极性。Barreira[3]开发了一个用于小学阶段不同语种的动物单词教学的AR应用，不同的动物和国旗组合会得到不同国家的动物单词，单词和动物正确配对便呈现动物的3D模型。

在中学初期阶段，AR技术开始用于抽象概念的讲解、科学思维的培养，以及虚实学习环境的搭建。在数学教育方面，AR应用更加关注数学思维的培养和具体的学习效果，甚至可能改变未来数学的学习范式。在化学学科方面，AR应用主要作为一种展示无法直接观察到的内容如分子、原子结构等的手段。Cai[4]设计了虚实融合操作实验来进行初中化学物质结构的教学，实验中虚拟的分子和原子可以以自然交互的方式进行操作、组合和创作。智利天主教大学设计开发了一款教室AR游戏实例，用以讲授静电学的基本概念。蔡苏[5]设计并实现了AR概念演示书，用以展示中学物理的单摆等基本实验，给学习者直观形象的感受。Santos[6]在词汇教学中采用AR等技术，扫描实景便可获取相关学习词汇，从而使学习者注意力更加集中并对学习更加满意。Chiang[7]在中学生物学科教学的探究学习环节中引入AR技术，将学生派往不同区域进行探索，利用基于地理位置的AR应用来学习相关生物知识并上传，以供到达该地点的其他学生查看分享的内容，从而丰富学习体验并充分发挥各种新技术的作用。Wang[8]开发了一个支持野外数据收集和查看地图的移动AR调查工具。Hsiao[9]开发了一个帮助地理学科学习的AR天气系统，它可根据教室、家庭和博物馆等不同教学环节呈现不同的知识内容。

(二)非正式教育领域

AR图书就是将AR技术应用在书籍上，让静态的图文“活”起来。通常情况下，通过手机、平板的摄像头去扫描AR图书指定页码上的图片，透过屏幕可以看到书中的平面形象变身为3D立体模型，点击屏幕还可以进行互动，将视觉的画面扩展到视听多方位的体验。《Magic Book》是最早出现的一套AR儿童图书，利用HMD即可观看叠加在书本各个单元的AR动画内容。Nd[10]不但开发了可让读者自主讲故事且创造故事情节的交互式图书，还开发了线稿涂色反馈到3D模型的AR涂色画本。Al-Ali[11]开发了包含图画、模型和视频的移动交互图书《My Vision AIR》，增加了阅读的趣味性。Cheng[12]制作了扫描故事图片即可呈现模型实景的AR立体书。

在科技馆、博物馆应用方面，AR技术已非常普遍。AR技术既可在定点展览中帮助呈现无法真实展示或者部分不易展示的实物以丰富展出内容和形式，又可在导览中帮助整合介绍、知识链接、模型和游戏等不同形式的资源，带给游览者全面又生动的体验。Klopfer[13]提出了一个与博物馆合作的MAR教育系统，儿童可使用袖珍个人电脑和对讲机来采访虚拟人物和操作虚拟仪器。Chang[14]开发了一个艺术欣赏与MAR技术相结合的系统，以提高艺术博物馆参观者在访问期间的学习效果。系统可定位并覆盖当前图片上的信息，还提供了在虚拟图片中缩放的功能。

Freitas[15]开发了一套适合低年级学生的AR交通教育系统，虚拟的三维模型如汽车和飞机在实时视频上被覆盖，以展示交通和动画的概念。Lin[16]探索了一种将AR应用于残疾儿童的教育活动中的新方法。针对有特殊需要的学生，特别是有注意力不集中和有记忆障碍的学生，它可以逐步提供指导。教师也可设计多层次的教学策略，帮助有特殊需求的儿童独立学习。

(三)教育游戏领域

教育游戏(Educational Game)是专门针对特定教育目的而开发的游戏，强调教育性和娱乐性并重。AR教育游戏可比较自由地构建虚拟游戏场景或添加体验层来支撑情境学习。

“环境侦探”是美国麻省理工学院“施勒教师教育计划”开发的一款教育游戏，采用MAR技术来创设学习情境。游戏将虚拟数字信息与真实世界体验相结合，添加体验层，设置了虚拟人物访问、模拟环境测量和模拟数据分析等环节，以达到科学探索的教育目的。“接触外星人”是雷德福大学开发的用于提升初高中学生科学素养的AR游戏。瓦伦西亚理工大学研制了趣味AR教育游戏“认识濒危动物”，并通过对46名儿童进行对照实验后认为，AR教育游戏更受儿童所喜爱、教学效果更佳。圣保罗大学研究团队开发了一款名为“Gen Virtual”的AR音乐教育游戏，用于提升学习障碍者的音乐演奏技能，同时改善创造力、注意力和动作协调等能力。

三、增强现实对儿童教育的影响

一些学者将关注的重点聚焦于AR应用于儿童教育产生的影响。Cascales[17]针对学龄前儿童使用AR技术作为学习工具的影响进行了研究，研究后指出：AR资源可能适合多种学习层次；使用AR技术能提高儿童的阅读和写作技能，因此可以获得更好的成绩，这对学龄前儿童的教育非常重要。Yilmaz[18]揭示了教师和儿童对AR教育魔术玩具的看法，确定了儿童的行为模式及其认知成就，以及他们在玩AR教育魔术玩具时的关系，并明确指出AR教育魔术玩具可以有效地用于幼儿教育。Alhumaidan[19]针对现有AR图书开发没有儿童参与的不足，在一本讲述协作学习经验的AR教科书的设计和评估过程中探索让小学儿童也参与其中，并进行了通过对AR教材的共同设计来加强小学教育中的协作学习经验的研究。Lee[20]研究了如何有效使用AR来提高幼儿园的学习体验，同时解决父母对长期使用电子设备可能会影响其孩子健康状况的担忧。Boonbrahm[21]创建了3个分别专注于写作、阅读和对话的AR实验，结果表明AR在儿童学习英语过程中起着很好的激励作用。Koutromanos[22]查阅了关于AR应用于正规和非正规教育环境的大量相关研究，提供了一些研究成果，证明了AR应用于学生学习的积极成果。Radu[23]比较了应用AR与未应用AR的学生的学习表现后指出：MAR应用程序可以提高学习者的成绩，增强其记忆，将学生的注意力引向与学习相关的内容、交互、协作和学习动机，但是也存在一些负面影响，如降低了对错误的关注等。

综上分析可知，AR对儿童教育具有许多积极的影响，但也存在着可能降低儿童对错误的关注度以及影响儿童健康状况等一些负面担忧，需要在将来的AR应用中特别加以关注。

四、结语

AR很可能和VR一起成为下一代主要计算平台，其中AR将比VR更快进入人们的生活。市场调查机构IDC最近在《全球半年度增强现实和虚拟现实产值指南》中指出：AR/VR市场的全球营收预计未来四年将增加100%或更多，产品和服务的总产值将从2017年的114亿美元猛增至2021年的2150亿美元，复合年增长率达到21.2%。AR技术也被许多国家列为未来几年重点发展的教育应用技术。但是如何使用AR技术改善学习环境，AR构建的虚拟学习和教学环境如何更有效地支持学习和教学，如何重新概念化AR教学环境下的教育观念，仍是有待解决的重大课题。

AR是VR技术的延伸，它随着移动设备、计算机视觉、移动云计算、互联网接入以及合作网络等领域的不断进步，迅速走进人们的生活。AR技术是目前国内外学者研究的热点，AR在儿童教育中的应用更是众多国家和组织关注的重点。我们将AR关键技术及其在儿童教育中的应用现状归纳总结并介绍给读者，希望更多感兴趣的同行了解和加入，以促进这一研究方向及其相关研究的发展。