基于移动增强现实的交互式游戏应用研究*

张 帅，伍传敏 ,2

（1.三明学院 信息工程学院，福建 三明 365004；2.华中科技大学 计算机科学与技术学院，湖北 武汉 430074）

一、引言

近年来，“互联网+”、大数据、人工智能、虚拟现实等纷纷在相关领域崭露头角。mAR（Mobile Augmented Reality）逐渐成为虚拟现实技术的一个新的研究方向。该技术将虚拟场景信息叠加到真实世界中，为用户、虚拟世界和真实世界之间搭建一个交互反馈的信息回路，以增强用户体验的真实感。Paul Milgram等[1]人在1994年首次提出了混合现实（Mixed Reality，MR）的概念（见图1），分别将真实环境与虚拟环境设置为两个极点，二者的交叉融合构成了“虚拟现实连续体”，分别阐述了虚拟现实与真实环境混合的不同情况。混合现实技术融合了虚拟现实、增强现实、计算机图形学、计算机视觉、图像处理、模式识别等多个学科的最新成果，在娱乐、教育、传媒、旅游、军事、医疗等领域得到了广泛的应用。

图1 Paul Milgram的现实—虚拟连续体概念

移动增强现实技术不同于虚拟现实技术，在传统的虚拟现实系统中，用户通过计算机创建虚拟环境，通过外部设备与虚拟环境产生交互，用户所处的真实环境和所交互的虚拟环境是完全独立的。[2]而在移动增强现实系统中，用户可以同时保持与虚拟环境和真实环境之间的交互，并且对这两个环境的交互保持同步且相互匹配。移动增强现实包含虚拟现实和增强现实，但并不是两者的简单拼合，增强现实以真实世界为主体，利用虚拟现实技术或其他图像处理技术，将虚拟模型、图像等叠加到用户的视觉域，在同一画面或同一空间共存，从而实现对现实的“增强”。增强虚拟与增强现实相对应，它是以计算机模拟的虚拟环境为主体，利用图像处理技术，结合反映真实世界的物体、图片或视频，以提供给用户多内容、多交互视觉体验。[3]增强现实和增强虚拟在很多系统中很难区分。

本研究主要在分析增强现实研究的基础上，归纳整理出基于移动增强现实的交互式游戏应用的特点及关键技术，在现有游戏开发模式的基础上，提出面向移动增强现实相关特征的混合现实类游戏开发模式。

二、基于虚拟现实、增强现实及移动增强现实的交互式教育类游戏应用及对比

为了提高学习者的参与程度，通过虚拟现实、增强现实和移动增强现实技术将内容呈现形式多样化，通过游戏的方式提高学习者的兴趣。本文将分别研究基于虚拟现实、增强现实及移动增强现实的教育游戏的研究案例，[4]并与传统面对面学习方式、传统在线学习方式进行对比分析。

1.基于虚拟现实的教育类游戏

虚拟现实（Virtual Reality）是通过计算机仿真系统模拟并体验虚拟世界，它主要利用计算机模拟真实环境，通过多源信息融合、交互式三维动态视景和实体行为发生交互的仿真系统，使用户产生身临其境的感受。[5]虚拟现实主要包括模拟环境、感知、自然技能和传感设备等方面。虚拟环境主要通过计算机来模拟实时动态的三维场景。一切人所具有的听觉、触觉、力觉、味觉、触觉等感知都包含在内。自然技能主要包括人的头部转动、眼睛、视觉、手部动作通过与计算机的识别完成指定的指令，并反馈给用户。传感设备主要是用户所佩戴的头戴式交互型设备。

虚拟现实技术应用于教育领域是教育技术快速发展的一个大的飞跃；它优化了“自主学习”的情境，由传统的“以教促学”转变成学习者的“自主学习”，是通过学习者个人和信息环境发生交互、促进学习者学习知识和技能的一种新型学习方式。很多高校都在积极研究虚拟现实技术及其教育应用，[6]相继建立了虚拟现实与计算机仿真实验室，并对科研成果进行转化。如清华大学虚拟现实与人机界面实验室的宽屏驾驶仿真系统使用模拟器来进行驾驶行为检测、绩效测量和训练；浙江大学计算机辅助设计与图形学国家重点实验室探索虚拟环境的真实感知以及虚实环境融合的一致性理论和方法，研究虚拟环境构建、绘制、显示、人机交互等虚拟现实关键技术；北京航空航天大学主要进行分布式飞行模拟方面的研究。虚拟学习环境主要通过虚拟现实技术为学生提供逼真、丰富的学习环境，将枯燥的理论知识转化成多样的学习情境，在广泛的学科领域内提供无限的学习体验，改变传统的说教式教学，让学生自己去感受、主动去交互，在传统实验室的基础上，增加虚拟地理、生物、化学等实验室，提高学生的学习兴趣。

目前基于虚拟现实技术的游戏开发主要分为两大类：一类是基于桌面类的虚拟现实游戏开发；一类是基于头戴式设备的虚拟现实游戏开发。针对传统平面媒体科普教育效果欠佳、呈现效果差的问题，设计桌面类的虚拟现实游戏，将虚拟现实的科普游戏案例嵌入到教育中，形成游戏性和教育性相融合的新型教育模式，通过游戏激发学习者学习动机，以设计合理的游戏交互机制引导用户快速融入学习情境。

2.基于增强现实的教育类游戏

增强现实技术（Augmented Reality，简称 AR）是一种将真实世界和虚拟世界完美叠加合成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉、味觉、触觉、声音等）通过计算机技术模拟仿真后融合，将虚拟世界叠加到真实世界中，被人类真实世界所感知，产生超现实感的视觉体验。增强现实技术是将真实的世界和虚拟的世界同时展示，两种情境相互叠加补充。[7]增强现实主要包括了三维建模、实时视频显示和控制、多传感器融合、实时跟踪及注册、场景融合等新技术。目前AR广泛应用于娱乐业、销售业及其他，但最受益的为教育业。现在已有AR应用于医学中中医针灸的学习：使用者带上眼镜或头盔，可以看到虚拟的人体骨骼和经脉走向；还有“人—机”互动，在学生的练习部分，可以使学生能更好地学习并练习。[8]

AR应用于教育游戏要具备3个特性，即虚实结合性、实时交互性和沉浸性。这样就可以进行可视化呈现，提供给学生以感性的学习材料，将一些抽象、不为肉眼所见的知识具体化为可视化。[9]例如分子运动、引力、磁场、立体几何等，使学生身临其境，脑海中产生直观映像，更加快速接受知识并难以忘记。还可以提供预演，使学生在舒适、安全的环境（模拟极端环境）中进行学习、实践。如护士的抽血练习、化学课的实验、火灾演练等，可以在实验者充分了解实验步骤并安全操作结束得到结果后，再进行实际实验，这样就可以减少每年因实验操作不当而引起的事故。并且减少学生对于一些灾害的恐惧，在真实操作中降低失误。现在，国外也已经有了产品应用于教育业。如Shelton和Hedley在地理课，用ARToolkit开发了“地球—太阳”增强现实练习系统。还有iTacitus项目，是将三维虚拟增加到现实场景中。

目前AR在教育游戏方面主要可分为两类：一类是基于场所的增强现实教育游戏，在户外进行教学时，利用GPS、附加材料等，促进参与者与环境间的情感和认知。例如，学习甲午中日战争，可作为游戏里一个角色与环境进行交互。一类是基于视觉的增强现实教育游戏，这用于室内教学，利用一些标识标记扩增内容，需要一些辅助物体。例如，学习化学的氧分子组成时，会在桌子上摆放两个贴着标记的立方体，当眼镜扫描识别到标识时会产生两个元素“O”，当立方体靠近时，两个“O”元素会合为氧分子。

3.基于移动增强现实的教育类游戏

mAR（Mobile Augmented Reality）是利用计算机技术将虚拟的信息叠加到真实的场景中，将虚拟的信息和真实场景环境实时地叠加在同一个空间或画面中，从而产生虚实共存的场景。在移动增强现实中产生的虚拟信息是对真实场景的延伸和补充，对真实场景的实时交互性叠加，提高用户对现实世界更深入的感知和理解。增强现实可以说是混合现实的一种表现形式。[10]移动增强现实有自身鲜明的特征。主要表现在三个方面：一是虚实性。混合现实技术利用计算机技术将虚拟信息和真实场景相互叠加，通过显示设备将虚拟信息和真实环境融为一体，并呈现给用户一个新的虚实结合的真实的新环境。二是实时性。交互从传统的鼠标键盘等设备中脱离出来，由精确的位置输入扩展到整个环境，从单一的人机交互发展到用户与对象的融合。数字信息不再单纯呈现，而与用户所处的环境实时结合起来。三是三维注册。即用户可以根据自己所处的三维空间调整计算机产生的增强信息。将增强现实所产生的附加信息与用户实现匹配。随着用户的移动，增强信息也会随之改变。与虚拟现实技术相比，移动增强现实技术对硬件要求更低，但却具有更准确、更实时的增强信息以及更酷炫的呈现效果。

移动增强现实是增强现实技术的优化，目前移动增强现实技术主要有两个分支：一类是传统移动增强现实技术，主要是依靠PC机、头戴式设备（HMD）、磁传感器等一些外部设备来完成系统应用。该类系统设备比较昂贵，不利于长期携带，且有维护成本较高、交互设计繁杂等局限性。目前比较成熟的系统有美国哥伦比亚大学研制的户外增强现实导航系统，是目前世界上第一个移动类增强现实系统。该系统主要使用头戴式设备和方向跟踪器，用户身上携带计算机设备、无线电信号处理工具，手上携带一个触摸屏幕的手持设备，通过感知设备可以看到增强现实的场景。另一类是目前越来越流行的基于移动终端的增强现实技术，主要通过便携式设备，如手机、平板电脑等进行视听交互，为人们的生活娱乐带来了极大的便利。如最近几年大热的Google Glass，是谷歌公司开发的一款“增强现实”类眼镜，它如同一个智能手机，可以方便用户进行音频交互，具有通过眼镜拍照、视频通话、处理文字信息、电子邮件、导航等多个功能，它改变了人类传统的生活方式，给人类的生活带来了极大的便利和乐趣。移动增强现实技术不再局限在桌面端，更突出了“移动”，因此移动增强现实技术是目前发展的主流趋势。

目前，基于移动增强现实的交互式应用扩展到教育、医学、地理、军事、建筑和旅游等多个领域，用户只需要根据当前特定的需求将手持设备的摄像头对准目标体就可以完成指定的任务，计算机根据查询本地或服务器端数据就可以提供给用户所需要的信息，并和用户进行交互。通过实时计算机摄像机位置和角度的选取，在实景图像上叠加虚拟图形，以达到超越现实的感官体验。

三、移动增强现实（mAR）实现框架分析

增强现实（AR）已经成为当今数字化世界的一个流行词，且AR技术已经广泛应用于游戏（如阿法狗）、电子商务、教育、医疗等多个领域。根据《Digi-Capital》博客上发表的一篇文章，到2021年，增强/虚拟现实市场产生的收入有望达到1080亿美元，其中AR的份额可能达到830亿美元（相比之下，VR的份额为250亿美元）。增强现实是一个巨大的快速增长的市场。Facebook、谷歌和苹果等大型数字公司正大力投资于AR，而许多规模较小的企业也纷纷效仿。想要利用AR技术创建增强现实移动应用程序，需要一个合适的AR软件开发工具包（SDK），本节要重点研究SDKs在市场上的可用性、通过软件选择性对比来确定创建增强现实应用程序的实现标准。

1.移动增强现实实现框架

移动增强现实系统主要是随时跟踪移动终端摄像头所获取的真实场景中的位置和坐标，根据这些信息计算出虚拟物体在摄像机中的坐标，并对虚拟场景画面和真实场景画面做精确匹配，移动增强现实系统实现框架如图2所示。因此，手机空间的位置和坐标与真实场景的匹配度是移动增强现实系统实现的关键。

图2 移动增强现实系统实现框架

2.移动增强现实应用程序构建类型

目前移动增强现实应用程序主要分为两大类：一类是基于标记（Marker-based）的增强现实移动应用程序；另一类是基于位置（Location-based）的增强现实移动应用程序。其基本原理是整个系统不需要额外的硬件设备，通过在视频图像对检测到的特征进行分析，得到空间点和图像点的对应关系，计算相机的位置和坐标。

基于标记（Marker-based）的增强现实移动应用程序主要应用于图像识别，大都使用便携式的摄像头来检测某些图案或标记，比如QR码或图像。一旦识别出一个模式，应用程序就会在这个标记上覆盖数字信息。AR对象的方向取决于标记的位置。目前最先进的增强现实SDKs支持3D标记的识别，也就是现实中的物体。其原理为在真实场景中放置标识作为跟踪基准，通过对含有标识的图像进行处理，得到空间点和图像点之间的对应关系，计算相机位置，实现相机跟踪。通过手机摄像头读取标记信息，对其进行边缘检测，检测得到四边形，然后对内部区域进行归一化，同时从标识数据库中进行检索，从而获得标识体的空间信息。（见图3）目前该方法应用较多的是ARtoolKit工具包。

图3 基于标记（Marker-based）移动增强现实系统框架

基于位置（Location-based）的增强现实移动应用程序不需要标记。它们主要采用GPS和其他位置检测器（加速计和数字罗盘）来建立自身的位置并创建增强现实物体。该技术主要依赖于放置在真实场景中的标志物，适合于户外大范围应用，且和基于标记的跟踪相比，在光照变化比较强和遮挡情况下更鲁棒。其实现流程为：当移动端摄像都正对着真实物体，在参考帧的初始跟踪区域内提取特征点，将提取好的特征点投影到Z平面上（摄像机坐标系下），继而得到特征点的空间坐标。在摄像头画面不断发生变化时，根据前一帧相机的位置和运动模型，计算下一帧中提取的特征点并描述，得到当前帧相机的位置估计，计算参考帧中的特征点在新帧中的大概位置；匹配的候选点在该位置为中心的一定半径范围内查找所有特征点，将这些候选特征点与参考帧的特征点进行匹配，从而得到新的位置信息，基于位置（Location-based）的移动增强现实系统框架如图4所示。

图4 基于位置（Location-based）的移动增强现实系统框架

四、基于移动增强现实（mAR）的教学模式设计

基于移动增强现实 （mAR）应用模型在充分利用mAR技术特性的基础上进行教学设计，该模型需要遵循以下几个原则：一是mAR的设计应基于课程设计，且相同主题的AR教学设计所花费的时间不宜太长，应少于实际基本教学的授课实践。二是要根据学习者学习的不同层次进行不同水平的测试，且设计内容可以通过博弈、竞争等内容，充分利用mAR的便携交互式综合体验，使学习者通过沉浸式体验达到增强学习、熟练技能、知识点巩固等目标，达到强化学习的目的。最后通过形成性技能评价总结反馈数据，以提供给设计者智能化、个性化的总结性策略建议，以完善交互式体验效果。本课题根据不同的课程内容分别进行不同的教学设计。

1.基于mAR的技能性课程教学模式设计（见图5）

该模式主要针对技能性课程，根据不同的专业需求，根据学习者需要学习的不同内容对学习者进行相应知识点的技能测试、压力测试、分组对抗测试、心理测试、体能测试等，根据学习者的需求可以设计虚拟环境或真实环境，学习者可以通过个人学习、分组对抗、晋级制、淘汰制等方式提高学习者的交互式、技能性、合作性、抗压力体验，从而提高学习者知识性和技能性水平的能力。

图5 技能性课程教学模式设计

2.基于mAR的理论知识性课程教学模式设计（见图6）

在该模式设计时，主要是考察学习者对理论知识性课程的直观体验，要求学习者以第一人称视角进入虚拟空间进行学习体验。知识是一个具有连贯性的成熟空间，根据学习者对理论性知识不同程度的认知水平进行不同维度的设计，预先安排好不同的问题，根据学习者回答问题的不同答案对知识进行不同维度的知识性交互设计，以达到对学习者的交互式、技能式体验，根据学习者对知识的不同认识设置体验挑战级别，达到提高学习者对知识理解的维度和深度要求。学习者完成学习，体验形成性评价并反馈，是否要继续深入体验，加强知识的巩固，最后完成总结性评价并给出建议。

五、mAR教学设计应用性实践

图6 理论知识性课程教学模式设计

可以将移动增强现实技术(mAR)教学设计的思想广泛应用于教学、旅游等多个方面，以增强用户的视觉体验。本实践将该思想应用于旅游方面，在中国软件杯大学生软件设计大赛、中国大学生计算机设计大赛等赛事中都取得了良好的成绩。整个项目以使用者为中心，利用mAR教学设计思想，在虚实场景、功能需求以及知识性科普等方面对项目进行必要的需求分析和可行性操作，明确系统设计的分类与目的，从理论、技术、方法等方面对项目开发进行需求分析，解析系统开发的可行性，然后进行项目开发。整个mAR系统采用Unity和Vuforia结合进行图像获取、图像匹配、虚实结合等关键技术研究；利用Android Studio实现GPS模块定位、Handler线程处理；利用手机GPS与高德地图API结合实现接口的监听与定位；最后基于Unity完成地理定位的搜索。移动增强现实系统、导览系统及地理定位如图7所示。

图7 移动增强现实系统、导览系统及地理定位

六、总结

移动增强现实技术能够让用户在真实世界和虚拟世界中实现实时交互和无缝对接，是虚拟环境和真实世界进行完美过渡的技术和手段，将增强现实技术应用于教育游戏、旅游、产品开发等方面，能够大大增强用户的视觉体验，提高参与者的学习和生活乐趣。本文通过虚拟现实、增强现实及移动增强现实的交互式游戏应用及对比，分析移动增强现实（mAR）实现框架和移动增强现实应用程序构建类型，即基于标记（Marker-based）的增强现实移动应用程序和基于位置（Location-based）的增强现实移动应用程序，并基于旅游业的移动虚拟现实技术进行案例分析。随着移动增强技术的发展、技术性能不断提高，利用移动增强现实技术进行教学应用、旅游开发是极具发展潜力的。本研究主要初步提出移动增强现实技术用来做什么和怎么做的问题，并提出移动增强现实教学模式设计，为移动增强现实技术在旅游、教学等行业的应用提供了基本的思路。