AR测量实习系统的设计与实现

夏慧琼，李思，林丽群

(1.湖北大学资源环境学院，湖北 武汉 430062；2.区域开发与环境响应湖北省重点实验室，湖北 武汉 430062)

0 引言

近年来，多媒体技术的盛行和智能手机的普及，使得传统的教学模式得以被突破，微课、慕课及智慧课堂等教学手段越来越受到人们的青睐，与课程相关的资料也以各种形式呈现.此外，增强现实(AR)技术将虚拟现实技术、3D技术和多媒体技术融合在一起，其实时交互性特征为学习者提供了一种全新的方式来展示学习内容，搭建了一个自主学习、自由探索的空间，在教育领域得到了快速的应用，如幼儿启蒙[1-2]、中学教育[3-5]、高校教学[6-7]及职业教育[8-9]等.

测量学实践课程是测量学教学体系中的一个重要环节，能够帮助学生深化理解所学的理论知识，培养学生的动手能力.目前，测绘学科已实现了传统模拟测绘向数字化测绘的转变，移动端数字化实践测量系统也在在悄然兴起，学生可以使用手机终端作为数据记录和处理计算的平台[10-11].但这种移动端数字化测量系统着重点在数据管理方面，对于外业测量实习过程鲜有涉及，这在一定程度上限制了测量实践课程的教学；此外，采用的教学方式并没有质的改变，只是把实习课程中一部分内容转移到移动端来，没有对测量实践课程相关的各种资料(视频讲解、3D模型展示、多媒体资料等)进行有效地组织和管理，学生从移动端中获取的信息较单一，且接受信息的方式较被动.采用AR技术不仅能够把绝大部分的传统测量实践课程中的教学内容以各种表现形式在移动终端上进行显示，还能够运用AR技术优势，将虚拟实习场景以互动游戏的方式在移动端实现，极大提高了课程的趣味性和生动性.此外，将网络技术与AR技术进行结合的虚拟测量实验能够实现对传统实验的补充，缓解实验教学资源的不足以及实验场地限制带来的压力，使得测量实习教学在时间上和空间上得到延伸，提高实验教学管理效率并且节省了实验室建设经费.

本研究针对高校测量学实践教学的课程特点，结合AR技术、数字化测绘技术、三维建模技术和三维可视化技术等，采用Unity3D+Vuforia+Android的方式搭建一个移动端测量实习系统的总体框架，给出了系统的总体设计思路和技术解决方案，在此基础上开发了AR测量实习原型系统，以期在系统中实现多种学习资料的一体化组织和自然的人机交互功能.

1 AR测量实习系统架构设计

为了对3D虚拟测量实验场景进行渲染，提供人机交互功能，并将虚拟场景与真实环境叠加起来，本文中采用Unity3D作为虚拟场景的开发环境.目前，实现增强现实的技术有很多，Vuforia由于其性能优异、开源免费的特点，在移动增强现实方面的应用较为广泛，采用Vuforia增强现实软件开发工具包(Vuforia SDK)来检测和跟踪测量仪器特征点.由于使用Unity3D可以很方便地输出到IOS、Android、Windows、Linux等多种平台，且学生使用安卓智能手机的较为普遍，将Unity3D中编译为安卓平台下的APP(应用程序)，在智能手机中安装运行.

1.1 需求分析《测量学》、《工程测量学》、《数字化测图》等课程教学中，纳入了水准测量、角度测量及距离测量等实习内容，常规测量仪器如水准仪、经纬仪、全站仪的使用是学生必备的实验技能.在多年的实验教学过程中，发现对于一些操作过程较为繁琐、学生容易出错的实训内容，在课堂教学中讲解、实验教学中演示的效果并不理想，一部分原因是学生感到比较枯燥，另一部分原因是受实训课时的限制，导致学生很难熟练地掌握测绘仪器的操作.

随着信息化技术的发展，部分教学内容的展示可以图片、动画、音视频等多媒体方式进行展示，但这些资料种类繁多，且彼此之间没有很强的关联性，内容较分散，无法形成科学、系统的教学体系；此外，学生与这些教学资料的内容无法进行互动，只能被动接受信息的输入，影响学生对实习内容的深入理解.

鉴于目前移动智能手机在大学生群体中的普及，若利用智能手机开发测量实习教学系统，结合目前较为被年轻人所喜爱的AR技术，通过AR场景互动游戏的模式展示出来，将极大激发学生的学习兴趣，并且有助于学生在课外自主地学习.

1.2 方案设计系统包括两部分：纸媒教材设计和基于图像的AR应用程序开发.前者是对实习内容的规划与组织，主要采用图片和文字组合的形式；后者将纸媒教材中的图像导入AR识别库，与三维模型、虚拟三维场景、音频、视频等资料对应起来.图1所示为AR测量实践系统设计流程.

图1 设计流程

1)AR技术下测量实习教学资料的制作.包括纸媒教材和AR虚拟场景生成，其中纸媒书籍将文字描述和AR插图结合在一起，虚拟场景则是对纸媒书籍的补充和扩展，可采用三维模型、音频、视频等多种表现形式.纸媒教材和虚拟场景中的各种资料能够对测量实习内容进行完整地展示.

2)VR识别图设计.VR识别图能将虚实场景结合起来，制作具有提示(暗示)信息或者给虚拟场景提供背景现实的识别图.识别图一方面作为纸媒书籍的内容，另一方面作为虚拟场景的触发开关.

3)纸媒书籍设计和APP软件开发.合理保留测量实习内容的部分文字，结合制作的识别图，设计AR测量实习纸媒教材；将数字教学资料导入Unity3D软件，获取识别图数据库，利用脚本语言实现系统模块的功能，开发移动端APP软件.

4)将纸媒教材与AR程序相结合，构建增强现实测量实习系统，实现从纸媒教材到虚拟场景、从虚拟场景到纸媒教材以及虚拟场景之间的自由切换.

1.3 Unity3D+Vuforia+Android开发环境搭建Unity3D是Unity3D Technologies公司开发的用于创建游戏、建筑可视化、实时三维动画等互动内容的开发工具，可运行于Windows、MacOS及Linux等多个系统，创建的交互式3D应用程序可以发布至 Windows、Mac、iPhone和Android等多个平台.高通公司推出的Vuforia是针对移动设备扩增实境应用的软件开发工具包(SDK)，基于Vuforia SDK能够为设计的测量实习系统添加AR识别功能.在Unity3D软件中完成三维模型及AR制作的相关测试后，发布成APP安装在Android移动设备上，运行APP时程序打开移动设备的摄像头扫描制作的识别图实现增强现实的效果.

本系统采用的开发工具为 Android Studio 3.0，主要使用C sharp语言进行编译，开发环境需要配置JDK和SDK，系统应用搭载在华为、小米和魅族Android智能机型上进行测试.

1.4 主要功能模块设计针对测量实习课程的要求和AR系统的特点，设计了如下功能模块：

1)资源管理：收集课程相关的文档、图片、音频、视频、动画及其他信息，对资料按照课程内容设计及信息呈现形式进行分类归档，理清资料之间的脉络关系，采用关系数据库对资料进行组织；创建标识数据库及虚拟数字信息库，构建虚拟模型、场景或多媒体资料.

2)三维模型管理与调度：根据实习课程的需要，把模型资源进行匹配和装载，再按照实习过程中的不同情况对资源进行调度，如对每个实验、每个环节、不同实习情景下的虚拟资料的组织、管理和调度.

3)程序界面及用户交互：设计简单明了的用户操作界面，采用触屏的方式进行交互，如采用手势实现三维模型的旋转、放大缩小等；辅以按钮进行任务的激发及信息的选择，尽量减少文本输入.

界面可分为三个主要区域：视频显示区、参数控制区及文本显示区.视频显示区用于显示虚实融合的景象、参数设置区采用按钮的方式对虚拟信息的状态进行控制；文本显示采用两种方式，一般介绍性文字直接在视频窗口呈现，另一种包含大量的文字则在界面上开辟一片区域及文本显示区进行显示.

4)AR显示：移动端打开摄像头扫描纸媒教材中的图像或测量仪器实物，触发显示3D模型或视频、音频及动画等.

2 AR测量实习系统构建

根据需求分析和方案设计，本系统针对《测量学》、《工程测量学》等课程实习中的基本内容，编写AR测量实习教程并开发实习教学系统APP.以教程中的文字、图片或现实中的测量仪器实物为媒介，实现虚拟实验资源(仪器结构的讲解、仪器操作的演示、测量流程介绍等)与真实场景画面精准匹配，并在真实场景中展现的过程.本系统的总体框架如图2所示.

图2 系统总体框架

在开发AR测量实习系统的过程中，采用3DMAX等专业三维建模软件对测量实习中的仪器、仪器零部件等进行建模，在Unity3D中建立虚拟实习场景，并完成动画、音/视频等资料的制作及人机交互等；采用Vuforia引擎检测跟踪目标特征，进行实物影像特征与虚拟对象的精准匹配，打包成应用程序(APP)并在Andriod移动终端上进行测试.

2.1 虚实场景的分离测量实习内容分为在真实场景(纸媒教材)中展示和在虚拟场景(移动端APP)中展示两部分.从表述的清晰度角度来看，显性知识如教材中的介绍性内容可采用文字形式放在纸媒书籍中展示，而需要加入学生主观理解的隐性知识如实验原理、仪器内部构造等则适宜于在虚拟场景中进行展示，如三维模型、动画、音频和视频等学习资料.

2.2 虚实场景构建纸媒教材中的文字和识别图作为实景，制作纸媒教材时采用简洁明快的图书版式对实习内容进行准确传达，使学生获得流畅舒适的阅读体验.

将与测量实习内容有关的三维模型、小型虚拟场景、音/视频等作为虚景，实现对图书内容的补充和扩展.在三维建模软件中进行测量仪器及配件模型的制作，结合Unity3D软件建立虚拟测量实习场景，并制作或录制相关的动画或音/视频资料，完成虚景的构建.

1)测量仪器三维模型制作.

逼真感强的三维模型能提升AR效果，增强用户的视觉感受.测绘仪器三维模型的建立包括两种，一种注重外观视觉效果的模型，主要用于测绘场景展示和测绘实习任务，另一种是测绘仪器零部件模型，用于仪器结构展示和构件组装.前者可采用激光三维扫描仪完成模型的建立，后一种模型需要采用一些建模软件(如3DMAX)辅助进行建模.为了便于后续的动画生成，测量仪器或者其零部件三维模型的局部模型需要进行组合或分组，如全站仪在进行测量过程中，需要转动望远镜或者照准部瞄准目标，因此在建立模型时注意把望远镜、照准部及基座部分的面或者体模型进行组合后单独分组.

2)小型虚拟场景制作.

测量实习通常需要在野外进行，如控制网布设、施工放样等，校园实习很难达到与在现场施工实测相同的效果，因此在Unity3D软件中构建野外测量、建筑施工等场景.建立虚拟场景时，可根据实习内容将实习场景进行分解，如进行导线测量时，分别构建闭合导线测量、符合导线测量、支导线测量及导线网测量等单个场景，使实习内容完整.此外，在虚拟场景中需导入与测量工作相关的各种模型，如标志点模型、测量人员模型及地形模型等，提高虚拟测量实习场景的真实感.

3)实习内容相关动画、小视频制作.

实验内容的相关动画可以在3DMAX软件或者Unity3D里制作，配合文字或者语音加以讲解说明；视频或动画则可以录制真实场景中的仪器构造，或者采用其他来源的视频资料.

2.3 虚实场景的融合和交互识别图是连接虚实场景的纽带，为了使程序识别效率高，识别内容稳定，需制作辨识度比较高的识别图，并在高通公司的Vuforia SDK网站创建识别数据库并将图片集上传至数据库中.设计合适的交互方式实现真实场景和虚拟场景之间的切换及与虚拟场景中物体的互动，如手势、遥杆、虚拟按钮等.

高通的识别图用星级来标示识别图的特征，当识别图细节的棱镜多、分布均匀、像素小，图像的分辨率高的时候，星级越高.星级高的识别图容易识别出来，并且识别速度快，识别的物体不会出现抖动现象.为了提高识别图的识别效率，制作识别图时应注意满足上述特征.此外，应用于测量实践项目中的AR识别图，通常应具有某种含义，如作为测量实习场景的背景，或者与测量内容相关.

使用AR测量实习系统学习时，学生在移动终端上进行操作，与系统的互动主要表现在功能切换、菜单选择、模型控制、场景转换等方面，可采用菜单、手势及虚拟摇杆等方式来实现.

2.4 程序打包发布下载配置好的识别数据库导入Unity3D引擎，完成系统各模块的功能开发，配置Android环境，打包生成AR应用程序，上传到安卓移动端安装运行.

3 系统实现和效果分析

移动端AR测量实习系统主要包括AR识别图片集的制作、虚拟场景的生成以及程序打包运行等过程.首先制作AR识别图片集，可采用AR实习教程中的插图，或拍摄与实习相关的测量仪器的照片，形成实习课程体系的完整识别图片集.图3(a)为AR教材中的识别图，图3(b)为手机扫描教材中的识别图后出现的水准仪三维模型.

图3 测量场景识别图

虚拟场景包括测量仪器的三维模型、野外及施工测量场景、讲解动画、实验步骤视频录制及文字或音频解说等.图4(a)和图4(b)为在3DMAX软件中建立的全站仪和水准仪三维模型.

图4 测量仪器三维模型

基于3Dmax和Unity3D平台生成的水准仪构造讲解动画如图5(a)所示，图5(b)为在Unity3D平台中构建的野外四等水准测量虚拟实习场景.

图5 测量实习动画

制作好的材料导入Unity3D项目中或直接拷贝到项目文件的Assets目录下以供3D场景调用，在高通公司的Vuforia SDK网站创建识别数据库并将图片集上传至数据库中，下载配置好的识别数据库导入Unity3D引擎，实现AR识别功能及交互功能.用户在移动终端上通过触屏的方式实现交互操作如图6(a)和图6(b)所示.

图6 虚实场景互动

最后进行系统各模块的功能开发，配置Android环境，打包生成AR应用程序并在移动终端上运行.图7为在学生手机端上显示的全站仪和经纬仪实习场景.

图7 移动端显示的AR测量实习场景

当学生采用本系统学习时，打开手机摄像头扫描AR纸媒教材中的识别图，各个实验部分的虚拟模型和虚拟场景等都能在识别图上叠加显示，学生能够在室内完成测量实习课程的大部分实习内容，利用与系统的互动，加深对课堂教学内容的理解，提高对测量实习的兴趣.

4 结语

本研究针对信息化时代测量实践课程的数字化实习资料组织和互动操作等问题，设计和开发了AR测量实习系统.通过对测量实践课程中的虚拟资源进行整合，基于Unity3D游戏引擎进行测量实习虚拟场景的建立及交互设计，结合Vuforia SDK检测识别目标特征，实现了虚拟资源在现实环境中的叠加展示，将各种数字化实习资料以更直观的方式展示给学生，降低了测量实习中对于抽象理论知识学习的难度.系统在Andriod手机终端上的测试表明，图像识别迅速，系统稳定，运行速度较快，能够满足高校测量学实践教学的要求.下一步的工作是针对高校学生的学习特点，对纸媒书籍设计、实习情景及系统的虚实互动等方面进行一系列改进.