基于AR混合体验的吴文化教育系统一体化设计*

张 量，金 益，牛 丽，刘尚尚

（苏州市职业大学 计算机工程学院，江苏 苏州215104）

一、引言

随着计算机数字化展示技术的进步与发展，增强现实技术（Augmented Reality，简称AR）因其能够将真实世界与虚拟信息无缝融合，在各行各业中的价值愈发突显，也受到越来越多国内外学者的关注。Google、Microsoft、Apple等巨头竞相布局，构建自己的AR生态系统。苹果和Google公司推出的ARKit[1]和ARCore[2]增强现实平台分别支持iOS和Android操作系统，大幅推动了增强现实在移动智能设备上的应用和发展。与此同时，谷歌Google glass、微软HoloLens以及基于 Kinect开发的Room Alive[3]投影系统等硬件设备也层出不穷。然而，它们在给用户带来多样化体验的同时，也导致了用户体验不一致、不连贯的问题，不同厂商、不同设备间内容素材不兼容也导致了资源的浪费。

针对以上问题，本文阐述了一种基于AR技术的一体化设计与开发方案。它可以根据展示需求，从视觉、听觉、触觉等多个维度，综合利用并发挥不同设备的特点与优势，将内容素材在VR、AR、全息投影等设备上进行统一部署与展示，在获得丰富展示方式的同时保证各设备之间体验的一致性和流畅度。所开发的素材在各设备间可相互兼容、无缝对接、灵活部署，从而大幅缩短开发时间，降低开发成本。本文还通过“千年平江”系列AR明信片、陶瓷工艺品活化展示、平江古城时空望远镜等产品与应用，引导用户体味并学习吴地文化，通过崭新的体验方式改变传统文化的传播方式，使传统文化焕发生机。

二、研究现状

在国外，普遍认为AR可以溯源至1968年由图灵奖获得者、哈佛大学Lvan sutherland教授领导研发的The Sword of Damocles（达摩克斯之剑）项目。[4-6]2001年由希腊多家研究机构和政府部门联合开发的Archeoguide系统可以看成是当前AR应用形态的标志性项目，它能将虚拟影像叠加到神庙建筑遗址上，向参观者呈现复原后的历史遗迹。[7]2010年，D.Marimon等人设计的Mobi AR，使用户可以在个人手机上获得西班牙城市巴伦西亚和圣塞巴斯蒂安虚拟现实形式的古迹导览。[8]类似的增强现实应用Lecce AR让用户能够通过手机屏幕在废墟上看到复原的法国莱切古罗马圆形剧场原貌。[9]2014年，谷歌发起了Project Tango项目，该项目能让智能手机对环境的识别更为深入，并且可以获得更准确的姿态控制与3D渲染，让人看到智能手机在增强现实运用中的广阔前景。[10]

而在国内，由于AR技术研究起步较晚，应用与研究主要集中于一些著名高校和实验室。近两年，虽然中国的AR研究呈现井喷式的发展，许多公司也纷纷开始转向研究AR应用，但是在文化领域取得的成果也屈指可数。北京理工大学王涌天教授在2006年完成的基于增强现实技术的圆明园现场数字重建项目是国内最早的AR在文化遗址展示中的运用。[11]之后西南交大李江等人利用增强现实技术开发了一个恐龙博物馆。[12]胡颖群等人基于增强现实技术研究实现三维虚拟商品展示系统。[13]2017年，百度AR实验室实施了一个公益科技计划，用户打开手机百度App对准北京正阳门，可以进行实景触发，呈现出古人进出城门的生活场景。[14]

以上应用和研究都仅限于在单一设备上进行视觉融合与展示。近年来也有人对混合展示方式进行了尝试。如汤晓颖等人将AR与明信片结合起来，实现了基于AR的纸上博物馆。[15]2016年，李婷婷等人基于AR-VR混合技术展开了博物馆展览互动应用的相关研究。[16]但是在给用户带来多样化体验的同时，也导致了用户体验不一致、不连贯的问题，不同厂商、不同设备间内容素材不兼容也导致了资源的浪费。

三、系统设计与方案

本文在Vuforia＋Unity 3D开发框架下提出了一种一体化设计方案，如图1所示。它性能稳定、识别与跟踪效果好，同时对素材和发布设备具有良好的兼容性。该方案解决了由于设备和素材不统一导致的用户体验不一致、不连贯的问题，并能有效避免重复开发，缩短项目周期。下面从开发框架、目标识别及融合交互三方面进行叙述。

图1 基于增强现实一体化系统设计方案

（1）开发框架

目前主流的ARSDK有Arkit、Arcore、Vuforia、AR Studio、Windows Mixed Reality、ARToolKit、Wikitude、MaxST、Kudan、Xzimg以及国产的太虚、百度 AR、网易洞见AR、视＋EasyAR、亮风台HiAR、天眼AR、幻视AR等。

本文选择的Vuforia SDK＋Unity 3D开发框架在稳定性、易用性、兼容性上有如下优势：

①基于Vuforia发布的应用程序可以兼容大多数设备，其中包括iOS、Android以及Windows10设备。同时，Vuforia Fusion还将为ARCore和ARKit设备带来更先进的Vuforia功能。

②Vuforia Fusion能够感知底层设备的性能，使开发人员能够仅依靠单个Vuforia API就可以在多种设备上实现最佳的AR体验。

③Vuforia 7可以通过Unity游戏引擎进行访问，所以开发者可以轻松地将其集成到开发流程中。

Vuforia解决了AR启用技术的分裂问题，包括摄像机、传感器、芯片组和软件框架（如ARKit和ARCore），同时还使开发变更加容易。

（2）目标识别追踪

在增强现实应用中，目标识别与追踪技术（即跟踪注册技术）主要分为两类：基于标识点的注册定位技术和基于2D图片、3D Object的识别跟踪技术。前者的典型代表是ARToolkit黑白框标识码，后者代表是Vuforia。本文采用基于Vuforia SDK的方案能够无需任何附加标记，直接识别三维空间中的物体并对其进行追踪，具有更好的用户体验。具体开发大致分为以下四步：

Step1：在Unity2017.2或更高版本中配置、激活Vuforia对象并添加一个ARCamera。

Step2：激活目标（识别图）数据库。将待识别图片上传到Vuforia进行在线训练。Vuforia会对其进行灰度处理并提取特征点。

Step3：将训练后生成的目标识别package导入U-nity工程。从GameObject＞Vuforia菜单中将Vuforia目标（识别图）添加到场景中。

Step4：添加数据资源，编译并发布成适应相应设备的App。下面谈如何添加数据资源并进行虚实结合的方法。

（3）虚实融合与交互

依靠前面所述的目标注册跟踪技术，可以在真实世界所设定的目标上精准叠加三维虚拟物体、场景、动画以及特效效果。（见图2）同时，使用Uinty中高效的程序编辑器（支持C#语法）、编译器和调试工具可以快速地开发人机交互功能并将其无缝地发布到所需的平台和设备上。开发大致可分为以下四步：

Step1：本文一体化设计方案可以支持3ds Max、Maya等主流平台所开发的任何资源，只需将其导出成FBX即可在平台中使用。

Step2：将设计好的资源导入Unity场景，使其成为target（识别图）的子物体，并在 DefaultTrackableEventHandler.cs中设置、添加资源的渲染及物理特性。

Step3：在Control_pan.cs中进行多点触控交互的开发，如移动、缩放、旋转、手势等。

Step4：挂载粒子系统添加声音、粒子等特效效果。

图2 在古平江图石碑上叠加虚拟的平江古城三维模型

四、系统实现与应用

本文所述的开发框架和一体化设计方案下，我们创作开发了瓷器工艺品活化展示、虚拟时空望远镜、AR明信片等应用，对吴地文明和相应的非物质文化遗产进行辅助教育与展示。

五、实验结果与分析

我们在一台具有高通骁龙820（MSM8996）CPU和安卓5.1.1操作系统的手机和一台配备了A9处理器和iOS 11操作系统的iPhone 6S上对应用程序的目标识别能力进行了测试，每个项目（倾斜角度、遮挡率）重复测试10次并记录结果，如表1、表2所示。结果表明本文方案在两个设备上的识别率差别不大，在30度的小倾角依然能够正确识别并跟踪目标物体，识别率达到100%；在60%遮挡的情况下仍然能保证稳定的目标识别与追踪。

表1 摄像头角度对目标识别的影响

表2 遮挡率与对目标识别的影响

综上所述，本文方案具有如下优势：第一，素材兼容性好。能够直接使用3ds Max、Maya等主流平台上的素材进行创作与开发，节约了成本。第二，平台适配度高。能够直接发布到主流平台（包括Android、iOS、MAC OS、Win 10等）。同时，Vuforia Fusion能够感知底层设备的性能，以保证在多种设备上实现最佳的AR体验。第三，性能表现稳定。实验证明本文方案开发的应用程序达到了较高的识别与跟踪性能，在不同设备以及遮挡等应用场景下均有较为稳定的性能表现。从而保证了在多设备混合展示的应用场景下，快速开发部署增强现实应用，并实现一致、流畅用户体验的需求。