移动增强现实关键技术综述

温洪念 刘 洋 韩朵朵

（石家庄铁路职业技术学院 河北石家庄 050041）

移动增强现实关键技术综述

温洪念 刘 洋 韩朵朵

（石家庄铁路职业技术学院 河北石家庄 050041）

移动增强现实将虚拟的增强现实信息应用到真实世界，改变用户观察周围世界的方式。传统的基于文本输入的WEB页面浏览查询模式，将转变为基于加载在移动智能终端的多种传感器进行热点捕获，将热点的增强信息叠加在真实场景上的下一代信息展现模式，极大提升用户体验。

移动增强现实 视觉搜索 目标注册与跟踪 内容渲染

1 引言

增强现实（Augmented Reality，简称AR）是在虚拟现实（Virtual Reality，简称VR）技术基础上发展起来的一种综合了计算机视觉、图形学、图像处理、多传感器技术、显示技术的新兴计算机应用和人机交互技术[1]。

随着无线互联网技术的发展，带宽不断増加，移动智能终端的处理能力越来越强，越来越多的互联网用户开始习惯于使用移动智能终端访问互联网。多种传感器装备到手机上为 AR业务的普及提供了终端基础，为分层次打造个性化的信息服务提供了必要的支撑条件。AR技术的普及为传统的业务领域巧展出了很多创新业务，同时促进移动互联网在教育、社交网络、旅游、游戏等业务的创新。

“增强现实”技术的应用与推广，将激发用户对内容的潜在需求，如大型场景的三维虚实融合等，从而对无线网络的带宽资源提出更高的要求，促进LTE的产业化进程。因此，对增强现实的深入研究可以很好地拓宽无线移动通信网业务的应用，让无线移动通信网参与人们生活学习和工作的方方面面，从而提高无线移动通信网在人们生活中的重要性。而只有对应用变得广泛和迫切，才会对无线移动网络的其它方面提出更多的需求：比如需要LTE等更快更可靠的传输方式，以及新型无线技术作为补充，应付更大带宽更大容量的媒体展示。同时又要求更加宽广的覆盖范围，做到可以随时随地提供服务，所宽带无线接入与短距离互联技术也有需求。而且基于物联网和泛在网技术的近场通信（NFC）是对AR的定位和身份识别的有力支撑。

2 基本概念

2.1 虚拟现实

虚拟现实涉及计算机图形学、人机交互技术、传感技术、人工智能等领域，利用电脑绘制三维虚拟世界，并对视、听、嗅觉等感觉进行高真实感模拟，使用者通过虚拟现实设备，自然地与虚拟世界进行交互，其如同身历其境，可化及时、没有限制地观察三度空间内的事物。

2.2 增强现实

增强现实是利用计算机产生的虚拟信息对用户所观察的真实环境进行融合，真实环境和虚拟物体实时地叠加到了同一个画面或空间同时存在，拓展和增强用户对周围世界的感知。增强现实的目的在于将计算机生成的虚拟物体准确地叠加到真实场景中并实现真实与虚拟场景无缝融合，进而完成对真实场景的增强。

2.3 混合现实

混合现实（Mixed Reality，简称MR），即增强现实和增强虚拟)指的是合并现实和虚拟世界而产生的可视化环境，其中物理世界真实对象和数字世界虚拟对象共存，并实时互动。

2.4 移动增强现实

随着iOS、Android等智能终端及宽带移动通信技术的成熟和商用，增强现实技术开始走进人们的生活之中，以移动定位与状态感知、多媒体技术、3D渲染为基础的增强现实应用开始出现，这就是移动增强现实（Mobile Augmented Reality，MobAR）应用。MobAR一经出现，就成为技术研究和标准化的热点[2]。

3 移动增强现实关键技术

随着移动增强现实市场规模不断扩大，用户对增强现实的应用体验要求日益提高：流畅展现、实时交互、持久运行，都对移动终端设备的计算能力、媒体处理能力等提出挑战。然而，如何高效调用移动终端硬件能力，如何在不同业务执行环境中迅速识别和捕捉增强现实目标，如何实时叠加并流畅展现各种媒体类型的增强现实内容，这些都极大影响用户体验，并最终决定市场成败。为增强现实应用提供技术支撑的增强现实关键技术，包括：视觉搜索技术、目标注册跟踪技术和内容实时渲染技术。

3.1 视觉搜索技术

移动视觉搜索技术屠指以移动智能终端侧的摄像头作为信息捕获设备，以实时获取图像或视频作为查询对象去搜索用户感兴趣的关联信息的检索技术[3,4]。随着无线互联网技术的发展以及移动智能终端的处理能力越来越强，这使得在移动终端进行一些复杂的图像处理工作成为可能。在移动终端侧进行特征点提取、描述子生成以及描述子编码，向服务器端上传描述子信息，而在服务器端进行描述子解码和图像检索。然而实际应用中由于无线网络环境的带宽有限、带宽不稳定化及时延等问题，需要在不损失检索性能前提下如何实现快速、低内存开销以及紧凑的描述子聚合方法。视觉搜索按照样本集规模的不同可以分为两类，对于规模较小的情况可以采用穷举法或暴力匹配法，即将每个图像的特征数据与样本图像特征逐一进行距离比较，对于局部特征计算成功匹配的特征数目占样本图像特征数目的百分比，对于全局特征计算特征向量间的欧式距离、余弦距离等相似性度量方法，然后进行排序，获得搜索结果，这种方法的优点是没有离线训练过程，操作也很简单，有效识别率很高，但耗时会随着样本图像的增多而近似线性增加，检索效率比较低。对于拥有海量样本集的视觉搜索应用，业界普遍采用 BOW（Bag Of Words）算法来进行系统实现，该算法的主要优点就是其提取特征后检索时间比较快速，并且检索时间不会随着样本数目增加而发生大幅波动。算法分为离线训练和在线检索两个阶段，离线训练阶段主要进行码本的训练，其码本的训练过程训练时系统内存占用较高，且由于算法本身不利于并行化处理导致耗时较长，同时码本训练不支持增量训练，每新加入图像，都需要对码本进行重新训练，在线检索阶段主要的问题是其召回率不高。

3.2 目标注册跟踪技术

增强现实的最终结果就是将虚拟信息准确地注册到真实场景中，为实现虚拟信息与真实场景的完美融合，必须实时地跟踪摄像机与真实物体间的位姿信息，建立观测模型，进而通过动态三维显示技术迅速地将虚拟信息叠加到真实物体之上，这就是跟踪注册技术[5-7]。跟踪注册技术可分为基于标识物的跟踪注册技术和无标志点跟踪注册技术。

基于标识物的跟踪注册技术是当前增强现实系统中最为成熟和实际应用最为广泛的注册技术,技术成熟度较高，但是其需要事先在真实环境中事先放置特别制作的标识物，这导致了其应用场景及其有限，且用户体验并不好。

无标识点跟踪注册技术指的是直接利用摄像头实时获取的视频倾进行跟踪注册，实时获取位置信息，完成虚拟物体与真实场景的叠加，可以应用于户外自然场景下的增强现实应用中。目前无标识点跟踪注册技术的发展仍停留在实验阶段，并没有非常完善的、广泛的应用。主要问题和难点有以下几方面：首先，由于无标注册算法的技术难度非常大，算法复杂，其运算效率是一个重要的问题，很多无标注册算法的效率较差，很难达到实时运行，即使可以实时运行的算法,留给 3D渲染的时间往往也很少。其次，无标注册中往往需要利用场景中的对应特征集合进行计算，而特征匹配很难避免外点，因此算法的鲁棒性也是一个难点。很多算法都无法在复杂多变的场景中运行，当背景过于复杂、运动过于剧烈、光照条件变化显著时，很多算法会失败，因此无标注册对鲁椿性要求很高。最后，无标注册算法往往需要很多复杂的预处理操作，如基于模型的注册算法需要事先对场景准确建模，基于特征的算法往往需要在算法初始化时给出初始估计等。目前业界比较常用的无标识点跟踪注册技术有光流法、基于场景平面的増强现实跟踪注册方法、基于模型和关键愤的跟踪注册方法、基于SIFT特征匹配的跟踪注册算法等，均面临在移动智能终端侧实时性和鲁椿性不能兼得的问题。

3.3 内容实时渲染技术

增强渲染是在真实场景中叠加增强显示的三维物体，帮助用户理解周围环境[8,9]。由于智能移动终端存在带宽和计算能力这两个因素的限制，要保证流畅的 AR体验，需要轻量高效的渲染引擎支持。增强现实系统中渲染模块的主要功能是完成对增强内容进行增强渲染，渲染模块相对于其它模块是一个比较独立的模块。输入为位置矩阵，输出为渲染效果。对于2D图像、简单3D模型和文字等增强内容，一般使用OpenGLES进行移动增强现实绘制，对于复杂3D模型或者动画、视频等増强内容，一般采用专业的渲染引擎来处理。目前业界主要是应用一些性能较好的开源或商业引擎来进斤3D模型等增强内容的渲染，如 Total Immersion使用的渲染引擎为开源渲染引擎 OGRE，通过 ARSDK和MetaioSDK提供Unity3D的扩展可以进行增强内容的渲染。

4 结论

随着宽带移动通信技术的发展以及IOS、Android等移动智能及智能应用的出现，曾经局限于实验室的增强现实技术开始走进大众视野，一大批以终端定位、图像识别为技术特征的移动互联网增强现实应用开始涌现。本文介绍了移动增强现实的关键技术，为移动增强现实的实现和广泛应用提供必要的理论和技术支撑。

[1]David G L. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision, 2004(60): 91-110.

[2]Hebert B, Andreas E, Tirme T. SURF: Speed Up Robust Features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[3]Li F F, Perona P. A Bayesian Hierarchical Model for Learning Natural Scene Categories[J]. Proc. of IEEE Computer Vision and Pattern Recognition, 2005: 24-31.

[4]Andrew D, Reid L, Nicholas M . Mono-SLAM: Real time single camera SLAM[J]. IEEE Transaction on Pattern Analysis and Machine Intelligent, 2007: 1052-1067.

[5]Georg K, David M. Parallel tracking and mapping for small AR workspaces[C]. In Proc. of International Symposium on Mixed and Augmented Reality, 2007: 225-234.

[6]Tamar S, Dro G, Sharon C . A novel perceptual image quality measure for block based image compression[J]. Image Quality and System Performance, 2011, 8(8): 156-175.

[7]Ding S H, Huang F Y, Xie Z F. A Customized Framework to Recompress Massive Internet Images[J]. Journal of Computer Science＆Technology, 2012, 27(6): 1129-1139.

[8]Brown M, Hua G, Winder S A. Discriminative learning of local image descriptors[J].IEEE Trans. Pattern Analysis and Machine Intelligence, 201l, 33(l); 43-57.

[9]Chen D. Residual enhanced visual vector as a compact signature for mobile visual search[J]. Signal Processing, 2013, 93(8): 2316-2327.

[10]刘洋,郑华,李筱楠.基于人工神经网络的茶叶鉴定专家系统设计与研究[J].福建茶叶,2016,08:13-14.

[11]齐会娟,李德雄,张诣.基于物联网的多目标物流调度系统优化设计[J].物流技术,2015,12:173-175.

[12]齐会娟,李德雄.计算机图像处理技术在茶叶感官品质检测中的应用研究[J].福建茶叶,2016,05:18-19.

Review of the Key Technology of Mobile Augmented Reality

WEN Hong-nian LIU Yang HAN Duo-duo
(Shijizhuang Institute of Railway Technology Shijizhuang Hebei 050041 China)

The MAR applies the virtual augmented reality information to the real world, which has changed the way users observe the world. The traditional WEB page query mode based on text input in the browser will be changed to the next-generation show mode that the hotspot information captured by a variety of sensors is loaded into the real scene in the screen of the mobile, and which will enhance the user experience greatly.

Mobile Augmented Reality Visual Retrieval Registration Tracking Content rendering

A

1673-1816(2017)01-0071-04

2016-03-19

温洪念（1985-），女，汉，贵州遵义人，硕士，助教，研究方向计算机软件。

2016年河北省高等院校科学技术研究项目：ZC2016109; ZC2016137; ZD2016057

2016河北省科技计划自筹经费项目： 15210149; 15270330

河北省教育厅2016青年基金项目：基于B/S结构的BIM服务器中间件技术研究，基金号：QN2016215河北省人力资源和社会保障课题：JRS-2016-1043