基于移动增强现实终端的一致性研究

杨卫军，列键佳，郭亮，何华贵，李少智

(1.广州市城市规划勘测设计研究院，广东 广州 510060； 2.华南农业大学 资源环境学院，广东 广州 510642)

基于移动增强现实终端的一致性研究

杨卫军1*，列键佳2，郭亮1，何华贵1，李少智1

(1.广州市城市规划勘测设计研究院，广东 广州 510060； 2.华南农业大学 资源环境学院，广东 广州 510642)

Augmented Reality(AR)中，空间位置一致性是指虚拟物体在摄像机屏幕与现实世界坐标匹配的准确性。空间位置一致性是实现增强现实系统的关键性能。文章对移动端增强现实技术中空间位置一致性相关问题进行了研究，设计了一种跨移动平台的增强现实算法，并在Android平台与IOS平台上各自实现了一个AR程序，验证了算法的可行性，得出了该算法能较好地解决了空间位置一致性问题的结论。

增强现实；空间位置一致性；智能移动终端

1 引 言

增强现实是一种将虚拟信息内容如图像、文字、三维模型等和现实世界中真实存在的内容进行实时融合，形成虚拟、现实之间互动，并具有实时交互特点的技术。增强现实技术在军事、医疗、教育、文化以及娱乐等领域具有广泛的应用前景[1]。增强现实(Augmented Reality，AR)与虚拟现实(Virtual Reality，VR)不同，VR技术仅是由计算机生成一个完全虚拟环境给用户感受，而AR技术则是将计算机或电子设备生成虚拟物体或信息与用户现实中看到的真实世界相结合，用户可通过设备提供的虚拟信息来增强对现实世界的认知感受，以达到对现实世界进行增强[2]。增强现实不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充与叠加[3]。一个AR系统是由跟踪定位技术、标定技术、界面可视化技术、显示技术等多门技术构成。跟踪定位技术和标定技术共同实现了对被跟踪对象方位和位置的检测，并将数据呈现给AR系统，实现在虚拟世界和真实世界里坐标的统一[4]。移动增强现实的性能指标主要体现在跟踪目标位置的正确性、响应时间、鲁棒性和跟踪范围等。增强现实技术大致可以分为两种，一种是基于GPS与硬件传感器实现，另一种则是基于视觉图像识别的方式，而基于视觉图像识别方式还可分为基于标记方法与基于自然特征方法[5]。本文主要对基于GPS与硬件传感器方式的增强现实技术实现的系统的空间位置一致性进行研究。这种方式的主要实现思路就是解决现实世界坐标系与虚拟世界坐标系的统一性、虚拟世界坐标系与移动智能设备摄像机屏幕坐标系的统一性。最后本文根据设计的算法在Android设备和IOS设备上各实现了一个移动增强现实应用程序。

2 增强现实系统原理与框架

移动增强现实关键技术本质就是实时跟踪获取手机设备在真实场景中的位置和姿态，并根据这些信息计算虚拟物体在摄像机中的坐标，从而实现虚拟物体画面与真实场景画面精准匹配并合并显示。本文移动增强现实系统设计如图1所示：

图1 系统实现的框架流程图

3 系统流程与关键算法

本文设计的一种跨移动平台的增强现实算法：根据手机设备的重力加速度传感器与磁场感应器数据通过矩阵运算得出代表设备坐标系与世界坐标系关系的核心三维坐标旋转矩阵，结合搜索范围，设备与信息点的地理空间位置关系，再根据设备摄像机参数与屏幕参数通过几何数学运算得出虚拟物体在设备屏幕的投影坐标。3.1 设备坐标系与世界坐标系的关系模块求算

确定手机设备在真实场景的姿态，先要获取设备的重力加速度感应器(设为A，xyz三个方向数值为Ax、Ay、Az)与磁场感应器(设为M，xyz三个方向数值为Mx、My、Mz)，通过垂直向下的A与水平向北的M叉乘运算得到一个水平向东的向量H(Hx，Hy，Hz)，则H=M*A，并进行矩阵归一化操作，构造得到设备坐标系与世界坐标系的关系三维坐标矩阵(设为VD)，在此过程为了减少传感器带来的误差，使系统鲁棒性更好，有必要对VD进行平滑滤波处理。

3.2POI(PointOfInterest)在屏幕坐标系上的投影坐标

计算POI与设备之间在经纬度(设为dx，dy)，海拔高度(设为dz)三个方向的地理空间位置距离矩阵(设为d)d=(dx，dy，dz)，再求得POI与设备位置与姿态的关系矩阵(设为D)，则可以写为D=d*VD。图2展示POI在摄像机与屏幕上投影的几何关系。POI在屏幕上投影的水平角(设为XAngle)为XAngle=atan(Dx/Dy)，垂直角(设为YAngle)为YAngle=atan(Dz/Dy)，根据设备摄像机的参数(如焦距(设为f)、水平视角度(设为HAngle)、垂直视角度(设为VAngle)等)与设备与POI两点最短位置距离关系判断是否满足搜索范围。图3显示POI在屏幕的投影集合关系则可得出POI在屏幕坐标系上的投影坐标(x，y)：

(width：屏幕宽度、height：屏幕高度)。

图2 POI在摄像机与2D屏幕之间投影示意图

图3 POI在屏幕投影几何关系图

由上述可见，针对本文算法流程实现增强实景技术仅需要移动设备提供重力加速度传感器、磁场传感器、摄像机及其相关参数、GPS、屏幕参数等。

4 系统实现与运行结果

本文设计并实现了一个运行在Android和iPhone/iPad设备上的，基于本文算法的移动增强现实系统。该系统使用智能设备的后置摄像头对真实场景进行拍摄，并同时实时获取GPS信息、重力感应器和磁场感应器数据，通过算法逻辑运算检测智能设备的在真实场景中的位置与姿态，计算虚拟数据物体在设备屏幕上的投影坐标并与摄像头实时采取的真实场景进行融合显示。图4和图5分别是在Android设备和IOS设备运行应用的结果图，与真实场景对比，虚拟信息POI能够较准确地与现实建筑物相对应匹配。该系统可作为移动增强现实应用程序的基础框架。

图4 Android端增强系统运行结果图

图5 IOS端增强系统运行结果图

5 总 结

本文先对移动增强现实技术的概念和框架进行了简单的介绍以及对实现移动增强现实的关键技术原理和本质进行了简要的描述分析，提出了实现移动增强现实技术的关键问题与本文的主要研究问题是虚拟物体在屏幕场景与真实世界场景的空间位置一致性。然后针对本文的主要研究问题提出了自主设计的移动增强现实算法，并在Android操作系统与IOS操作系统上实现开发了移动增强实景应用程序，对程序代码的多次测试与实验，程序较为精确地将POI虚拟信息与真实场景相对应实时匹配融合在一起。并且，在此系统中，程序设置了户外GPS系统每隔 1 s与每隔 3 m便刷新手机的位置、手机加速度传感器与磁场感应器实时监听手机姿态的变化。目前手机屏幕的刷新帧数一般是 60 fps，也就是刷新一次图像需要 16.67 ms。系统中虚拟信息POI基本能快速响应，实时随手机位置与姿态更改显示的投影位置，较好地解决了移动增强现实智能终端的空间位置一致性问题，最终达到了预期的结果。

在解决空间位置一致性的过程中，主要调用了移动终端的硬件传感器设备运行的数据来判断测定手机在真实场景中的位置与姿态，目前的移动智能设备位置定位精度与电子罗盘精度等还存在有一定的受干扰因素和误差，系统也对传感器数据进行了平滑滤波去噪处理，但移动增强现实智能终端的空间位置一致性问题的精度还是存在着一定的误差。虽然精度存在着误差，但对于一般的增强现实应用，该系统已经足够可以胜任。

[1] 隋毅. 基于手持设备的增强现实技术研究与应用[D]. 青岛：青岛大学，2009.

[2] 王靖滨，李明，耿卫东等. 基于增强现实技术的景观规划系统[J]. 中国图象图形学报，2002；7：405～10.

[3] 郭亮，杨卫军，何华贵等. 基于增强实景的地名地址普查系统研究[C]. 中国测绘地理信息学会2014工程测量分会与矿山测量专委会年会暨全国变形与安全监测学术研讨会，2014.

[4] 王迪. 基于Android的增强现实技术研究与实现[D]. 武汉：武汉理工大学，2013.

[5] 刘权. 基于智能移动终端的移动增强现实应用研究与实现[D]. 昆明：云南大学，2013.

Research Based on the Consistency of Mobile Augmented Reality Terminals

Yang Weijun1，Lie Jianjia2，Guo Liang1，He Huagui1，Li Shaozhi1

(1.Guangzhou Urban Planning&Design Survey Research Institute，Guangzhou 510060，China；2.College of Resources and Environment，South China Agricultural University，Guangzhou 510642，China)

In Augmented Reality，the consistency of spatial position is the accuracy of matching the virtual objects’ coordinates between the camera and the real world. The consistency of spatial position is the key to the realization of Augmented Reality system. This paper studied the problems of the consistency of spatial position in AR，and a cross-platform mobile Augmented Reality algorithm was designed. An AR program was achieved on the Android and IOS platforms respectively，which verified the feasibility of the algorithm. The results show that the algorithm can solve the problem of the consistency of spatial position.

augmented reality；the consistency of spatial position；intelligent mobile terminal

1672-8262(2016)06-54-03

P208.2，P209

A

2016—05—24

杨卫军(1978—)，男，博士，高级工程师，主要从事地理信息系统方面的研发工作。 通讯作者：列键佳(1993—)，男，本科在读，主要从事移动GIS、AR、云GIS等工作。

广州市越秀区科技计划项目(2016-GX-059)