移动增强现实技术在虚拟公告板的应用研究

刘哲+张卫华+李松柏

摘要：近年来，随着移动设备性能的提高与互联网技术的飞速发展。增强现实（Augmented Reality，下文简称AR）这项技术被广泛的应用到移动平台（手机、平板等）。本文通过对移动增强现实技术在虚拟公告板的应用研究，实现基于增强现实技术的虚拟公告板信息交互平台，旨在改进现有公告板及其它类似平台的灵活性差、传播范围受限、用户交流不足等缺点。利用增强现实、图像识别，GPS定位等相关技术，使得传统的信息传播方式变得更为生动有趣及实用。

关键词：增强现实；虚拟公告板；信息交互；图像识别

中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2017）06-0090-02

1 前言

随着智能手机和硬件性能的不断提升，增强现实技术逐渐出现在公众的视野之中。通俗的来讲增强现实技术是一种集真实世界信息与虚拟世界信息为一体进行互动的技术。通过模式识别技术识别场景中的部分图像特征，基于视觉的增强现实三维注册技术将虚拟世界的信息应用到真实世界中，增强用户的视觉体验感。

针对以上所述，文中设计并实现了基于增强现实技术的虚拟公告板信息交互平台。使用模式识别技术识别场景中的部分图像特征。将位置信息以及社交互动信息等基础数据集成为留言信息并上传至服务器，同时建立增强现实的基础数据。当用户手机对场景取景时，运用AR技术将虚拟公告板信息覆盖显示在真实场景中，在虚拟公告板上生动真实显示社交互动信息，虚实结合。既通过以上两种技术的结合建立虚拟的信息交互平台，赋予传统的公告板生动有趣的社交功能。该研究对增强现实技术在虚拟公告板的应用具有实际参考价值。

2 系统总体设计

系统架构设计是软件开发过程中至关重要的一步。移动端由图像采集，地理信息采集，增强现实信息展示，信息上传，网络服务这五部分组成，与用户进行直接的交互。其中图像采集主要实现通过移动端摄像头获取到实时的视频图像，完成视频的采集。地理信息采集主要是通过GPS获取用户的地理信息，方便提高后期的图像匹配精确度。增强现实信息展示主要利用AR技术将信息实时生动地展示给用户。信息上传与网络服务主要完成了数据的上传。在服务器端主要包括数据库，图像识别，AR信息这三部分组成，提供数据的存储与处理。由于服务器图片处理能力较强，系统将图像的识别与匹配放在服务器端进行实现，以达到用户满意的效果。

3 关键技术

3.1 图像匹配与识别技术研究

图像匹配与识别对于本项目至关重要，系统通过移动客户端实时采集图像，并提取图像特征，在服务器通过特征进行图像匹配，并将获取的图像匹配结果返回给移动客户端。在数据上传过程中，若有大量特征上传服务器，则会消耗较多的用户数据流量。

3.1.1 特征检测

特征检测主要完成的工作是在图像中检测“兴趣”点。这些点可以是角点、边缘等。可重复性和不变形是检测“兴趣”点的重要标准，这就意味着算法应该尽量能够在同一个物体的多张图像中检测出相同的点。针对于本系统则采用了ORB特征检测方法。

3.1.2 特征描述

兴趣点检测出来后，下一步就是对他们进行编码。编码就是将这些兴趣点转换成特征向量。SIFT、SRUF和ORB是在该领域里非常重要的算法。SURF算法的运行速度要比SIFT快。特征向量的维数主要由所用的算法决定。针对SIFT算法，它是利用由梯度直方图的最大值与其次大值所在的bin所对应的方向来确定特征点的主方向。会消耗较多的时间。而针对ORB的算法，它获取特征点的主方向的方式与SIFT不尽相同，是通过矩计算而来。

3.1.3 特征匹配

特征匹配这一步能给出图像的匹配的最终答案。系统将从移动客户端传回的数据进行识别和预处理，得到相应的数据。系统通过获得的标识物模块识别的视频帧，并且确定要追踪的目标是否成功匹配，匹配成功后将目标状态信息发送至应用层，应用层根据状态信息查询关联的虚拟对象，使用增强现实技术在客户端显示出增强现实影像与其相对应的交互信息。使交互信息生动真实地展示给用户。

3.2 增强现实技术在客户端呈现数据的研究

3.2.1 增强现实的三维注册技术

现阶段常见的基于视觉的增强现实三维注册技术有：仿射变换注册和相机定标注册。其中仿射变换是空间直角坐标系的变换，从一个二维坐标变换到另一个二维坐标。通俗的来讲给定三维空间中任何至少4个不共面的点，空间中任何一个点的投影变换都可以用这4个点的变换结果的树形组合来表示。

3.2.2 增强现实交互技术

本系統要求用户与虚拟物体能够直观的交互，针对这种需求增强现实系统必须具备特定的交互工具，并实现对工具位置的定位跟踪，服务器端将所需信息发送给客户端，移动客户端的增强现实系统的交互方式可以基于视觉处理，在标识物上叠加。

3.2.3 增强现实的虚实融合显示技术

本系统通过安装在用户手机端的摄像机，摄取外部真实环境的景象。然后移动客户端将视频信息发送给服务器，在服务器端通过计算处理，将所有要添加的信息或图像信号叠加在摄像机的视频信号上。这样用户所看到的周围真实世界的场景是由移动设备摄取的。

4 研究结果

本系统是基于Android平台进行开发。由于C++语言的执行效率较高以及笔记本电脑的CPU处理能力较强，在初期算法实现阶段利用的是Visual Studio 2013进行编写。通过测试，系统完成了对图像的采集、分析和处理。并且实现了AR信息交互，完成了目标功能。首先通过surf算法对图像进行特征点的提取，并将特征点上传至服务器。之后服务器端进行匹配，匹配成功后，运用ORB算法进行跟踪。既可以利用surf算法准确匹配图像的特点，也可以很好利用ORB算法匹配速度快的优势进行图像的跟踪，实现增强现实的信息呈现。并且目前本系统在PC端保持的帧率平均为1秒10-20帧，基本满足用户的需要。endprint

在Android端本系统完成了以下的一些工作：在虚拟公告板信息交互区界面，通过GPS获取用户当前的地理信息当用户进入虚拟公告板信息交互区之后，系统将提示用户已进入虚拟公告板留言区，可以进行信息交互。在本系统的虚拟公告板的呈现与信息交互界面，系统将为用户提供以下的一些服务：当用户需要对面前的事物进行了解和评论时，只要拿起手机对其进行扫描拍照，系统会将用户所拍摄的图片进行上传，在服务器端进行图像的匹配与识别。如图1所示当系统获取到相应的留言与详细信息，服务器会将这些信息传回。用户即可获得他们所想要的信息。如果数据库中没有可以匹配的图片，用户可以将拍摄的图片结合地理信息与留言信息进行上传，随时随地的构建虚拟公告板，实现信息的交互，用户长按手机屏幕即可获得近期的公告版和海报的详细信息。

5 结语

本文从一个项目的角度讨论了增强现实技术在虚拟公告板信息交互平台的应用研究。运用增强现实技术在实体公告栏上显示虚拟的留言内容，赋予传统公告板生动有趣的社交功能，搭建信息交互平台。这是本系统的一大特色，也是吸引用户的亮点。同时该系统也可以应用到公司招聘信息的推广，学校年终总结素材的选择，校内活动的公示，景区休息区的规划，旅游景点的选择与旅游景点的介绍等多元领域，具有广阔的应用前景与较高的商业价值。

同时增强现实技术在移动端的应用也存在着一些问题与瓶颈。由于目前移动设备性能无法与笔记本电脑的处理性能相媲美，导致用户的使用体验感大大降低。并且在移动端为了尽可能的缩短匹配时间，采用的是ORB算法进行图像的特征点的提取与匹配，但是匹配的精度也有所下降，所以会出现增强现实实时显示的时候图像一直在不断变换的情况。并且由于长期开启摄像头导致移动设备温度升高也是目前存在的问题。不过随着智能设备的普及与发展，这些问题在不久的将来都应该会得到解决，增强现实技术也会为我们的生活带来更多的便利。

参考文献

[1]C. Lanchon，G. Custillon，A. Moreau-Gaudry，J.-L. Descotes，J.-A. Long，G. Fiard，S. Voros. Augmented reality using transurethral ultrasounds in laparoscopic radical prostatectomy： pre clinical evaluation[J]. The Journal of Urology，2016.

[2]Rabia M. Yilmaz. Educational magic toys developed with augmented reality technology for early childhood education[J]. Computers in Human Behavior，2016，54.

[3]Joachim Scholz，Andrew N. Smith. Augmented reality： Designing immersive experiences that maximize consumer engagement[J]. Business Horizons，2016，59（2）.

[4]Huan Deng，Qiong-Hua Wang，Zhao-Long Xiong，Han-Le Zhang，Yan Xing. Magnified augmented reality 3D display based on integral imaging[J]. Optik - International Journal for Light and Electron Optics，2016，127（10）.

[5]George Michalos，Panagiotis Karagiannis，Sotiris Makris，nder Tokalar，George Chryssolouris. Augmented Reality （AR） Applications for Supporting Human-robot Interactive Cooperation[J].Procedia CIRP，2016，41.

[6]張志禹，刘耀阳.基于SURF与光流法的增强现实跟踪注册[J].计算机工程与应用，2015，（03）：166-170.endprint