无标识纸质地图增强现实技术研究与实现

刘安森，张威巍，王光霞

(信息工程大学，河南 郑州 450001)

引用著录：刘安森，张威巍，王光霞.无标识纸质地图增强现实技术研究与实现[J].测绘工程，2017，26(12)：64-70，80.

DOI:10.19349/j.cnki.issn1006-7949.2017.12.013

无标识纸质地图增强现实技术研究与实现

刘安森，张威巍，王光霞

(信息工程大学，河南 郑州 450001)

纸质地图因其通用性和全局性特点在地理环境的认知过程中具有重要意义，经过增强现实技术融合将会在信息载负量和可视化维度等方面实现突破。文中简述无标识纸质地图增强现实系统的技术原理，提出一种纸质地图无标识配准方法，归纳总结纸质地图增强现实表达方法及其作用，研究纸质地图人机交互方法，实现无标识纸质地图与增强现实技术的融合，增强传统纸质地图的认知功能。

增强现实；配准技术；无标识；人机交互；表达方法

地图是现实世界的模型，是地理信息传递的载体[1]，因其整体宏观、使用方便、便于携带和无需外设的优点成为人们认知地球、探索地理的主要工具。随着电子设备和信息化技术的更新，纸质地图的缺陷也日益突出：地形“降维”造成认知功能下降、交互功能的缺失、表现形式单一、更新效率差以及信息载负量限制[2]等等。增强现实(augmented reality，AR)是一种利用计算机产生的附加信息对使用者所看到的真实世界景象进行增强或扩张的技术，是跨学科的综合体[3-5]。增强现实技术与地图印刷制品的融合可以弥补传统纸质地图设计和制作的固定模式带来的缺陷，具有升维(地理信息立体显示)、扩容(地图信息载负量的扩增)和交互(基于手势的人机交互)的优势。增强后的纸质地图既具有真实感，又可以作为人机交互的界面和工具，将地理信息“降维”的地图进行逆转“升维”，同时在不影响地图自身协调性和艺术性的前提下扩增其信息载负量，是发展纸质地图的新思路。

自从Bobrich[6]等把增强现实技术应用于地图可视化——把DEM三维模型以视频的方式插入显示到一张地形图，“增强地图”开始真正的出现。Schmalstieg[7]等制作了一个在伦敦地图上增强叠加洪水淹没动画来证明自己“地图可视化新媒体——增强现实”的观点；Paelke[8]等通过一个电子设备实现了用户与纸质地图的交互。国内方面，孙敏等[9]将增强现实技术引入GIS，提出增强现实地理信息系统的概念，徐旺[10]等人对纸地图中增强现实对准技术做了相关研究。虽然在地图领域早已引入了增强现实概念，但以上研究都是停留在二者的初步融合和实现，存在问题有：纸质地图识别配准大都依赖于人工标识，缺少对无标识地图识别配准方法的深入研究；现有的增强现实系统中表达方法种类多样，缺少一个针对地图的增强现实表达方法的归纳总结；人机交互方面研究不足。本文将针对这3个问题对无标识纸质地图增强现实的技术原理、表达方式和人机交互进行研究，并搭建实验系统实现相关技术。

1 无标识纸质地图增强现实技术原理

无标识纸质地图增强现实技术是利用计算机视觉和传感器等技术将增强信息和纸质地图配准融合以达到增强地图认知功能的综合性技术。计算机将纸质地图灰度化后采集存储其特征点，并利用计算机视觉和图像识别技术对目标地图进行识别配准，最后将虚拟信息与纸质地图“无缝”融合实现增强地图认知功能的目的。本文将无标识纸质地图增强现实的实验原型分为4个部分并阐述其原理，如图1所示。

图1 纸质地图增强现实原理示意图

预处理部分是识别前的地图处理阶段，主要是提取和存储地图的特征点并将数据传给设计者对相应增强信息进行关联操作的过程。地图识别和配准部分通过调取特征库中的特征点并利用计算机视觉技术将视频流中的帧图像与处理后的地图特征点对比识别，同时利用屏幕坐标系中特征点之间的相对位置对地图在世界坐标系中的位置姿态[11]进行判断，进而为增强信息预制件的布置提供坐标基础。人机交互部分主要是基于心智模型[12]的手势交互的设计。显示部分是通过坐标转化将世界坐标系和虚拟坐标系转化到屏幕坐标系上并将地理信息通过模型、文本或多媒体等方式叠加到纸质地图上并可进行交互的过程。

2 无标识的纸质地图配准技术

2.1 无标识纸质地图配准的基本流程

目前，在纸质地图配准方面，大多数学者采用基于人工标识的配准方法，也就是在地图上添加二维码等人工标识以辅助配准，这种方法虽然能够实现配准的目的，但破坏了地图的美观，尤其不适用于已经出版的地图，为了解决这一问题，本文力图探索一种无标识纸质地图增强现实配准方法。

无标识纸质地图增强现实配准的关键是如何获取能够满足匹配要求的地图图像自然特征集，整个配准过程分为预处理和实时处理两个阶段。预处理阶段的主要工作是：构建纸质地图自然特征库、构建地图增强信息库、纸质地图与增强信息的关联。实时阶段的主要工作是：将获取的视频关键帧图像特征与纸质地图特征库进行图像匹配，估计相机的位置和姿态，提取当前视窗下的增强信息并进行绘制，具体流程如图2所示，其中的核心是纸质地图自然特征提取和相机位姿估计。

由于不同的地图在设计风格、色彩模式方面的差异较大，无论采用哪种图像特征描述方法，都不能保证所有的纸质地图经过扫描后直接提取出满足匹配要求的特征集。主要的问题有两个：一是不能提取足够数量的特征点，二是特征点在图中分布极不均衡。为了解决这两个问题，本文提出一种自适应纸质地图图像特征提取与匹配方法。

图2 纸质地图配准流程

2.2 基于图像增强的地图图像特征提取方法

图像特征描述的方法有很多，例如SIFT、SURF、FAST、BRISK、ORB等，这些方法各有优缺点，综合精度和效率因素，本文拟采用FAST算法对地图特征点进行提取。FAST特征描述方法首先以待检测点p为中心建立一个半径为3个像素的Bresenham圆，圆形轨迹上可得到16个与待测点p相邻的像素点。如果这周围的16个像素点中有连续的12个像素点的像素值都小于或者大于一个阈值，则认为p为角点，如式(1)所示。

(1)

其中：I(x)表示像素x的亮度值，t为给定的极小阈值。如果在Bresenham圆中与监测点的亮度相差一定阈值的点超过给定的阈值n，则该检测是图像的特征点。

在图像特征提取的过程中，特征点的数量往往难以满足匹配要求，为提高纸质地图图像特征点提取数量，本文通过反锐化掩模法(Unsharp Masking)加强图像高频成分，进而增加特征点的数量。首先对地图图像低通滤波得到钝化模糊图像，将原图与钝化模糊图像相减得到高频图像(或细节图像)，再将与放大系数相乘后的高频图像叠加到原图上即可得到边缘锐化的增强图像，如式(2)所示，其中fraw(x,y)为原图像，gmask(x,y)为原图的高频图像，fblur(x,y)为原图的钝化模糊图像，fsharpen(x,y)为边缘锐化的增强图像，λ为放大系数。

fsharpen(x,y)=fraw(x,y)+gmask(x,y)，

gmask(x,y)=λ·[fraw(x,y)-fblur(x,y)].

(2)

2.3 基于图像分割的地图图像匹配方法

针对图像增强(锐化)处理后特征显著度仍较低的地图，本文通过自适应分割方法进行图像处理。首先对图像解析得到长宽以及面积数据，在符合长宽比例以及面积限制(原图面积的50%)的情况下对图像特征点相对密集的区域进行自适应分割，得到特征显著的局部图像(分割截取后的图像)，其次利用坐标转化建立非识别区域图像与识别区域图像在世界坐标系下的位置关系，最终AR系统通过对局部图像(识别区域图像)的识别配准实现对整幅图像的扩展跟踪，如图3左下角所示。已知地图上任意点在其平面坐标系下坐标和识别区域任意点在世界坐标系下坐标，通过识别区域的任意3个不同线的点和非识别区域上任意一点的平面坐标建立联系求得非识别区域的世界坐标，之后通过识别区域的坐标转换公式求得非识别区域在屏幕图像上投影点的像素坐标。非识别区域图像与识别区域图像之间的位置关系，如式(3)所示。世界坐标系下，识别区域内三点坐标为(xw1,yw1,zw1)，(xw2,yw2,zw2)和(xw3,yw3,zw3)，非识别区域坐标为(x,y,z)。在地图平面坐标系下，识别区域内三点坐标为(xm1,ym1)，(xm2,ym2)和(xm3,ym3)，非识别区域内在坐标为(xm0,ym0)。

(3)

图3 坐标转换示意图

2.4 基于自适应地图图像匹配的相机姿态估计

首先判断地图图像特征集是否能够满足匹配要求，如果因为特征点数量不足而不能满足匹配要求，则对原始图像进行对比度增强处理，以增加图像特征点的数量。如果因为特征点分布不均衡而导致不能满足匹配要求，自适应地对地图图像进行分割处理，方法是从原始图像中截取特征点分布相对均匀的矩形区域，以此局部图像为特征采集图像，并建立局部图像与全局图像之间的坐标转换关系。为了保证图像匹配的准确性，在对原始图像进行分割处理时，局部区域的面积要大于全部图像面积的一半。地图自然特征提取方法如图4所示。

图4 纸质地图自然特征提取示意图

相机位姿估计的目的是计算增强信息在相机坐标系下的坐标。首先，图像匹配成功后，根据单应性矩阵变换，计算出相机坐标系与世界坐标系之间的转换关系，也就是确定相机的外部参数，随后根据相机的内部参数，对增强信息进行坐标变换，计算出在相机坐标系下，增强信息的坐标，据此就可对增强信息进行绘制，实现增强信息与纸质地图的叠加。设空间某一点在世界坐标系坐标为(Xw,Yw,Zw)，其对应投影点像素坐标为(u,v)，转换关系如式(4)所示，f,Δx,Δy,u0,v0为相机内部参数，R为3×3旋转矩阵，T为三维平移矢量，R和T统称为相机外部参数，由相机相对于世界坐标系的方位决定。

(4)

2.5 纸质地图配准实验

在百度搜索和必应搜索中随机抽取了54份不同类型的纸质地图扫描图片进行自然特征提取与匹配实验，图种涵盖了政区图、交通图、人口密度图、晕渲图、水系流域图、矿藏分布图、影像地图等多种地图，图幅范围包含了从全球到街区。实验平台采用Vofuria SDK，将每一幅地图图像特征提取结果按照特征点的数量和分布均匀程度区分为优良、中等、较差3档，优良档为特征点多且分布均匀的图像，较差档为特征点少且分布集中不利于识别的图像，中等档为介于两者可识别的图像，图5展示了总体实验结果。利用本文方法处理后的图像特征提取结果优良率从46%提升到94%，消除了特征提取评级为差的情况，图6展示了其中一幅全国水系分布地图在处理前后的特征点分布情况，该地图在未处理情况下的图像特征集评级为差，特征点分布如图6(b)所示，经过处理后，图像特征集评级为优，如图6(c)所示。通过实验结果可以看出，本文提出的自适应纸质地图图像特征提取方法能够有效满足无标识纸质地图增强现实配准的要求。

图5 地图图像特征点提取实验结果

3 纸质地图增强现实表达与交互技术

3.1 纸质地图增强现实表达技术

纸质地图增强现实系统的内容表达本质上就是增强信息的可视化，这种可视化不同于传统地图的表达，重点是将不可见、难以认知或难以想象的地理空间信息以直观多维的方式表现出来。目前，增强现实表达方法有很多，但并未针对纸质地图进行系统化总结。本文将增强信息的可视化方法汇总归纳，总结了适用于纸质地图增强现实系统的表达方法并描述相应特点和适用场景。纸质地图增强现实系统的内容表达本质是双图层或多图层的叠加：一个或多个信息增强层与底图地图层配准叠加，将纸质地图因图幅限制等原因舍弃的信息通过信息增强层合理地展示给用户，如图7所示。其表达方法可分为模型叠加法、多媒体注记法和超链接嵌入法，如表1所示。

模型叠加法是指在纸质地图的基础上，通过三维模型的预制件导入并在显示输出设备上将模型与纸质地图配准叠加的可视化方法。这种方法有效降低地图的判读难度，使地形等基本地理信息直观地展现在用户面前，增强地图的模拟功能。模型叠加可根据需要进行全局叠加和局部叠加，或改变模型的透明度减少模型对底图地图信息的压盖。多媒体注记法是通过文本框、视频、音频或图标等多媒体方式将描述性信息叠加在底图地图上相应位置以实现位置指示或者相关信息描述的功能。通常，这种方法会和地图POI兴趣点选取以及人机交互方式配合使用，增加纸质地图的交互性，拓展其信息载负量，是描述属性信息或热点问题的可视化方法。超链接嵌入法是指通过用户界面设计、屏幕触摸按钮或虚拟按键设置将纸质地图与网络地址(嵌入按钮的URL)连接起来的可视化方法。

图6 纸质地图锐化处理特征提取结果示意图

图7 信息增强层与底图地图层对比示意图

分类依据表达方法描述举例增强信息的内容要素模型叠加法模型具有地理特征或属性特征。这种方法可以将模型与二维地图无缝连接,有效降低地图的判读难度,简化特定地物在地图中的检索过程,增强地图的模拟功能位置标识模型、建筑模型、地形模型等多媒体注记法该方法增加纸质地图的交互性,拓展其信息载负量,是描述属性信息(建筑物属性信息、描述性视频信息、音频信息等)或热点问题的可视化方法导航指示符号、信息增强文本框、地区性介绍视频等超链接嵌入法该方法可以实现纸质地图和网络地图的切换URL按钮等

3.2 纸质地图增强现实交互技术

纸质地图携带方便，整体阅读性和全局把控性强，但却缺少地理信息选取(如POI点的选取和属性信息查看)和基本行为操作(如地理模型添加、旋转和缩放)等人机交互。实现用户与真实场景中的虚拟对象之间更加自然的交互更是增强现实技术的目标之一[11]。如何解决限制纸质地图发展的人机交互问题是本文要讨论和实验的重点。目前常用的3种手势方法为：①基于鼠标和触摸的输入方式；②基于数据手套的手势输入方式；③体感交互方式。数据手套能获取手指动作在三维空间上的运动细节，体感交互能实现更丰富多样的手势操作，但硬件设备价格较高，不能普及化。与其相比的触摸方式虽然只能获取二维平面手势动作，但硬件成本较低且稳定方便。因此本实验采用的设备是开发性能好的Android设备。

针对纸质地图增强现实系统原型，笔者设计了一组简单的触屏手势。手势操作以及手势语言的设计需要符合用户心智模型，即符合用户操作心理和操作习惯，具体如表2所示。

Android设备手势交互流程如下：手指触碰屏幕触发位移事件，该事件被触碰监听器监听，触碰监听器获取事件对象并通过手势识别器将事件对象传递至手势监听器来获取封装的信息并做出相应反馈，如图8所示。Android通过手势点类和手势笔画类存储和传递手势点信息，利用模板匹配技术将预先存储好的手势模型与传感器输入信息对比匹配[9]。

表2 实验手势设计

图8 基于手势的人机交互流程图

手势操作可以对虚拟信息进行位置变换，也可以进行虚拟信息深度操作，通过调用不同的函数对手势进行消息响应，进而实现信息扩增。多种表达方法与交互技术的融合使用有效地提高了地图的可读性，降低了读图识图的难度，并使得纸质地图具有了良好的人机交互界面。通过地形和其他模型的导入以及扩展追踪功能(识别图离开镜头后增强信息能够保持一个空间的定位)的实现，可使读图者能够任意切换读图角度，既能总览地图全景，又能在地形模型中漫游，优化了交互方式，增强了地图的认知功能。

4 无标识纸质地图增强现实实例

基于纸质地图增强现实无标识配准的基本原理，结合针对纸质地图的增强现实表达方式和人机交互设计，本文利用Vuforia SDK设计并实现了一个纸质地图增强现实系统的实验原型，并使用Android设备(Android手机和EPSON BT200智能眼镜)作为系统实验硬件平台对纸质地图实现模型叠加、人机交互和网络链接嵌入的功能。

原型系统用户界面由3个按钮组成，分别为“模型叠加”、“POI”和“网络地图”，每个按钮的消息响应分别实现3种表达方法。通过点击按钮触发相应的功能性响应函数，本系统原型以河南省行政区划图和世界地图为例。

点击“模型叠加”按钮后将Android设备摄像机分别对两张准识别地图，系统会自动识别并将三维模型(地形模型和地球模型)叠加到相应地图，用户可以通过手指“左右”或者“上下”地滑动手机屏幕或智能眼镜操作板控制模型旋转达到从不同角度认知地图的目的；点击“POI”按钮后，系统会将河南省行政区划图上的地形模型移除并显示省会和各地级市POI位置标识模型，通过点击地形图上POI模型或者世界地图上地球模型控制相关介绍性文本信息的显示与关闭；点击“网络地图”按钮后，Android设备显示内容会通过嵌入按钮的超链接地址切换到网络地图(本实验链接为百度地图)，用户可通过网络对地图进一步学习和认知。实验对比示意图如图9所示。

通过实验对比得出结论：无标识纸质地图增强现实技术可以弥补传统纸质地图设计和制作的固定模式带来的缺陷，具有升维(地理信息立体显示)、扩容(地图信息载负量的扩增)和交互(基于手势的人机交互)的优势。增强后的纸质地图既具有真实感，又可以作为人机交互的界面和工具，将地理信息“降维”的地图进行逆转“升维”，同时在不影响地图自身协调性和艺术性的前提下扩增其信息载负量。

图9 实验对比示意图

5 结束语

传统地图是一个“降维”的过程，将三维世界降至二维平面已达到简化现实突出地理特征并易于信息传递和表达的目的。新时期下地图表达方式的发展趋势是更好地将二维平面数据以三维信息形式传递给读图者来增强其对地图的认知能力和范围。增强现实技术的应用为地图“二维—三维”[12]之间的无缝切换提供了新的可能，也通过技术手段增强了人的认知能力。本文实验实现了无标识纸质地图增强现实原型系统，对纸质地图进行信息增强，在保证地图艺术性和简易性的前提下，增加了地图信息载负量，将高程等信息进行了具体化和三维化，改变了纸质地图单一的表达方法，间接地提高了读图者的地图认知能力。但本文还存在某些不足有待深入研究，如用户界面设计简单，缺少对增强现实系统中显示符号和色彩的研究。

总体上，本文通过增强技术一定程度地克服了传统纸质地图的弊端，丰富了表达形式和地图信息载负量。增强现实技术将会给地图学理论带来一个新的发展契机，纸质地图也将重获新生。

[1] 王光霞,游雄,於建峰,等.地图设计与编绘[M].北京：测绘出版社,2014.

[2] 张岸,庄剑顺,齐清文,等. 基于增强现实技术的纸质地图增强表达与交互[J]. 热带地理,2012,32(5):476-480.

[3] 王涌天,陈靖,程德文.增强现实技术导论[M].北京：科学出版社，2015.

[4] ELSAYED N A M,ZAYED H H,SHARAWY M I.ARSC:Augmented Reality StudentCard[J]．Computers & Education，2011,56(4):1045-1061.

[5] MCGARRITY E,TUCERYAN M.A method for calibrating see-through head-mounted displays foraugmented reality. the Proceedings of the IEEE 2nd International Workshop onAugmented Reality (IWAR 99). 1999.

[6] BOBRICH J J,OTTO S.Augmented Maps[C].England:International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences,2002．

[7] SCHMALSTIEG D,REITMAYR G.Augmented Reality as a Medium for Cartography.MultimediaCartography[M].New York:Springer-Verlag,2006:267-282．

[8] VOLKER P，MONIKA S.Augmented paper maps Exploring the design space of a mixed reality system[J]．International Journal of Photogrammetry and Remote Sensing，2010，65(3)：56-265．

[9] 孙敏，陈秀万，张飞舟，等．增强现实地理信息系统[J]．北京大学学报(自然科学版)，2004，40(6)：906-913．

[10] 徐旺,李爱光. 纸地图增强现实对准技术研究[J]. 测绘科学技术学报,2016,33(2):185-190.

[11] 陈泽婵,陈靖,严雷,等. 基于Unity3D的移动增强现实光学实验平台[J]. 计算机应用,2015,35(增2):194-199.

[12] 林一,陈靖,周琪,等. 移动增强现实浏览器的信息可视化和交互式设计[J]. 计算机辅助设计与图形学学报,2015,27(2):320-329.

[责任编辑：刘文霞]

Realizationandresearchonunmarkedpapermapaugmentedrealitytechnology

LIU Ansen, ZHANG Weiwei, WANG Guangxia

(Information Engineering University, Zhengzhou 450001, China)

Paper map is of great significance in the cognitive process of geographical environment because of its generality and integrality, which can achieve a major breakthrough in the fileds of information load and visualization by the technology of augmented reality. Theoretically, the technology principle of unmarked paper map augmented reality system is described in this paper, and a registration method of paper map is proposed. Besides, the expression methods and effect of paper map augmented reality are summarized, and the integration of unmarked paper map and augmented reality technology is realized, which can enhance the cognitive function of traditional paper map.

augmented reality; registration method; non-marker; human-computer interaction; expression methods

P28

A

1006-7949(2017)12-0064-07

2016-09-10

河南省中原学者项目(142101510005)

刘安森(1992-)，男，硕士研究生.