移动AR+VR支持下旅游GIS系统的设计与实现

， ，，， ，

(1. 中国海洋大学信息科学与工程学院，山东 青岛 266000； 2. 青岛海洋科学与技术国家实验室区域海洋与数值模拟实验室，山东 青岛 266000; 3. 联想(北京)有限公司,北京 100089； 4. 中车青岛四方机车车辆股份有限公司，山东 青岛 266000)

当今世界信息技术发展迅猛，综合利用地理信息系统(GIS)、大数据、云计算等先进技术，研发智能化、多维度、全方位的旅游管理信息系统，已成为旅游信息化的发展趋势[1-3]。移动互联网的发展大大提升了智能设备的便携性和高速网络的普及性，智能手机与信息搜索、通信、娱乐、社交等功能的整合，可以为用户提供动态信息服务和个性化推荐服务[4-6]。然而，传统基于GIS的旅游信息管理系统受限于数据组织方式和承载平台，存在使用灵活性差、信息展示维度单一、用户体验性差等问题，已无法满足用户的多元化需求，制约了旅游信息化服务水平的进一步提升。近年来虚拟现实(virtual reality，VR)和增强现实(augmented reality，AR)技术的迅速发展，不仅为用户提供高沉浸感的交互操作，还在多时空维度上展现用户所需信息，为旅游业的进一步发展提供了新的思路[7]。虚拟现实以其身临其境的视觉感，为用户提供逼真的场景展示；增强现实在虚拟现实的基础上融入真实的场景或要素，将虚拟事物与真实场景相融合，借助文字、图形、语音等信息，强化用户对现实环境的感知与认识，实现对现实的扩张和补充[8]。另外，随着智能设备性能的提升，基于移动平台的AR+VR技术开始兴起。移动AR+VR不仅满足传统AR+VR虚实融合和实时交互的需求，更具有较强的灵活性和便携性，受空间环境的约束较小。现阶段基于移动平台的AR+VR技术已在安全、教育、城市管理等多个领域成功应用，并取得了较好的应用效果，为解决目前旅游信息服务中存在的问题提供了重要借鉴。综上所述，将AR+VR技术和移动智能终端有机整合，研发基于移动AR+VR的旅游GIS系统具有重要意义。

对于传统的旅游GIS系统，目前国内相对成熟的旅游应用包括“爱旅游(iTravels)”“杭州智慧旅游”和“武汉智慧旅游”软件。这几款软件均以二维地图为背景实现基本导览功能，但体验性和交互性较差，信息获取及空间分析功能需进一步完善。“VR+旅游”改变了传统以照片文字获取景点信息的方式，使用户以最直观清晰的三维视角对旅游景区有初步了解，同时还为游客提供更多的景区体验。如首都博物馆推出VR观展模式，游客通过VR头盔近距离走进商代妇好墓，切身感受考古、挖掘、整理的全过程；暴风平台上线全景的澳旅风光VR视频，用户可以身临其境体验澳旅人文风情及旅游美景。“AR+旅游”则能把旅游目标物的历史、故事、文化等虚拟出来，叠加在现实场景中，用户能够与实时空间中的虚拟信息进行交互，为游客提供与环境相关的多媒体旅游服务[9]。如伦敦的Street Museum软件，利用增强现实技术使游客通过手机摄像机获取景点的相关信息，获得与现代伦敦景点相匹配的历史图像[10]；希腊研究人员开发的基于AR的雅典古神庙的漫游导览[11]系统Archeoguide，极大提高了用户的旅游体验性；搭载在诺基亚Lumia 920机型下的“城市万花筒”应用，利用AR以全新的方式感受周围事物与信息。

综上所述，目前的旅游信息服务主要存在以下几方面问题：①部分旅游服务仍以网页形式停留在电脑端，灵活性差，无法实现实时旅游服务；②现有移动端旅游服务系统大多只能满足单一的导航功能或单一的场景重现功能，其直观性、全面性和交互性较差。因此，本文在移动平台上将AR和VR进行整合，研发基于移动AR+VR的旅游GIS系统，极大地提高系统的直观性和交互性。主要从以下3个方面进行突破：①提供基于三维景观地图的线路规划、路径导航；②利用VR技术进行旅游景区的虚拟漫游，实现“身临其境”的真实感；③利用AR环境识别技术，将虚拟的物体、场景或信息叠加到真实场景，为游客提供大量的相关信息，实现对现实的增强，增加用户对真实世界的感知。

1 系统架构设计

系统采用网络GIS架构，以旅游景区地理空间数据和三维景观地图为基础，实现线路规划并进行虚拟漫游，让用户身临其境，提前了解路线及景点信息。利用基于位置的服务技术、增强现实技术将虚拟的环境、图形和文字标签深度融合到游客所看到的现实环境中，为游客提供认知的全新视角，带来传统软件不能提供的互动应用体验。系统架构如图1所示。

(1) 用户层。系统功能主要分为3部分：导航模块，以三维景观地图为地图底图，实现虚拟漫游、路径导航、路径规划等功能。智能服务模块，以AR技术为支撑，实现周边环境识别、物体三维模型查看；同时利用GPS定位和数据挖掘分析，对景区人流量以热力图形式展示。社交模块则主要为用户提供社交分享功能，包括好友足迹、个人足迹查看及微信分享等。

(2) 技术层。系统主要技术包括4部分：基于位置与多传感器的跟踪注册技术为空间数据获取提供服务，实现空间分析及时空数据挖掘；瓦片地图技术为三维景观地图呈现提供技术支撑，有效提高地图加载速度[12]；基于三维景观地图的三维虚拟导航，利用GIS空间分析和数据调度，实现三维地图上的虚拟导航和线路规划；移动增强现实虚实叠加技术则在多传感器融合的基础上，通过环境识别、三维注册、虚实叠加和图形渲染等手段实现了虚拟物体和现实世界的叠加。

(3) 数据层。系统数据中心包括2部分：GIS空间数据库，主要为针对景区搭建的空间环境数据中心，包括轨迹数据、路网数据、景点位置等；属性数据包括文字、图片、视频等形式的景点信息、建筑信息、三维模型等。移动端数据存储采用Android系统的SharedPreferences、文件存储、SQLite数据库存储3种方式。

2 关键技术

2.1 基于位置与多传感器的跟踪注册技术

系统的环境识别功能模块采用基于位置与多传感器的跟踪注册技术[13-14]实现。由GPS确定用户位置与周围环境，通过移动终端相机等传感器数据融合实现对终端姿态的监听，最后对两种数据进行计算处理，得出与真实环境相匹配的虚拟数据，进而实现虚实场景的结合。

获取定位功能首先要在系统的配置文件中声明权限，必要的属性声明包括：ACCESS_FINE_LOCATION、ACCESS_COARSE_LOCATION。定义LocationManager对象，通过设定LocationProvider选择GPS定位方式。通过调用onLocationChanged()方法的location.getLongitude()与location.getLatitude()方法获取用户经纬度。

通过注册和监听加速度传感器与磁场传感器，可以获取传感器数据，当手机姿态发生变化时获取传感器旋转矩阵M。

当M为3×3时，矩阵原型为

(1)

当M为4×4时，矩阵原型为

(2)

最终通过矩阵的值获取移动设备的方位参数信息(value[0],value[1],value[2])。

当M为3×3时

value[0]=(float)Math.atan2(M[1],M[4])

(3)

value[1]=(float)Math.asin(-M[7])

(4)

value[2]=(float)Math.atan2(-M[6],M[8])

(5)

当M为4×4时

value[0]=(float)Math.atan2(M[1],M[5])

(6)

value[1]=(float)Math.asin(-M[9])

(7)

value[2]=(float)Math.atan2(-M[8],M[10])

(8)

将value数组的值转换为角度，可得到移动设备正确的姿态信息。

2.2 瓦片地图技术

系统采用瓦片地图技术实现三维景观地图的呈现，地图投影方式为墨卡托投影[15-16]。

(1) 瓦片切割。采用虚拟现实技术对八大关景区进行建模，以获得完整景观地图。对景观地图与下载的谷歌整体地图进行比对矫正，并切割为边长为2n×256像素的正方形图片，进而对图片进行瓦片切割。

(2) 数据调度。将切割完成的地图瓦片按层级建立索引，并按照网络地图服务(web map service，WMS)接口标准发布，服务器端通过解析移动终端发送的数据，返回与接收到的数据范围相匹配的瓦片数据。移动端通过瓦片信息缓存，进行实时拼接渲染显示，实现地图的完整调度。

(3) 坐标变换。由于三维景观地图渲染后为固定侧视图视角，为实现正确的导航功能，需将真实的经纬度进行公式变换后投影到景观地图上。

在图2中，正方形A0B0C0D0表示瓦片原型，正方形A1B1C1D1表示过度图形，正方形A2B2C2D2表示最终变换结果。横轴X代表经度，纵轴Y代表纬度。可得经纬度变换公式为

(9)

通过上述经纬度转换公式可得到实际经纬度坐标，将其进行差值计算后根据墨卡托投影方式进行坐标转换即可得到真实的对应坐标，如图3所示。

2.3 基于三维景观地图的三维虚拟导航

本系统将传统的二维矢量地图导航应用到三维景观地图中，采用GIS空间分析及弗洛伊德最短路径算法[17]实现导航功能，并为用户提供虚拟漫游模式。同时在三维景观地图的俯视图下，系统通过移动传感器实时监听移动设备的方向传感器数据，确定移动设备的朝向，以此动态调整地图的旋转视角，使移动终端屏幕内的地图方向和范围与用户当前视角范围一致，如图4所示。

2.4 移动增强现实系统虚实叠加技术

为实现移动增强现实系统的真实性和实时性，本系统在移动增强现实模块采用了基于定位识别的移动终端户外三维注册技术[18]。该技术提升了三维环境注册技术的实时性、稳定性和稳健性，增强了虚实结合场景的真实性、融合性，让用户具有更真实的视觉体验[19]。主要包括摄像机的空间定位和虚拟物体在真实空间定位两方面内容[20]，在此基础上实现对虚拟物体的渲染绘制，如图5所示。

(1) 用户空间定位。通过GPS实现用户实时定位，同时利用多传感器融合，实时跟踪用户在真实场景中的位置及视线方向，获取用户所在位置的周边信息，实现对终端姿态的监听。

(2) 虚拟物体空间定位。根据获取的位置信息，通过GIS空间分析方法从空间数据库和属性数据库中读取对应位置的空间和属性信息，计算周围景点的虚拟标签在用户观察坐标系中的坐标，实现景点虚拟标签与真实场景的精准匹配。

(3) 虚实融合。在移动终端使用OpenGL ES对虚拟物体进行绘制渲染。通过监听方向传感器的数据变化来获取手机实时方位信息，将方位数据实时映射到OpenGL ES的三维坐标系中，使信息标识根据手机姿态的变化而变化，实现虚拟物体与真实场景更逼真地无缝融合[21]。

3 系统实现

3.1 导航模块

(1) 三维景观地图。在景观地图模式下，八大关景区全貌以三维景观地图的方式呈现，同时配有地图缩放、移动、信息查看等功能。

在漫游模式下，实现景观地图的旋转与漫游角度的调节，景点标签随旋转角度旋转，用户视角始终为正面视角。

(2) 路线导航。通过景点标签确定起始点进行路线规划，也可以实现多景点路线规划，在漫游模式下提前对游览路线进行漫游操作，如图6所示。

3.2 智能服务模块

(1) 环境识别。利用手机相机对周围环境进行拍摄，景点信息以三维标签的形式显示在屏幕上。点击景点标签，可查看景点信息详情，如图7所示。

(2) 热力图显示。选择热力图可查看实时人流热力图，为游客避开拥挤景点和管理部门调流提供决策依据，如图8所示。

(3) 三维建筑查看。通过环境识别功能获取景点三维建筑模型，可对模型进行旋转、漫游等操作，如图9所示。

3.3 社交模块

社交模块为游客提供旅游数据共享服务。

(1) 好友足迹：获取用户的好友信息，并可显示好友的轨迹及照片信息。

(2) 个人轨迹：系统记录用户的轨迹信息，并实现轨迹重现，如图10所示。

(3) 微信分享：将个人旅游游记或景点照片等信息通过微信分享，如图11所示。

4 结 语

本文设计和实现了基于移动AR+VR的旅游GIS系统，重点突破了基于位置与多传感器的跟踪注册技术、瓦片地图技术、三维景观地图技术和移动增强现实系统虚实叠加技术，实现了一个多维度、全方位的智能化移动旅游信息服务系统。该系统在传统旅游GIS系统的基础上，融入了AR+VR技术，以三维形式极大地提高了系统的直观性和用户的交互式体验；同时系统加入了数据共享机制，满足了新技术条件下数据交流共享的要求，提高了用户使用群体间的沟通交流和共享。系统的主要创新之处在于：实现了移动端的虚拟三维景区导航服务和虚实结合的景区信息服务。

虽然本系统基本实现所需功能，并且能较好地提高用户的交互体验，但仍然存在一些问题需要进一步完善：

(1) 本系统中基于位置的服务主要依靠GPS系统，其定位精度不高。在下一步的工作中考虑选用辅助定位或差分GPS等方式提高系统的定位精度，使轨迹数据更加准确。

(2) 地图瓦片数据是指定视角的景观地图，具有一定的视角局限性，在下一步的开发中可选择多个视角，使地图具有动态效果。