城市地理信息系统中的全景地图技术研究

李海亭，张淼，彭清山

(1.武汉市勘测设计研究院，湖北武汉 430022； 2.武汉大学数字制图与国土信息应用工程重点实验室，湖北武汉 430079)

城市地理信息系统中的全景地图技术研究

李海亭1，2∗，张淼1，彭清山1

(1.武汉市勘测设计研究院，湖北武汉 430022； 2.武汉大学数字制图与国土信息应用工程重点实验室，湖北武汉 430079)

随着GIS技术的进一步发展，全景地图已成为城市地理信息系统中的重要组成部分。本文结合武汉公益地图网(http://www.vrwuhan.com)中全景地图系统的研发实践，重点阐述了全景采集器的设计思路、全景图像拼接方法、全景照片与电子地图的接口设计以及整个系统的具体发布过程。

城市地理信息系统；全景地图；数据采集；图像拼接

1 引 言

全景地图系统的研制涉及数字电路、数字图像处理、空间定位技术、地理信息系统以及互联网信息发布技术等，具有多学科交叉应用的特点。它的本质是利用最新的图像三维技术——三维全景(Panorama)与二维地图结合而创建的地图。它提供每个地理位置的360°真实场景，并且实现全景漫游、全景搜索和全景分享等功能，从而进一步解决传统电子地图完整性和直观性欠缺问题。把电子地图所具有的地理位置查询功能与三维全景所提供的虚拟现实技术结合起来，将会给人们平常的生活、出行等提供非常大的便利。全景地图系统在城市基础设施管理、道路养护、旅游景点在线展示、安保部门任务执行等方面具有广泛的应用价值。

2 发展现状

在全景地图系统的研制过程中，主要包括两项关键技术:全景技术和电子地图发布技术。其中，全景技术的本质是摄像技术的延伸，同时也是基于图像的虚拟现实技术。在该技术中，360°全景是用真实的照片来得到三维立体的感觉，这是一般图片和三维建模都无法达到的。电子地图发布技术则主要涉及地图投影、电子地图设计、空间数据库建设以及网络发布技术等。基于预生成思想的地图图块实时拼合技术日益成熟并在电子地图的发布过程中得到了广泛应用。该技术的思想是将设计好的电子地图预先进行横向分幅和纵向分级，然后根据图块切割算法进行地图瓦片的预生成，最后根据用户的请求在客户端实时拼接成地图呈现给用户。

由于全景图像与电子地图在接口设计上的复杂性，理想的全景地图系统一体化产品目前还没有出现。当前世界上研制的全景采集设备主要有Point Grey公司的Ladybug系列产品和Immersive Media公司的Dodeca 2360产品，如图1和图2所示。

图1 Ladybug3全景采集器

图2 Dodeca 2360全景采集器

其中，Ladybug3是Point Grey公司的最新全景采集产品，它集成了水平方向和顶部(5＋1)共6个CCD图像传感器，能实现6幅图像的同步采集。存在的缺点主要包括相邻图像重叠区域较少，拼接效果一般、场景采集不全(底部图像部分缺失)等。Dodeca 2360全景采集器由11个镜头组成，采集图像质量高，拼接效果好，并且支持全景视频输出功能。缺点是没有实现与空间数据的一体化处理与发布，并且价格昂贵。

在全景地图服务领域，Google公司已提供部分城市的全景漫游功能。国内有城市吧，立得也推出了自己的全景地图服务。由华东师范大学地理信息科学教育部重点实验室与北京超盛越宇公司、上海普适导航公司联合研发的双星制导车载高维全景数据移动采集平台(RSDAS)实现了全景数据的采集。该平台将一辆东风轻型车全面改装，将摄像机、激光扫描仪、计算机、北斗/GPS(全球定位系统)接收机、惯性导航(IMU)等设备合理装配，当车辆沿着道路行驶时，车载的摄像机和激光扫描仪就会对道路前后左右上下各个方向进行一次全方位扫描和摄录，同时把采集得到的数据信息传送到车载的计算机上进行储存。

上述产品或服务可以实现全景图像的采集与拼接，但多数没有实现全景图像与地图数据的一体化处理，存在数据更新慢，维护成本高的缺点。另外，在上述服务商发布的全景地图中还存在一些技术细节问题，例如数据的表现形式及存储结构等。良好的界面设计可以给用户带来更好的体验，而合理的数据结构设计可以避免用户在全景地图漫游时出现过度延迟或不连续的情况。

3 全景地图的关键技术

3.1 采集器设计

全景地图系统的数据采集通常采用车载全景采集器的方式进行。全景采集器的设计是保证全景图像质量的重要环节。由于全景采集器中的图像传感器成像点相距很近，因此可用于摄影测量的基线较短，而全景图像采集多用于街道、旅游景点、高速公路等实景拍摄，采集作业时物距较大，因此采集器的设计优先考虑全景图像的质量和拼接效果。全景采集器的基本构成包括数码相机、GPS接收机、时间同步器以及护罩四部分组成。为了更好地跟踪视点位置，捕获连续的GPS信号，通常还附加陀螺仪和加速计等惯导设备。由于采集的全景图片通常采用相同的图像配准与拼合参数进行批量处理，因此车载全景采集器须满足以下特定要求:

(1)全景相机拍摄的水平视域角度之和大于360°，并且相邻相机必须存在较大的视域重叠区域；

(2)全景相机拍摄的垂直视域角度达到或接近180°；

(3)相邻相机拍摄的视角之差保持相等；

(4)GPS接收机位于各相机焦点的重心位置；

(5)具有一定的防震和防抖动功能。

在全景武汉(http://pano.vrwuhan.com)的具体研发过程中，为了实现采集的垂直视域角度满足或接近180°，采用鱼眼镜头作为全景图像的采集设备。鱼眼镜头具有超广角特性，水平和垂直视角均接近180°。全景采集器主要由4台Nikon D90单反相机(配有SIGMA 8mm鱼眼镜头)、GPS接收机、云台、防护罩、计算机控制系统等组成。采集控制系统集成了WHCORS(武汉市连续运行卫星定位服务系统，Continuous Operational Reference System)和SNTP(简单网络协议，Simple NetWork Time Protocol)。由连接到WHCORS的GPS接收机提供定位信息并精确同步授时，以保证多台相机能够在同一时刻完成拍摄工作。全景采集器的相机装置设计及外观如图3所示。

图3 全景采集器相机装置设计及外观图

时间同步器的精确授时和控制系统是实现全景数据与GPS位置数据一致的重要保障。它根据系统的局域网环境和采集设备，综合利用网络时间同步技术、串口数据通信技术、多线程技术、高精度定时器技术等加以实现。具体技术路线如下:

(1)采用C/S(客户端/服务器)体系架构。系统局域网内架设一台SNTP时间服务器，使用串口数据通信技术，从GPS获得高精度的时间信息，为全景图像此采集设备提供高精度时间校准服务；

(2)根据相机提供的开发包，利用多线程技术编写全景图像采集程序，实现全景图像的同步采集；

(3)采用操作系统提供的高精度定时器，实现固定时间间隔的不间断全景数据采集。

精确授时误差设计为1毫秒，这样就保证了运载工具在高速运行时的数据采集质量。控制器可以设置相机拍摄时间的间隔。如可设置拍摄时间间隔为2 s，并可通过适当控制车速实现每个视点的距离在10 m～15 m。全景照片文件以精确至毫秒的即时时间命名，以便根据GPS点的时间属性建立视点位置与全景照片的一一对应关系。

整个采集控制系统采用两层体系架构进行设计，具体设计如图4所示。

图4 全景地图采集系统设计图

3.2 全景图像拼接技术

全景技术本质上是一种基于图像的虚拟现实技术，它的基本数据为全景图片库。全景图片通常采用鱼眼镜头拍摄。鱼眼镜头上下和左右的视角一般接近180°，使用该镜头拍摄的地物在图像中表现出非常鲜明的纵深透视效果。将全景图片无缝拼接，然后将拼好的360°全景图投影到相应的多面体上，假设视点在多面体的中心，视点所观察的场景即为该位置的真实场景。360°全景图投影的多面体多为球体、立方体或圆柱体，球体和立方体能够完整地反映整个视域范围。基于场景的多视点全景图像漫游[1]是全景技术与电子地图融合应用的关键所在。

全景图像拼接的过程主要包括图像序列获取、选取投影模型、图像配准、图像融合四个过程。本项目在投影模型选取上主要采用球型全景和立方体全景。球型全景的视觉效果较好，但网格划分与渲染过程比立方体全景复杂得多，效率相对也较低；立方体全景计算相对简单，但视觉效果一般，数据处理过程也相对复杂。因此，投影模型的选取主要取决于全景的应用特点及网络环境。基于特征点的图像配准将首先从图像上选取特征点，然后对两幅图像的对应点进行匹配，由匹配的特征点信息计算图像转换参数，从而按转换关系拼接整个全景图像序列。常用的特征点包括Harris、KLT、SIFT等。本项目采用SIFT(Scale Invariant Feature Transform)方法进行特征点进提取。该方法性能较高，且不受图像旋转变换、缩放变换的影响，也不受图像本身色差、噪声的影响，能较好地应用于全景图像的拼接。图像融合主要采用多分辨率样条法。该方法是1983年由Burt Adelson提出。其主要思想是先构建图像的金字塔，将输入图像分解成一系列不同频段的带通层，然后对不同频率带通层在边界处分别进行拼合，得到拼接图像的带通层，由拼接图像的带通层组合得到最终拼接图片。因为是在不同频段进行的图像拼接，所以能避免图像的叠影。由于图像的分解和组合是一个无损互逆的过程，即原始图像分解能得到带通层，带通层组合能得到原始图片，所以用这种方法得到拼接图像能保证其正确性。

4 数据处理与系统发布

4.1 数据处理

全景地图数据处理须首先制定全景图像、空间定位数据与电子地图的接口规范，主要指制定适用于全景图像、空间定位数据以及电子地图数据一体化处理的流程与规范，其中还包括处理过程中的主要算法设计，例如空间定位数据与道路数据的容错尺度规定与拟合算法、GPS点的抽稀和内插、每个GPS点的视线角度计算、道路交叉口的多方向全景数据调度、根据时间匹配原则对GPS数据与全景数据进行选取等。全景图像和GPS点的数据处理是全景地图系统的核心部分。其中全景图像拼接采用基于区域的配准和特征点匹配技术[2]。GPS数据处理主要通过采用基于距离的线性内插法进行内插，然后根据精确授时系统和控制系统进行自动匹配。全景地图系统的数据处理流程如下:

(1)图像拼接。为了实现全景图像的无缝拼接，相邻两幅图像必须存在视觉重叠区域，该重叠区域表达相同的地物内容。图形拼接的目的就是自动查找相邻两幅图像中匹配的内容，然后确定它们的相对位置，从而将两幅图像拼合起来；

(2)GPS数据内插。首先根据相机控制系统的时间设置计算所需内插的GPS数据点个数。如果运载工具配备陀螺仪和加速计等惯导设备，可以通过计算运载工具的方向和速度对GPS数据进行内插。如果未安装惯导设备，也可以通过采用基于距离的线性内插法进行处理。内插后的GPS点与全景图像形成一一对应关系；

(3)GPS数据抽稀与再匹配。对于运载工具可能遭遇堵车或红绿灯的情况，需要对内插后的GPS点数据进行抽稀。抽稀过程采用基于距离和特征点(例如路口)的方法进行处理。例如在保留道路交叉口GPS点的前提下，删除间隔距离小于8 m的GPS点数据。根据抽稀后的GPS点数据读取并保存全景图像文件；

(4)视角计算。由于视点的前进方向总是沿着道路的方向，因此当用户移动视点至某一个特定的地理位置时，视角中心线须与道路方向一致。除道路交叉口以外的GPS点均需进行视角计算，计算方法采用计算相邻两点之间的正切值得出每个视点的视角；

(5)道路交叉口处理。为了保证全景浏览时真实地反映路口的场景，需对视点在道路交叉口时的前进方向进行单独计算。每个方向的计算方法同(4)；

(6)镜像变换。为了将拼合好的全景图像投影到相应的多面体内部，首先将图像进行镜像变换，然后采用纹理映射的方法将全景图像映射到多面体上，这样位于多面体中心的视点所观察的场景为完整的真实场景。

其中，全景图像拼接技术是全景地图系统的关键技术。图像拼接首先配准相邻图像的重叠位置，具体方法可采用模式识别法[3]。然后根据配准后相邻图像的特征点再进行拼接。全景图拼接的算法非常多，常用的包括灰度相关匹配法和特征相关匹配法[4]。由于全景图像在拍摄时各个方向的光线强度差异，配准后的图像经过拼接后有时会出现较明显的亮度差异。通常采用颜色拟合的方法调整相邻图像的亮度差。图像拼接和颜色拟合的具体算法可参见文献[3，4，5]。全景图像的拼接效果如图5所示。

图5 全景图像的拼接效果图

4.2 系统发布

全景地图系统要求制作出的全景图像能使用浏览器进行浏览。用户对虚拟全景空间的观察与感知体现在对视觉一致性有不同要求的三个方面:

(1)观察视点空间中某一焦距的全景，包括环视、仰视、俯视；

(2)全景图空间中不同细节程度全景之间的切换，即变焦观察；

(3)全景图之间的空间变换，即在虚拟全景空间中的运动观察。

本项目的全景图像发布采用Eclipse作为开发环境，使用Flex技术和PV3D(PaperVision3D)框架完成程序开发工作。PV3D是著名的Flash 3D免费开源引擎，同时也是一个基于ActionScript的开源项目，目的在于实现更加绚丽美观、功能强大的Flash 3D Web应用程序。同时，全景地图发布过程中还使用了Tween-Lite类库。TweenLite是一个非常快速的、轻巧、灵活和高效的缓动引擎类库，也是一个基于ActionScriptde的开源项目，它可以对任何一对象随时间推移实现模糊、渐变、旋转等多个属性的功能。全景地图的浏览正是利用其特性，在场景漫游和切换中实现了渐进、模糊和自动旋转等效果。全景图像发布软件的设计流程如图6所示。

图6 全景图像发布软件的设计流程图

在全景地图制作过程中，首先将拼合并经过镜像变换的全景图像纹理映射到球体，将视点置于球体中心位置，然后通过不间断的变换视点实现场景的平滑漫游效果。当视点前进时，视角方向通常保持一致，因此视域范围内的地物并未发生过多改变，发生明显改变的是地物的距离感。采用图像放大与渐变技术可实现场景的平滑漫游。由于采集的GPS点(包括内插点)位置之间并没有严格的距离间隔，图像过渡时的放大倍数通过实时计算相邻点的距离获得。视点发生位置变换的同时，将地理位置数据同步与电子地图进行通讯，实现全景浏览器与电子地图的位置匹配。同样，当用户在电子地图上平移视点时，位置信息同步传输至全景浏览器。全景地图系统的发布效果图如图7所示。

图7 全景地图系统的发布效果图

5 总结及发展趋势

全景地图是近年来地理信息系统发展的一个热点方向，它实现了基于图像的虚拟现实技术，给人以身临其境的感受。全景地图系统一体化研究的理论与方法涵盖了图像处理技术、通讯技术以及空间信息技术。这些成果将对虚拟现实的进一步发展提供理论基础和实践方案。同时，全景地图系统也是数字城市建设的重要组成部分，它不仅对政府监管部门在道路养护、城市管理以及安保任务执行等方面具有辅助作用，同时还能为社会公众的出行提供便利。建立基于时空数据模型的城市实景数据库，可以对不同时代的城市面貌起到较好的记录作用，对分析城市变化，研究城市发展进程具有重要意义。全景地图系统的发展趋势主要包括以下方面:

(1)全景视频技术。全景视频技术是指在全景图像的采集频率达到或超过24FPS时实现的场景平滑漫游技术，该技术能给用户带来更流畅的用户体验；

(2)全景时空模型。将时空数据模型应用于全景数据结构，使全景地图系统能够记录城市不同阶段的历史变迁；

(3)基于全景的虚拟现实技术的进一步发展。随着空间定位技术和信息技术的快速发展，基于全景的真三维场景漫游必将成为全景技术的发展趋势。

[1] 李怡静，张剑清.多视点全景图与平滑漫游的研究与实现[J].计算机工程，2009，35(12):187～191

[2] 李艳丽.全景图生成技术研究[D].2007，11～30

[3] 刘翔，增芬芳，高世峰等.基于IBR技术的全景图生成[J].华东船舶工业学院学报:自然科学版，2001，15(1): 32～37

[4] 雷震，李东，吴玲达.基于粒子群优化和互信息量的全景图拼接算法[J].计算机仿真，2009，26(4):256～258

[5] 安维华，付永刚.采用分段插值的球状全景图自动拼接方法[J].计算机工程与应用，2009，45(13):34～37

Research of Panoramic Map in Urban Geographic Information System

Li HaiTing1，2，Zhang Miao1，Peng QingShan1
(1.Wuhan Geotechnical Engineering and Surveying Institute，Wuhan 430022，China； 2.Wuhan University Key Laboratory of Digital Mapping and Land Information Application Engineering，Wuhan 430079，China)

With the further development of GIS technology，panoramic map has become an important part in urban geographic information system.According to the development practice in Wuhan public map network(http://www.vrwuhan.com)construction，this paper elaborate the design idea of panoramic equipment，analysis the image mosaic method and the interface between images and digital map.Finally，this paper give the specific publishing process of the whole system.

Urban Geographic Information System；panoramic map；data collect；image mosaic

1672－8262(2010)03－39－05

P235.2

B

2010—12—13

李海亭(1980—)，男，博士，主要从事电子地图的发布技术研究。

数字制图与国土信息应用工程国家测绘局重点实验室开放研究基金(GCWD200903)