天地一体全景影像快速获取与应用技术

余建军，徐攻博，郭望成，叶嘉琦，李 杰

(1. 浙江省地理信息中心，浙江 杭州 310012； 2. 浙江省第二测绘院，浙江 杭州 310012)



天地一体全景影像快速获取与应用技术

余建军1，徐攻博2，郭望成2，叶嘉琦2，李 杰2

(1. 浙江省地理信息中心，浙江 杭州 310012； 2. 浙江省第二测绘院，浙江 杭州 310012)

天地一体的高分辨率全景影像快速获取与应用技术，采用移动采集车、船舶、定制背包等多种交通设备载体，以及普通相机、定制化全景相机和GPS、运动传感器等配套设备，快速地获取空中、地面、水面等复杂场景的高分辨率全景影像。本文利用全景拼接融合软件、FlyPano处理软件、Krpano发布软件实现了全景影像实时处理与发布，同时结合天地图、行业应用系统接口等，提供了API接口形式与专业应用进行结合与集成，真正实现了复杂场景的全景影像标准化、规模化生产，以期在各行业中得到快速应用。

天地一体；全景影像；FlyPano；无人机；Krpano

全景影像具有全视角、虚拟真实和高现势性的特点，已经逐渐成为一种新颖的地理信息数据，与传统测绘和地理信息产品互为补充。全景影像的获取方式多种多样，谷歌与腾讯等互联网公司采集方式较为单一、应用主要面向公众，而缺少与行业结合的深入应用。全景技术在20世纪60年代就开始得到应用，ФТ全景转机是苏联自己设计和研发并大量制造推向市场的最早的全景相机[1]。目前工业化生产比较成熟的全景相机有ladybug系列相机，其中高分辨率ladybug5相机分辨率为3000万像素，全景的采集方式和新设备不断出现，如德国Panono公司开发出一种抛向空中、在最高点拍摄全景照片的球形相机Panono的改良版，分辨率达到1亿800万像素[2]。同时全景影像开始与激光点云结合，实现了集成激光扫描仪及全景相机的多传感器城市实景移动测量系统[3]。

政府及行业的应用有自身的特点和需求，对于影像的分辨率，拍摄的地物随着全景影像应用面越来越广泛，采集设备需要满足在多种环境和条件下进行作业，如空中、路面、室内、乡村小道、河面、山上、景区等。对于相机的便携性要求、采集效率、系统稳定性、后期数据处理的快速便捷性等方面都提出了更高的要求。天地一体全景技术的研发，使全景数据更好地融入基础地理信息数据主流，为传统测绘提供了一种去专业化的面向公众的表达形式。

1 全景采集技术

1.1 单站式

全景影像属于共心图像，多幅图像同用一个摄影中心，拍摄时相邻图像保证重叠度达到30%。单站式全景采集技术是最为传统的全景摄影技术，采集设备主要有单反相机、鱼眼镜头、全景节点云台、三角架及相关的配套设备。为保证后期照片拼接精度，需保证不同角度照片的拍摄必须在同一个摄影节点，即为镜头的光学中心。每个型号的镜头都只有一个摄影节点，全景节点云台能精确控制相机的拍摄方向和拍摄位置，同时确保拍摄时处在同一个摄影节点上。利用鱼眼镜头建立全方位视觉系统[4]。单站式全景采用一个单反相机和全景云台(如图1所示)完成采集，云台实时地调整相机的朝向，并保证曝光时为同一光学中心；曝光参数可根据环境自行设置，虽然效率较低，但视觉效果比较好，是一种精细化的全景，适合于各种可达性场地拍摄。

图1 全景拍摄原理与云台实现共心曝光

1.2 全景相机

普通的相机在同一位置拍摄多张照片也可以合成全景，但是采集效率低，每张照片的曝光时间不一致。利用6个相机组合成一个全景相机，将全景相机、GPS设备、车轮传感器、曝光控制器等进行集成控制，各个装置通过中心控制器进行信息通信与信息采集，制作成可以快速采集影像与空间位置信息的全景采集设备，全景相机的控制系统如图2所示。

图2 定制全景相机控制系统

车轮传感器主要用来将车辆与主控制器进行连接，实现全景相机按照距离进行曝光，曝光距离可以在5～20 m之间进行调整，车辆的行驶速度保持在30 km/h。曝光距离不能太小，曝光时间间隔太小可能引起相机故障。曝光控制器控制相机的各种不同曝光方式，可依据时间、距离、手动曝光等方式进行曝光。定制全景相机采集影像的分辨率与饱和度较高，具备快速、大批量高分辨率全景影像数据采集能力，同时方便自动及半动化全景影像快速处理，后期影像经过正畸后进行相机位置标定后，对各个相机照片进行融合拼接。该全景相机及相关设备可搭载于普通车辆、船舶等多种载体(如图3所示)进行全景数据的采集。

图3 全景相机搭载于三轮车、皮划艇、汽车

1.3 无人空中全景

无人机是一种由无线电遥控或由自身程序控制的不载人飞行器，与卫星遥感，航空航天遥感相比，无人机低空遥感系统灵活、机动，能云下作业，受天气影响小，飞行高度低，获取的地理信息数据具有高精度、高清晰等优点，因此，无人机低空遥感技术广泛应用于局部区域的监测和地理信息获取。

无人机是空中全景数据采集的主要设备，空中全景具有分辨率高、场景大，视角范围广，以及能更好地显示立体三维效果的特点。空中全景影像数据采集主要使用无人直升机，以无人机航拍的同一视点的照片素材为基础[5]，一张全景影像像素达到3.2亿像素。空中全景摄影系统基本构成包括旋翼无人飞行平台、任务设备、飞行导航与控制系统、地面监控系统、数据传输系统及图像处理系统等。空中全景采集技术除载体为无人机外，基本原理与单站式采集相同，但航拍拍摄范围大，视觉效果比地面要好。

2 全景处理步骤与原理

天地一体的全景数据来源可分为两种基本类型，以定制全景相机采集的标准分幅影像和以普通相机采集的非标准分幅影像，分别采用模板与自动匹配拼接的方式生成全景图。全景影像需要经过预处理、拼接融合、调色、纠偏、人脸车牌隐私处理、空间坐标处理、切片发布、系统集成等一系列处理步骤，主要步骤与过程如图4所示。

2.1 全景拼接融合

目前图像配准的方式大致可以分为3大类：基于变换域的方法、基于灰度相关的方法和基于图像特征的方法。基于图像特征的拼接方法是目前图像拼接最常用的方法[6]。基于特征的图像配准算法有：基于边缘特征的配准方法、基于轮廓特征的配准方法、基于区域特征结构的配准方法、基于特征点的配准方法。其中基于特征点的配准方法与其他算法相比具有诸多优点：计算量低、配准精度高、噪声的影响小等，因此成为目前图像的配准算法。

图4 天地一体全景处理流程

对于不同类型的全景采集方式，采用不同拼接融合方式，全景相机采集图片为标准分幅的6张照片，相机型号、鱼眼镜头及ISO、快门、光圈等曝光参数均保持一致，影像数据量大，通过制作拼接模板的形式统一进行拼接融合。通过单张影像特征点匹配，人工辅助添加控制点的形式，以制作模板，将制作的模板应用于同一工程，现势性低时认为相机相对位置不发生变化，采集间隔较长时全景相机之间相对位置会发生形变，需要制作多套模板。使用模板方式拼接融合全景主要步骤包括载入图像、镜头设置、投影模型选择、控制点设置、蒙版、优化处理、输出图片。在实际使用中，最为重要的几个步骤为投影模型选择、控制点设置和蒙版。可以根据图像的实际情况添加需要的控制点，使图像的拼接效果更加完美。如图5所示。

图像拼接是全景图生成技术中最为重要的步骤之一。图像拼接的流程主要分为3个阶段：图像预处理阶段、特征匹配阶段和图像融合阶段。图像处理阶段包括预处理和提取图像特征两部分。在特征匹配阶段的主要工作是剔除误匹配点且对提取出的特征点进行匹配。图像融合阶段对图像重叠部分进行平滑处理，使获得的最终图像有更好的视觉效果。图像配准和图像融合是图像拼接涉及的两个关键技术。精确找出相邻两张图像中重叠部分的位置，确定两张图像的配准函数映射关系是图像配准的关键。图6为空中全景拼接效果。

图5 全景控制点匹配与添加

图6 空中拍摄全景拼接效果

2.2 隐私处理

全景最终发布在互联网或局域网，人脸与车牌涉及个人隐私，需要对这些隐私信息进行识别与处理。利用机器学习方法，从大量的训练样本中自动抽取特征，在图像中将行人与其他运动目标及干扰背景区分开来，并准确定位[7]。通过模式识别机器学习算法进行识别，然后对人脸与车牌进行高斯模糊处理。全景图像与普通图片存在差异，拼接融合后全景图片属于圆柱投影，变形较大，球赤道位置无变形，越接近极点变形越大，顶部和底部的极点拉升成与球赤道长度相等的直线。图形图像学中模式识别一般针对普通图片，设计了一种针对全景影像进行隐私处理的方法。方法针对容易误识的路牌、斜视角的车牌等进行几何变换识别，整体识别精度为80%左右。如图7所示，基于模式识别的隐私信息处理步骤如下：

Step1:人脸车牌正、负样本的采集；

Step2:形态学处理及仿射变换；

Step3:cnn卷积神经网络样本机器学习；

Step4:基于纹理共生矩阵、harr特征检测的图像特征提取；

Step5:模式识别决策树构建；

Step6:人脸车牌识别与高斯模糊。

图7 人脸车牌信息处理结果

2.3 发布集成

全景影像圆柱投影图片作为成果，采用球形投影方式进行发布展现，每一曝光位置对应一幅全景影像，单点之间通过热点进行链接。单幅全景数据量较大，空中全景数据一般为地面全景的3～4倍，为保证全景浏览效率，采用二维地图切片技术，基于四叉树将图片分级切片，每一级图幅数均为上一级的4倍，原理效果如图8所示。

图8 基于四叉树的图像切片原理

测绘与地理信息数据表现形式具有多样化的特点，传统测绘与地理信息数据(如4D产品)表达抽象、专题信息丰富，但专业化程度高，不够直观。全景影像的特点正好与这些数据产品或衍生产品互为补充。全景图切片在浏览器前端组合，通过Html5及Flex的富客户端技术，浏览时只调用某一个级别范围内的切片，达到实时浏览的效果，以球形投影、立方体投影或小行星投影表现，利用krpano提供的二次开发接口，以及Web网页开发技术，结合天地图接口等，将全景与天地图、视频、POI等进行集成，部署于云服务器，并提供基于全景的API开发接口，在其他系统中也能调用全景进行浏览和功能展现。如图9所示。

图9 全景与其他信息集成展现

3 展 望

天地一体全景影像快速获取与应用技术，实现了多方位的高分辨率全景影像数据快速采集、处理与发布。全景影像作为一种新颖的地理信息数据形式，可以作为传统地理信息数据的重要补充,可服务于国土、旅游、水利、交通等多个行业，在“五水共治”、浙江美丽乡村建设、浙江省山塘水库监测、德清数字社区建设、浙东引水工程及浙江省地理国情普查等多个项目中得到应用，既可以作为一种新的基础地理信息数据，又可作为立面的历史影像数据进行留存，同时还能与业务数据进行集成，深入开发应用展示与管理系统。

[1] 田金良.前苏联最早3P全景相机-ФТ系列转机[J].照相机,2009(12)：87-88.

[2] 抛到空中拍照的球形全景相机.传感器世界[J].2014(1)：48-48.

[3] 宋杨.基于RIEGLVZ-400及Ladybug3全景相机的移动激光测量系统的研制及应用[J].城市勘测，2014(2)：91-95.

[4] 冯为嘉,张宝峰,曹作良. 基于鱼眼镜头的全方位视觉参数标定与畸变矫正[J].天津大学学报，2011,44(5)：417-424.

[5] 杨学军,崔丛健.全景采集技术在外业调查中的应用探讨[J]. 交通科技与经济，2015(2)：125-128.

[6] 周智勇,丁玉兰.基于多旋翼无人机的空中全景地图制作研究[J]. 城市勘测，2016(2)：101-104.

[7] 张景辉,熊自明.基于无人机的空中全景监测系统[J]. 中国电子商情：通信市场，2011(6)：125-129.

[8] 张敏,刘军,罗颖. 无人机航拍合成球面全景技术研究[J].警察技术，2014(3)：63-66.

[9] 金淼,易爱华,朱家文,等.历史保护建筑的三维全景展示研究[J].土木建筑工程信息技术，2013,5(2)：37-40.

[10] 闫利,王奕丹.车载组合全景相机单片影像匹配算法[J]. 遥感信息，2016, 31(2)：1-5.

[11] 李乐,熊志辉,王斌,等. DSP+FPGA折返射全景视频处理系统中双核高速数据通信[J].电子与信息学报，2010(3)：649-654.

[12] 李海亭,李艳红,彭清山,等.全景地图隐私信息处理的关键技术研究[J].测绘通报，2015(12)：74-76.

[13] 朱齐丹,李科,雷艳敏,等.基于全景视觉的机器人回航方法[J].机器人，2011,33(5)：606-613.

[14] 张春梅,杨志敏,张义明,等.太原市全景地图数据采集与发布[J]. 城市勘测，2013(4)：29-32.

[15] 熊秋林,叶春,段福洲,等.基于JavaScript和Ajax技术的车载全景地图发布[J].地理空间信息，2013, 11(5)：155-157.

Rapid Acquisition and Application of Air and Ground Panoramic Images

YU Jianjun1,XU Gongbo2,GUO Wangcheng2,YE Jiaqi2,LI Jie2

(1. Geomatics Center of Zhejiang, Hangzhou 310012, China; 2. The Second Surveying and Mapping Institute of Zhejiang Province, Hangzhou 310012, China)

The technology of rapid acquisition and application of air and ground panoramic images uses a variety of transportation equipment carriers, such as mobile collection vehicles, ships, and customized backpacks, combined with other ancillary equipment like ordinary cameras, customized panoramic cameras, GPS, and motion sensors, so that high-resolution panoramic images of air, ground, water or other complex scenes can be quickly obtained. Panoramic images can be processed and released in real time using panoramic images mosaic and fusion software, FlyPano processing software, and Krpano releasing software. This technology is also capable of integrating with professional applications in API forms combined with Map World or other application system interfaces. The standardized and large-scale production of panoramic images of complex scenes can be truly achieved using this technology, so that it has a very good application in various industries.

air and ground; panoramic image; FlyPano; UAV; Krpano

余建军，徐攻博，郭望成，等.天地一体全景影像快速获取与应用技术[J].测绘通报，2017(7)：103-107.

10.13474/j.cnki.11-2246.2017.0233.

2016-12-02；

2017-03-07

余建军(1973—)，男，硕士生，主要从事地理信息、摄影测量与遥感工作。E-mail：105586765@qq.com

P237

A

0494-0911(2017)07-0103-05