无地面控制的无人机影像全自动快速拼接

陈继溢，孙杰，张力，许彪，唐晓霏

（1.中国测绘科学研究院，北京100830；2.湖北省测绘工程院，武汉430074）

无地面控制的无人机影像全自动快速拼接

陈继溢1，孙杰1，张力1，许彪1，唐晓霏2

（1.中国测绘科学研究院，北京100830；2.湖北省测绘工程院，武汉430074）

为了满足地理国情监测、灾害应急保障需要快速响应和服务的应用需求，该文提出一种无地面控制的无人机影像全自动快速拼接方法。该方法利用尺寸不变特征匹配和相关系数匹配获取分布均匀且高精度的像点观测，通过自由网光束法平差获取定向参数和加密点物方坐标，最后通过结合影像的色彩一致性处理和顾及重叠的面Voronoi图接缝线网络快速拼接获取测区影像图。实验结果表明：所提出的方法可有效解决无人机影像的快速拼接问题，获取的影像图具有较高的拼接精度，同时色彩过渡自然。

无人机影像；SIFT匹配；自由网光束法平差；影像色彩一致性处理；快速拼接；无地面控制

1 引 言

无人机低空航测遥感具有机动快速响应、任务执行灵活、高精度影像获取等特点，已被广泛应用到地理国情监测、灾害应急保障、地形图测绘、农业、林业、电力等领域。随着硬件系统的不断发展与成熟，海量影像数据的快速获取已成为可能，但如何有效解决无人机低空影像重叠度不规则、像幅小、旋偏角大、畸变明显问题，快速获取满足业务部门各种应用需求的成果数据具有重要的现实意义，同时也是目前的研究热点。

针对无人机影像的快速拼接问题，目前大多数处理方法都是采用不同的优化算法在像方空间做尺度不变特征匹配（Scale－invariant feature transform，SIFT），然后根据匹配的同名点进行全景拼接。刘民选［1］着重研究了无人机影像同名点匹配策略和基于GPU的加速方法；胡庆武等［2］采用基于SIFT特征的单应约束影像匹配算法，计算相邻影像的最优变换矩阵，采取多分辨率融合拼接全景影像；宫阿都等［3］首先进行数据分块，其次运用SIFT算子对分块影像进行自动拼接，最后基于辅助数据对分块拼接影像进行整体二次多项式纠正。上述方法本质上都是基于像方空间的拼接，对同名点匹配精度和分布的依赖性较高，另外，如果测区地形起伏较大可能会出现明显的拼接错位；刘春等［4］提出基于光束法平差的无人机影像快速拼接方法，并推导了相应的数学模型，但仍然依赖于稀少控制信息。

本文针对地理国情监测、灾害应急保障等应用需求，提出一种无地面控制的无人机影像快速拼接方法。该方法通过结合SIFT特征匹配、相关系数匹配、分级多层金字塔影像匹配等策略获取分布均匀且高精度的像点观测；利用自由网光束法平差获取影像的定向参数和加密点物方坐标；加密点三角构网并内插获取数字高程模型DEM，利用数字微分纠正获取单片正射影像；最后通过结合基于Wallis滤波器的整体匀色处理和顾及重叠的面Voronoi图接缝线网络［5］快速拼接获取测区影像图数据。

2 无人机影像全自动快速拼接

目前，无人机飞行作业时可获取航摄影像及概略的导航POS数据，两者和相机参数作为快速拼接的原始数据；其次，通过初始匹配和数据整理建立测区航带列表；然后进行自动空三处理获取影像的外方位元素和加密点的物方坐标；最后纠正拼接处理获取测区影像图数据。本文方法的总体流程如图1所示。

图1 快速拼接总体流程图

2.1 初始匹配

（1）SIFT特征匹配

1999年，Lowe提出SIFT算法［6］，并于2004年进一步改进该算法，它是一种基于尺度空间的影像局部特征描述算子，对影像的旋转、尺度缩放、仿射变换等保持一定程度的稳定性，可作为较理想的无人机影像初始匹配方法。

利用SIFT进行影像匹配主要分为特征点探测、特征点描述、特征点匹配、误匹配点粗差剔除4个部分。实际应用中为了提高匹配速度，SIFT特征匹配在金字塔影像上进行，同时利用导航POS数据结合全球航天飞机雷达地形测绘使命（Shuttle Radar Topography Mission，SRTM）数据计算目标影像的邻接关系以确定搜索影像。误匹配点粗差剔除使用模型参数为透视变换的随机抽样一致性（Random Sample Consensus，RANSAC）方法［7］。

（2）相关系数匹配

尽管SIFT特征匹配具有很多优势，但其特征点定位精度不高，特征分布存在不均匀的现象。为了提高匹配精度同时保证匹配点的均匀分布，本文基于SIFT特征匹配的结果，利用在影像上按规则格网提取的Harris特征点进行更高精度的相关匹配以获取初始匹配像点观测。

无人机影像存在旋转、变形等问题，而在级别较高的金字塔影像上可认为其“视差”具有分段连续平滑的特点。因此，相关匹配时可利用透视变换重采样搜索窗口的灰度数据，变换参数的计算基于目标点邻近匹配成功的SIFT特征点。

通过SIFT特征匹配和相关系数匹配，可获取点位分布和精度均较为理想的初始匹配点。一方面可用于自由网光束法平差的像点观测数据，另一方面，可作为后续分级多层金字塔影像匹配的初值使用。

2.2 测区整理

无人机机载飞行控制系统的POS数据记录了像片摄影时的概略外方位元素，测区整理时基于摄站的三维坐标（X，Y，Z），同时根据摄影曝光时间的先后顺序排列影像。算法的基本原则为：航带内相邻像片的方向向量与航带方向的向量积为正，如图2（a）、图2（b）所示。具体步骤如下：

（1）依次计算相邻两张像片摄影中心的方向向量并单位化，记为：

（3）对下一个摄站点，计算向量积s：

（4）根据s判断摄站点的航带归属：

s＞0，将该点加入到当前航带，同时更新航带方向向量

其中，→lnew为更新后的航带方向向量，同时将其单位化，m为当前航带内的像片数量。实质是将航带内所有相邻像片方向向量的加权值作为航带的方向向量，进而增强航带方向计算的稳健性和适用性；

s≤0，当前航带创建完成，重复上述步骤（2）～步骤（4）创建下一航带直至判断完所有摄站点的航带归属。

图2 航带排列

航带创建完成后，根据其位置关系及初始匹配结果进一步判断像片的旋转方式以完整测区整理。图3是某测区12条航带共计1963张影像的自动整理结果，为显示需要，图中为摄站点抽稀显示结果。

图3 测区自动整理结果

2.3 自动空三

分布均匀、密集且高精度的像点观测对于快速拼接目的而言具有重要意义，主要表现在两方面：①提高自由网光束法平差的精度与可靠性，同时有利于像点观测粗差的自动定位与剔除；②自由网加密点坐标通过三角构网及内插可获取测区的DEM，其描述地形地貌的精细与否在一定程度上影响拼接影像图的精度。因此，为了获取高密度、高精度的像点观测，本文采用分级多层的金字塔影像匹配策略。

（1）自由网光束法平差

光束法平差是空中三角测量中最严密的一步解法，可同时获取影像的外方位元素和加密点的物方坐标。光束法平差中影像坐标观测是未知数的非线性函数，因此，需反复迭代趋近直至收敛为止。

由于受到各种因素的影响（遮挡、重复纹理、阴影等），自动匹配获取的像点观测中不可避免的存在粗差，平差迭代计算过程中自动检测并剔除粗差是保证平差结果精度与可靠性的关键。因此，本文选用从稳健估计法出发导出的丹麦法LD1权函数［8］，主要基于两方面的考虑：①无需计算多余观测分量，以节省计算时间；②大量密集且分布均匀的像点观测使得平差系统的平均多余观测分量很大（0.9以上）且分布均匀，从平差系统的可靠性理论来说，粗差能够得到很好地监控。

（2）分级多层金字塔影像匹配

本文采用基于物方的铅垂线轨迹法（Vertical Line Locus，VLL）［9］实现从粗到精的金字塔影像匹配策略，如图4所示，其处理过程如下：

图4 VLL法影像匹配

①确定待匹配目标点最低高程Zmin、最大高程Zmax及高程搜索步距ΔZ。最上级金字塔影像匹配时直接利用2.1节中的初始匹配结果，后续各级影像需重新提取均匀分布的Harris特征点；

②根据目标点平面坐标（X，Y）与可能的高程Z依次重采样搜索影像并计算相关系数（ρ1，ρ2，…，ρn）；

③取相关系数最大值ρk对应的高程ZK及像点作为正确的匹配。

另外，多层分级金字塔影像匹配时可根据实际需求设置指定的金字塔匹配级数，提高自动空三的处理效率，进而减少快速拼接的整体处理时间。

2.4 快速拼接

快速拼接影像图主要分为三步：首先，三角构网并内插自由网光束法平差的加密点物方坐标可获取测区的DEM；其次，数字微分纠正获取单片纠正影像；最后，单片纠正结果经色彩一致性处理后拼接获取测区影像图数据。

对于植被、建筑物较为密集的城区来说，为了避免单片纠正影像中地物地貌的扭曲变形，需要对空三加密点进行滤波处理，本文选用稳健性、适用性均较为理想的渐进加密三角网滤波算法［10］。

潘俊详细研究了用于大范围影像镶嵌处理的接缝线网络自动生成的顾及重叠的面Voronoi图。顾及重叠的面Voronoi图允许面之间具有重叠，是对重叠区域归属的重新划分，且这种划分是没有冗余的、无缝的。具体的拼接线生成方法主要分为三步：①跟踪单片纠正影像有效区域的外部轮廓多边形；②计算重叠影像间的平分线；③根据与当前影像具有重叠的影像间的平分线，依次对其有效范围进行划分。拼接线自动生成过程如图5所示，该方法整体考虑了拼接范围内的所有影像，其处理结果与影像顺序无关，适用于大范围的影像自动拼接处理。

影像色彩一致性处理方面本文选用基于Wallis滤波器的整体匀色处理［11］，色调统计参数利用全测区所有影像，以最大程度上保证拼接影像图的整体色彩一致性。另外，为保证拼接线附近色彩过渡自然，选用模版羽化［11］方法对拼接线附近的色差进行过渡处理以获得最终的无缝拼接影像图。

图5 Voronoi多边形生成示意图［5］

3 实验分析

为了验证本文拼接方法的有效性和适用性，选取平坦地形和高山地两个测区进行实验分析，测区基本信息及快速拼接处理概况如表1所示。

图6（a）和图6（c）分别为两个测区自由网加密点DSM晕渲显示结果，图6（b）和图6（d）分别为三角构网并内插DEM的晕渲显示结果。其中，测区I为城市地区，其DSM为利用渐进加密三角网滤波后的结果。从图中可以看出，利用本文方法自动获取的DSM和DEM能够较为精细地描述测区的地形地貌信息，进而验证了2.3节的自动空三策略能够匹配出密集、分布均匀且高精度的像点观测以及自由网平差的有效性。

表1 测区信息

图6 DSM和DEM晕渲结果

图7为经色彩一致性处理和顾及重叠的面Voronoi图接缝线自动生成方法拼接的测区影像图。从图中可以看出，利用本文方法自动拼接的影像图具有较高的拼接精度，主要地物无明显拼接错位，整体色彩一致性较好，由于拼接影像定向参数的解算是基于严格的共线条件方程，因此对各种地形地貌的测区具有一致的适用性。

4 结束语

本文提出一种无地面控制的无人机低空影像全自动快速拼接方法。通过采用SIFT特征匹配、分级多层金字塔影像匹配等策略，可获取分布均匀、密集且高精度的像点观测；影像外方位元素利用最为严格的光束法平差计算获得，不仅能够有效保证拼接精度，同时还适用于各种类型测区的拼接任务需求；通过结合影像的色彩一致性处理和顾及重叠的面Voronoi图接缝线网络自动生成方法，可获取无缝、整体色彩一致的拼接影像图。

通过具体的实验分析，验证了本文所述快速拼接方法的有效性和适用性。航带自动整理算法目前不适用于带构架航线或十字交叉飞行的测区，后续研究中需对其加以优化改进。另外，由于拼接线自动生成算法直接基于物方坐标信息，并未顾及影像的纹理及拼接线是否避开人工建筑物等问题，如何智能快速地选取拼接线以获取更高精度的拼接影像图是后续研究的重点。

图7 拼接影像图

［1］ 刘民选.无人机影像全自动快速拼接［D］.北京：中国测绘科学研究院，2012.

［2］ 胡庆武，艾明耀，殷万玲，等.大旋角无人机影像全自动拼接方法研究［J］.计算机工程，2012，38（5）：152－154.

［3］ 宫阿都，何孝莹，雷添杰，等.无控制点数据的无人机影像快速处理［J］.地球信息科学学报，2010，12（2）：254－260.

［4］ 刘春，李巍岳，雷伟刚，等.光束法自由网平差的无人机影像严格拼接［J］.同济大学学报，2012，40（5）：757－762.

［5］ 潘俊.自动化的航空影像色彩一致性处理及接缝线网络生成方法研究［D］.武汉：武汉大学，2008.

［6］ LOWE D.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ HARTLEY R，ZISSERMAN A.Multiple view geometry in computer vision［M］.London Cambridge University Press，2000：219－243.

［8］ 李德仁，袁修孝.误差处理与可靠性理论［M］.武汉：武汉大学出版社，2002.

［9］ 张剑清，潘励，王树根.摄影测量学［M］.武汉：武汉大学出版社，2010.

［10］ 管海燕.LiDAR与影像结合的地物分类机房屋重建研究［D］.武汉：武汉大学，2009.

［11］ 孙明伟.正射影像全自动快速制作关键技术研究［D］.武汉：武汉大学，2009.

Full－automatic and Fast Mosaicking of UAV Images Without Ground Control Data

CHEN Ji－yi1，SUN Jie1，ZHANG Li1，XU Biao1，TANG Xiao－fei2
（1.Chinese Academy of Surveying and Mapping，Beijing100830；2.Hubei Institute of Surveying and Mapping，Wuhan 430074）

For the demand of geographical conditions monitoring and disaster emergency security，this paper presents an automatic and fast method for mosaicking UAV images without ground control data.First，high density match points are obtained by SIFT matching and correlation coefficient matching.Then it acquires the orientation parameters of each image and three－dimensional coordinates of the match points using bundle adjustment.After the color consistency processing，it quickly mosaick the ortho－image of the whole zone based on the seamline network automatically generated using area Voronoi diagrams with overlap.Experiments of two different kinds regions which are mountainous area and flat area show that the given method can efficiently solve the problem of fast mosaicking of UAV images with good precision and nice color consistency.

UAV image；SIFT matching；bundle adjustment；color consistency process；fast mosaicking；without ground control

10.3969／j.issn.1000－3177.2015.02.004

TP751

A

1000－3177（2015）138－0026－05

2014－04－22

2014－07－01

国土资源部公益基金资助项目（201111010－6）。

陈继溢（1990～），男，硕士，主要从事无人机影像快速拼接及正射影像智能镶嵌研究。

E－mail：whulife＠gmail.com