改进SIFT的倾斜无人机影像匹配方法

张占平，武风英，包鹏章

（1.青海省基础测绘院，青海 西宁 810001）

倾斜摄影测量技术通过在航空测量平台上搭载不同视角的传感器同时获取地物更加精准的信息，为智慧城市的三维重建提供丰富的侧面纹理信息，成为城市三维重建数据采集的热点技术[1]。但不同视角的倾斜影像间存在局部几何形变大、旋转角度大、影像地物遮挡等问题，为多视角、多航带间影像的匹配带来挑战[2-3]。因此，如何快速获取可靠、准确的同名点成为制约倾斜航空摄影测量技术发展的问题。

传统的具有尺度、旋转不变性的SIFT匹配算法应用在几何形变较大的倾斜无人机影像存在较大问题：①匹配同名点较少、分布不均匀。②影像分辨率高，导致影像上存在大量相似或重复场景利用局部特征描述子，计算获取同名点的误匹配率增大。③算法内存消耗较大、计算效率低。针对倾斜无人机影像局部几何形变较大问题，文献[4-6]提出POS与DEM辅助下的倾斜影像匹配算法，利用DEM数据纠正倾斜影像，该方法在弱纹理或影像存在大量相似区域匹配结果较差。文献[7]通过透视变化对影像进行预处理消除不同视角间影像存在的尺度、旋转及几何变形，一定程度上提高匹配的正确率；针对同名点分布不均匀问题，文献[8]对特征点提取算法进行改进，提出利用影像信息熵的方式控制特征点的分布；文献[9]通过划分影像格网的方式确保特征点的分布均匀；针对同名点的误匹配率较高问题；文献[10]采用一种从粗到精的匹配策略，通过多重约束提高同名点的匹配正确率，但该方法在初始匹配正确率较低时，计算出错误的约束条件可能导致最终的匹配结果更差；文献[11]通过对匹配正确率较高的点进行分块构建多个基准点与基准方向，多条件约束初始匹配结果，为后期空三处理提供可靠的同名点；文献[12]提出渐进式的匹配方法，通过初始匹配同名点集构建Delaunay三角网，采用局部几何纠正的方式纠正影像，结合特征点的主方向、局部Ransac剔除误匹配点的方法提高匹配精度。

针对上述问题，本文提出一种稳健的倾斜无人机影像匹配算法，该方法从影像预处理、特征提取、特征匹配3个方面进行改进。利用影像自带的POS数据与公开的DEM数据对影像进行几何处理，消除影像的几何变形差异；通过影像分块与影像信息熵结合的方式控制特征点的数量与分布；采用约束、引导结合的匹配策略进行同名特征点的提取。

1 基本原理

倾斜影像倾斜角度与旋转角度较大等特点给其影像匹配带来了极大的困难，致使配准点对少、误匹配多等问题。针对以上问题，采用先纠正后匹配的处理方法。

1.1 POS数据约束下的影像正射纠正

影像对应的POS数据记录了获取数据时刻影像粗略的位置和姿态信息、以及空开的SRTM数据。

1）利用影像的粗略的外方位角元素构建影像的旋转矩阵R，以及外方位线元素构建平移向量T，在影像上均匀选取25个像点坐标利用投影关系（1）将影像上的点分别投影到SRTM上。

式中， a1、a2、a3、b1、b2、b3、c1、c2、c3构成旋转矩阵R；Xs、Ys、Zs构成平移向量T。

2）通过求解25个点的像方坐标与对应的物方坐标，依据映射模型（2），利用最小二乘算法求解投影模型参数F；依据投影模型参数将影像的四角点的物方平面坐标（Xi、Yi），分别求取立体影像对对应地面点的最小外界矩形覆盖的地面区域。

式中，x、y为像方坐标；X、Y为对应的物方坐标；m0、m1、m2、n0、n1、n2为投影模型参数。

3）为了保证投影后影像的几何特征不变，利用相机焦距与航高参数计算影像的水平纠正的分辨率，依据此分辨率在纠正后的影像上物方坐标（X,Y）应用投影模型参数F反算到像方，并在像方进行双线性内插求取对应的像素值。纠正效果见图1。

图1 近似水平纠正

1.2 分块提取特征点

文献[9]分析SIFT算法在提取特征点时容易出现弱纹理或纹理单一区域特征点数量较少甚至没有特征点，而纹理丰富区域出现大量多余的特征点的情况。因此，提取足够数量且分布均匀的特征点能有效地提高匹配算法的效率。根据纠正后影像重叠区域大小均匀划分影像块的大小，并利用影像块的信息熵确定影像块内的特征点的数量。重叠区域内所有特征点的数目为PNum由格网的大小和重叠区域影像大小共同 决定。

式中，W为影像重叠区域的宽度；H为影像重叠区域的高度；wg为格网分块的大小。wg的取值较小，会导致特征点数量较多，匹配耗时；wg的取值较大时，导致匹配结果较差。本文选取wg为45，首先根据1.1部分确定倾斜影像近似正射纠正的影像映射关系Hl、Hr计算影像的重叠区域A；然后计算重叠区域内影像信息熵与每块影像信息熵，根据公式（4）计算该影像块内分配的特征点的数目。针对Harris角点对尺度变化因子差异较大、且对噪声敏感问题，本文采用文献[13]所提出的尺度自适应的Harris特征点提取算法，进行Harris角点提取。

式中，Numi为第i影像块内提取特征点的数量；Si为第i影像块对应的影像信息熵。

1.3 多层次约束的匹配策略

不同视角的倾斜无人机影像虽然经过近似正射纠正，特征点均匀分布处理误匹配难以避免。文中采用一种多层次自适应约束的匹配策略，利用Ransac算法计算影像的仿射变换矩阵F，在剔除误匹配点的同时估算纠正后影像的仿射变换矩阵及初始同名点，然后根据新的F在影像的局部区域进行二次匹配，以确定更多的匹配同名点，并对新增的同名点使用LSM匹配方法提取精确的同名点。主要包含以下3个步骤：

1）初始匹配，根据特征点的描述子，利用双向最邻近与次近邻的比值法（NNDR）计算获取初始匹配，为保证匹配足够多的同名点，NNDR的取值为0.85。

2）仿射变换模型引导匹配，如图2所示，对待匹配影像上任意特征点a1采用仿射变换模型参数F计算配准影像上像素点a2，以a2为圆心，根据影像POS数据的精度，通过设置局部搜索半径r（本文r=40pixel）保证了特征点的唯一性，虽然仿射变换是一种二维影像映射模型，但无人机影像覆盖区域较小，局部区域地形或地物高度变化不会太大，因此可以获得正确的匹配点对。

图2 仿射变换模型引导匹配

为有效剔除匹配点中存在的误匹配点，基于公 式（5）的仿射变换模型误差一致性检查，对仿射变换模型引导匹配获取的匹配点重新计算仿射变换模型参数a10、a11、a12、b10、b11、b12，其中xref、yref为参考影像的像点坐标，xinp、yinp为仿射变换模型计算出的待匹配影像的像点坐标。采用均方根误差作为匹配精度计算以及误匹配点自动剔除的依据（剔除误差大于3倍均方根误差），计算公式如（6）所示，其中N为匹配 点数。

3）精匹配阶段，采用文献[14]提出的立体影像LSM匹配算法，通过LSM 迭代方法来补偿同名像点的定位误差，同时剔除不能正确收敛的点，对正确的同名点进行精确定位，优化特征匹配结果。

2 实验与分析

2.1 实验数据

为了验证本文提出算法对于影像几何变形大、存在大量相似纹理的倾斜无人机影像匹配的有效性。所有的实验程序都是在系统环境为win7 操作系统、16G内存、i7-CPU，VS2010的开发环境下进行。本文采用多旋翼无人机上搭载的5个相机拍摄西宁某区域的多视影像数据，影像大小为5 456像元×3 632像元，相对航高约为320m。利用ENVI软件在每组立体影像对上人工均匀选取20组同名点，然后采用仿射变换模型方法计算仿射变换模型参数作为影像间的模型变换参数，最后按公式（6）统计匹配精度。从匹配时间、匹配精度和匹配正确率3个方面评价匹配算法。其中正确匹配点数与初始匹配的点数的比值表达算法的匹配性能，比值与算法的性能成正比[15]。倾斜影像的匹配主要包括不同视角和相同视角两大类，其实相同视角下的下视与下视影像的几何畸变较小采用SIFT的匹配算法得结果满足实际应用的需求。因此，本文选取3张影像组成2组实验进行：①下视影像与倾斜影像1；②下视影像与倾斜影像2。对2组实验分别利用ASIFT算法、本文算法的匹配结果进行综合对比分析。实验统计结果为程序运行20次的平均 结果。

2.2 结果与分析

两种匹配算法对应的匹配结果见图3，并统计结果的匹配正确率、匹配时间以及匹配精度见表1，由图4 及表1可知：①两组测试数据采用本文方法获得匹配正确率比传统的ASIFT算法分别高8.32%、7.62%，且获得的同名点对分布更加的均匀，第二组效果相对第一组较差因为第二组为不同视角获取的倾斜影像视角差别较大；②由于ASIFT算法通过模拟不同角度获取的影像匹配效果较好，但算法复杂度高计算效率低，本文算法约为ASIFT算法的效率的350倍，匹配效率大幅度提高；③从算法的匹配精度来说，本文提出的算法的匹配精度优于ASIFT算法达到亚像元的 高精度。

图4 2组数据匹配结果

表1 两组数据对应两种匹配方法的结果

图3 实验数据

通过两组实验数据的对比可知，利用公开的SRTM数据结合影像的POS数据对倾斜影像进行近似水平纠正，可以消除倾斜数据间的几何变形，使算法间接具有与ASIFT算法相同的仿射不变性，获得准确的匹配结果。通过多层次的约束匹配策略进一步提高本文方法的匹配正确率，结合最小二乘匹配方法提高同名点定位精度。

3 结 语

针对倾斜影像存在较大的视角差异以及几何变形导致难以获取稳定的同名点问题，本文提出一种稳健的倾斜影像匹配算法。该方法通过DEM数据辅助处理原始倾斜影像数据，消除影像的仿射变形问题，再对重叠区域的影像均匀分块确保同名点分布均匀，最后通过多层次的匹配约束策略获得较好的匹配结果。下一步将针对影像局部仿射畸变不一致问题进行研究，优化整体进行近似水平纠正策略，进一步减少影像的几何变形的影响。