一种均匀分布匹配点的无人机低空影像匹配方法

王亮亮

(中国铁路设计集团有限公司，天津 300251)

无人机系统具有结构简单、成本低、风险小、灵活机动、实时性强等优点，已在多个行业中得到广泛应用[1]。影像匹配是将无人机应用于各行业的关键，基于特征的影像匹配方法具有稳定性强、对噪声不敏感等优点[2]。其中，点特征定位精度高，是目前最常用的匹配方法。Lowe于1999年提出尺度不变特征转换(SIFT)算法[3]；加速特征提取(SURF)算法由Bay等在SIFT算法的基础上改进，可加快特征检测、特征描述速度，提高特征匹配效率[4]；随着无人机影像分辨率的不断提高，传统SURF算法的弊端也逐渐显现，其提取的特征点冗余度大，且位于特征明显处，(如山区的山脊山谷线、房屋角点、交叉点等)，若以此为样本集求解转换参数，易造成局部最优而整体效果较差，进而影响图像配准、图像拼接等后期工作的精度[5]。

研究表明，影像配准精度取决于控制点的空间分布质量。因此，可通过空间分布约束来获取均匀分布的特征点。SEDAGHAT等提出均匀分布鲁棒性SIFT(UR-SIFT)算法，首先确定特征点的总数量，再通过计算图像内极值点数目、对比度均值和熵均值自适应控制尺度空间每层影像子块的特征点数量，是一种较好的控制特征点均匀分布算法[6-7]； SOURABH PAUL等改进UR-SIFT算法，在特征点筛选阶段提出分布特征选择(DFS)算法，提高了特征点的分布质量[8]；AMIN SEDAGHAT等将UR-SIFT的思想应用于SURF算法中，在每一组尺度空间将影像划分为规则格网，取强度排序靠前的特征点，使检测的特征点在影像空间内趋于均匀[9]。但由于子块图像信息的不均匀性，格网内保留的特征点仍然分布不均。

在SURF算法特征描述方面，AMIN SEDADGHAT等认为描述旋转不变特征降低了其区分能力，缺失部分空间信息增加了错误描述的几率[10]；在特征匹配方面，ZHANG SHENG等利用双向匹配策略，提高了传统SURF算法的配准速度和精度[11]；周亮君等针对基于普通PC架构的图像处理速度较慢，难以满足图像数目多、分辨率大、达不到实时性要求等问题，提出基于图形处理器(GPU)的快速图像处理方案，并实现GPU并行加速的图像处理[12]；AMIN SEDAGHAT等在影像中提取Harris、UR-SIFT、MSER 3种类型的特征点，基于聚类的方法对参考影像在每一个簇中进行一致性检测，使用局部仿射变换模型不断剔除误差最大的关键点，使得剩余匹配点对的RMSE<1[13]。由此可见，增加约束条件的特征匹配可以获得更好的结果。

基于以上研究，提出一种均匀分布U-SURF(U U-SURF)算法，并选取4组不同序列的无人机高分辨率影像进行实验分析，证明该方法在无人机影像匹配中的适用性。

1 传统SURF算法

1.1 特征点检测

“SURF”算法中，引入积分图像和框状滤波器来改进SIFT算法的特征检测过程。在建立影像金字塔时，通过改变滤波器尺寸，使算子具有尺度不变性。影像金字塔的每一层都计算Hessian矩阵检测极值点，图像I(x，y)中的点x在尺度σ处的Hessian矩阵为

(1)

式中，Lxx(x，σ)为高斯函数二阶偏导数和图像的二维卷积。

1.2 特征点描述

SURF算法中，计算特征点邻域范围内点在正交方向的Harr小波响应值，可选择高斯加权累加后小波响应最大值矢量方向作为关键点的主方向，以保证算子具有旋转不变性。以特征点为中心，扩散20s×20s(s为特征点尺度)的正方形邻域范围，分为4×4的方格区域，计算每个方格(5s×5s范围)的Harr小波响应，将相对于主方向的正交方向的小波响应值记为dx、dy，以高斯加权后Harr小波响应及其绝对值的累加值作为一个四维描述向量(∑dx，∑dy，∑|dx|，∑|dy|)。最终，每个特征点形成64维描述向量。

2 U U-SURF算法

2.1 特征提取

无人机低空遥感影像空间分辨率较高，但地物纹理特征不均匀，在纹理信息密集区域，提取的特征点数量过多，则容易产生聚簇现象。潘建平等采用图像分块策略改善提取特征点分布的均匀性[14]；JHAN等通过计算不同波段无人机遥感影像在SURF算法特征提取的累积分布函数，确定阈值与检测特征点数量的关系，根据累积分布函数曲线自适应确定阈值，控制提取特征点的数量，但没有使特征点均匀分布[15]。

信息熵常被用于图像包含信息量丰富程度的度量，特征点匹配可能性与特征区域的信息熵之间有很大的相关性，正确匹配概率随着特征点附近区域信息量的增加而增大。

图像的信息熵E定义为

(2)

式中，k为图像包含的灰度级；pm为整幅图像中灰度值为m的像素出现的概率。

“U U-SURF”算法中，将待检测影像进行分块，以每个子块作为算法输入，影像块总数量为n，单幅影像提取的特征点总数量为N，根据影像子块信息熵确定在子块中获取的特征点数量。则

(3)

(4)

式中，W为影像宽度；H为影像高度；WG为格网尺寸；Ei为影像中第i个子块的信息熵值；Ni为每个子块预先确定的检测点数量。

为使影像中每个子块都可以检测到一定数量的特征点，宜设置低阈值进行特征提取，在每一个影像子块中，引入四叉树索引和最优化筛选策略，确保影像块内保留特征点的空间均匀分布，同时兼顾特征点稳定性。四叉树索引和最优化筛选策略的步骤如下。

①设该图像块为一个整体，即四叉树的初始节点，得到初始的四叉树结构； ②将初始节点划分为4个子节点，若子节点中无特征点，则删除该节点，否则将节点再次划分成4个子节点； ③重复进行步骤②，直至节点总数量不小于该图像子块设置的特征点提取数量Ni，或者达到最大的节点个数，不再进行节点划分； ④在每个节点代表的矩形区域内，将特征点根据响应值排序，保留稳定性高的特征点。

四叉树划分特征点的过程见图1，其中，(a)表示将图像块作为四叉树的初始节点；(b)表示初始四叉树结构的第一次划分；(c)表示在子节点有特征点的情况下继续划分；(d)中可以看到部分节点中不包含特征点，没有继续划分；(e)表示该图像块保留一定数量特征点的四叉树划分结果。

图1 四叉树划分特征点示意

2.2 特征描述与匹配

无人机影像获取过程中，通过预先设计飞行路线，使无人机拍摄影像曝光点位于航线上。理论上，相邻影像同名点邻域的特征不存在旋转变换。摄影测量规范规定像片旋角一般不大于15°，且随着无人机技术的不断发展，无人机飞行更加稳定，序列相邻影像之间的旋转角可以忽略。实验发现，在无人机序列相邻影像匹配过程中，U-SURF算法可以获取到更多的粗匹配点。

无人机影像中，高空间分辨率特征使得特征匹配异点同质现象更为明显，双向匹配策略可以在很大程度上消除该影响，去除大量误匹配点对。熊威等设置劳氏比例阈值为0.65，利用比值提纯法筛选特征点[16]；SOURABH PAUL等对SAR影像采用交叉匹配策略进行初匹配，利用快速随机一致性算法进行提纯，计算局部仿射转换模型剔除误匹配点对[17]。为提高匹配点对的特征强度，U U-SURF算法中，设置比例阈值为0.6，并对匹配点对进行双向匹配。

2.3 匹配点对均匀分布

研究表明，匹配点对空间分布对基础矩阵的估计非常重要，保证匹配点的空间分布质量有利于提高基础矩阵评估的正确性，提高匹配正确率[18]。提出根据匹配点对的行列坐标值进行均匀分块的方法，将待配准影像按一定的分块间隔进行坐标区域分块，每一块中保留性能评价最高的匹配点，达到匹配点对的均匀分布。假设某坐标区域内有m个特征点，以特征点的海森矩阵响应值、邻域信息熵和相似性距离归一化加权和作为评价指标，响应值表达特征点稳定性，相似性距离大小表示匹配点对特征的相似性程度，而邻域信息熵代表特征点周围信息的丰富性。

记fj为区域内每个特征点的得分值，Hj、Ej、Dj分别为特征点归一化的响应值、信息熵值和相似性距离，则

fj=WHHj+WEEj+(1-WH-WE)Dj，j=1，2，…，m

(5)

式中，WH、WE分别为特征点响应值和邻域信息熵的权重因子。

影像匹配的精度和鲁棒性取决于同名点对的分布质量，依据特征点的空间分布和信息可熵计算空间分布质量(DQ)[19]，计算公式为

(6)

(7)

式(7)中，wi为第i个特征点的权重；以待配准影像中特征点的局部邻域信息熵作为权重。

2.4 误匹配点剔除

影像匹配精度取决于控制点的精度和分布质量，为进一步提高同名点对的精度，需要进一步筛选。基础矩阵F可以描述两幅影像之间的匹配关系，在空间几何上反映点和直线的极线约束关系，其不受地物地形起伏的影响，可保留数量较多的匹配点。定义基础矩阵与匹配点对之间的计算公式为

X′TFX=0

(8)

(9)

式(9)中，(x，y)为基准图像的点；(x′，y′)为目标图像的点；f11～f33是模型参数，一般采用8点法计算基础矩阵。

为衡量提高匹配点对均匀分布质量能否获取稳定性高的基础矩阵，采用匹配正确率(CMR)对极线约束效果进行评价[20]。使用均方根误差(RMSE)评价影像匹配精度，RMSE越小，表明匹配精度越高[21]。

3 仿真实验及结果

3.1 实验数据

选取4组不同地物类型的无人机序列影像进行实验，各取1对相邻影像进行匹配研究，影像详细参数见表1， 4对影像的待匹配图像见图2。

表1 影像详细参数

3.2 U-SURF算法与SURF算法对比结果

分别利用U-SURF算法和SURF算法进行特征匹配，统计其特征检测点平均数量和粗匹配点数量，结果见图3(a)。可以明显看出，U-SURF算法在4对不同地物类型的影像中粗匹配点数量均高于SURF算法，体现出无人机序列影像匹配中该方法的适用性。为进一步证明U-SURF算法提高匹配点数量的效果，从4组序列影像中各随机选取20对相邻影像进行初匹配，结果平均值见图3(b)。忽略各组影像之间检测点数量、粗匹配点数量的不一致性，仅对U-SURF算法和SURF算法粗匹配点数量进行对比，可认为U-SURF算法更适用于无人机序列影像特征匹配。

图3 SURF、U-SURF算法粗匹配数量对比

3.3 U U-SURF算法影像匹配结果

以影像对c为例，分析U U-SURF算法在特征点均匀性分布、匹配点均匀性及配准精度等方面的优势。SURF算法、U U-SURF算法在待匹配影像中提取特征点的分布情况见图4。可以看出，SURF算法提取的特征点集中在特征明显的区域，道路、田地等纹理特征相似区域无特征点；而U U-SURF算法提取的特征点分布较均匀，即使在纹理信息缺乏或噪声干扰较大的区域，也可以提取一定数量的特征点。

图4 特征点分布情况

特征点提取之后，需要进行粗匹配、精匹配等过程并筛选出质量好的同名点对，不同算法特征匹配效果对比见表2。U U-SURF算法参数设置：WG=200，N=10 000，WH=0.3，WE=0.3。

表2 不同算法特征匹配效果对比

从表2可以看出，“U U-SURF”算法控制特征提取数量，且低阈值双向匹配会严格限制粗匹配点数量，均匀分块策略在兼顾匹配点分布均匀性的同时，将每一块内加权分值最高的点保留，从而提高了匹配点对的空间分布质量，得到的基础矩阵更稳定，提高了匹配正确率和匹配精度。

3.4 U U-SURF算法影像匹配对比结果

基于U-SURF算法和本文提出的“U U-SURF”算法，对4对不同类型的无人机影像匹配结果进行对比，设置影像分块间隔200，U-SURF算法中海森矩阵阈值为800，“U U-SURF”算法阈值为100，控制特征点数量N=10 000，在双向匹配约束后进行匹配点对均匀分块提取的间隔为20，匹配结果见表3。

表3 不同地物类型影像匹配对比结果

由表3可知，相较于U-SURF算法，“U U-SURF”算法在4对不同类型的无人机序列相邻影像匹配中都有一定程度的优势。

a对影像地物类型是地形复杂的山区，山脊沟谷线处灰度变化明显，双向匹配策略得到较为精确的匹配点，与SURF算法相比，匹配点对大幅度减少，但正确率提高6.2%，匹配精度提高0.064。

b对影像地形平坦，地表裸露，且地表受侵蚀有少量的坑，灰度变化不明显，纹理特征十分相似，SURF算法特征检测数量少，包含较多错误点对；而“U U-SURF”算法提高了检测点数量，严格的筛选策略极大地提高匹配点的质量和正确率，匹配正确率达到88.4%，匹配精度提高了0.041。

c对影像由大量低矮房屋覆盖，中间有一条道路贯穿，两侧有小块农田、林地，房屋角点特征强度大，两种算法匹配正确率接近，“U U-SURF”算法提高了匹配点的分布质量，进而提高了匹配精度。

d对影像纹理特征弱，双向匹配策略消除大量误匹配点，分块策略大幅提高了匹配点对的分布质量，匹配精度提高了0.114。

为进一步验证“U U-SURF”算法在无人机序列影像匹配中的适用性，分别从4组序列影像中随机选取20对相邻影像进行影像匹配实验，结果均值见表4。

表4 不同序列影像在U U-SURF算法下匹配结果均值

4 结论

针对高分辨率无人机遥感影像匹配过程，在分析无人机影像特点的基础上，提出一种均匀分布匹配点的“U U-SURF”算法。实验分析得到以下结论。

(1)无人机序列影像特征匹配过程中，忽略特征点的主方向能够提高匹配点对数量，以提高特征点区分性。

(2)“U U-SURF”算法可以在影像纹理信息缺乏的区域提取出特征点，并保证特征点的均匀分布，提高了匹配点对的空间分布质量。

(3)“U U-SURF”算法在计算效率、匹配正确率、匹配精度等方面均有一定的优势，且对不同地物类型的影像均有较好的适应性。