一种基于邻域投票的异源光学影像SIFT匹配误差剔除方法

沈宇臻，李百寿，李灵芝，杨 禄

(桂林理工大学测绘地理信息学院，广西 桂林 541004)

近些年，高分遥感技术迅速发展，多平台、多角度、多时相、多分辨率的卫星遥感数据广泛应用于各个领域。空间遥感平台所携带的不同成像传感器获取的地面信息因其成像方式、使用的电磁波及分辨率的不同，所反映的地面情况也不同。多源高分遥感影像精确配准是各类遥感数据综合应用的前期工作[1-2]，而异源高分遥感影像匹配是光学影像融合等处理的前提和基础[3-4]。

异源遥感影像由不同种类遥感平台，如航天平台、航空平台、无人机低空平台等不同分辨率传感器、不同时相高分遥感影像构成。由于多源高分影像集数据量大及多源影像成像条件和获取场景的复杂性，传统的中低分辨率影像配准方法难以很好地解决高分影像特征的匹配问题[5]。

异源高分影像匹配是高分遥感影像处理中的关键问题，同样也是关键技术之一，目前针对异源高分影像匹配的研究工作有限。ZHANG L[6]等通过几何条件约束的相关算法实现了多基线条件下的影像匹配，这种方法在匹配时需要较为精确的外方位元素作为初始条件。吕倩利等[7]利用双向匹配策略代替传统的单向匹配策略，以提高异源遥感影像间的匹配精度，但增加了影像匹配时间。李映等[8]通过同名直线构建控制点来获得同名点，从而实现了可见光图像与SAR图像匹配，但由于异源影像中获得足够同名点集较为困难，因此匹配精度受到所构建的同名直线精度的影响。戴激光等[9-10]利用几何约束模型及同名直线构建匹配模型，并且利用RANSAC误差剔除完成异源影像匹配。Bin Du[11]等通过影像局部特征，细化多源图像之间的特征相关性，实现了影像匹配。Li Haichao[12]等从频率域出发提出通过相位信息从粗略到精细的配准方法，首先通过傅里叶极化变换和基于相位一致性的相位校正来实现粗略配准，再通过将大图像分割成块来实现精配准。

综上所述，由于异源影像的成像机理、影像分辨率、时相、成像姿态等因素的影响，目前异源影像的匹配精度下降。为了提高匹配精度与效率，进而达到实时匹配的效果，需要匹配方法[13-14]、模型[15-16]、策略[17-18]的改进。在所有的匹配方法中，SIFT检测算法具有良好的稳健性，对影像旋转、尺度缩放、亮度变化等都保持不变性，适用于异源影像匹配。但由于SIFT算法中利用特征点描述子欧氏距离对特征点进行唯一性描述进行匹配，会有一些错匹配特征点，同时由于异源遥感影像的分辨率、时相、空间旋转差异性较大，仅利用欧氏距离作为匹配的准则导致粗匹配点与误差大点产生的原因，因此本文重点放在采用SIFT算法完成匹配后，利用邻域投票剔除误差较大的粗匹配点，分别对影像中的建筑物、水体、道路3种主要地类进行匹配精度分析研究，进行本文方法的精度与性能评价。

1 基于SIFT算法的特征匹配

SIFT(scale-invariant feature transform)是一种用来探测和描述影像中的局部特征的算法，其由David Lowe[19]在1999年发表，2004年完善总结。SIFT算法主要分为SIFT特征生成和SIFT特征向量匹配两部分。

1.1 SIFT特征生成

SIFT特征生成分为4个部分，分别为尺度空间极值检测、关键点定位、关键点主方向的确定、特征描述子的生成。

1.1.1 尺度空间极值检测

尺度空间极值检测的目的是通过高斯微分函数识别潜在的对于尺度和旋转不变兴趣点。通过高斯模糊构建一副影像的尺度空间，利用式(1)建立一个图像模糊模板，利用这个模板遍历整幅影像上的像素单元并分别与每个像素单元做卷积，得到模糊后的图像。

(1)

式中，σ为正态分布的方差，σ值越大，图像则越模糊；(x,y)为模糊模板元素平面坐标；m×n为二维模板大小。

模糊模板的大小根据标准差σ的取值来定，由于在计算高斯函数离散近似时，认为3σ之外的像素不起作用，可以忽略，通常保持(6σ+1)×(6σ+1)大小的模板矩阵即可保证像素的相关性。

尺度空间L(x,y,σ)的构建是通过二维图像I(x,y)与一个变化尺度的高斯函数G(x,y,σ)的卷积来创建的，即

L(x,y,σ)=G(x,y,σ)×I(x,y)

(2)

式中，(x,y)为二维图像坐标；G(x,y,σ)为特定σ下的二维高斯函数；σ为尺度空间因子(即正态分布方差)。

SIFT算法中极值点的检测是通过高斯差分金字塔(DOG)来完成的，如式(3)，由高斯金字塔中相邻不同尺度空间的影像之差而得到新的影像。

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)
=L(x,y,kσ)-L(x,y,σ)

(3)

式中，k为常数，用以区别σ。

为了保证高斯差分金字塔中尺度空间的连续性，遍历影像上每一个像素点需与该幅影像上周围相邻点及相邻尺度空间的影像相邻点作比较，假设该点图像域上周围8个相邻点都存在，则其需要与2×9+8=26个相邻点作比较，认为在该局部的最大值点与最小值点为局部极值点。

1.1.2 关键点定位

由于尺度空间检测出的极值点是在离散空间的极值点，通过拟合三维二次函数来确定关键点的准确位置和尺度，差分高斯函数D(x,y,σ)在其局部极值点(x0,y0,σ0)处的泰勒展开式为

(4)

式中，X=(x,y,σ)T。对式(4)求导并使方程等于0,即可得出极值点的准确位置，即

(5)

(6)

(7)

S(H)=Dxx+Dyy=a+b

(8)

det(H)=DXXDyy-DxyDyx

(9)

式(8)中，S(H)表示矩阵H的对角线元素之和；a、b为Hessian矩阵的特征值，分别代表x和y方向的梯度。式(9)中det(H)表示Hessian矩阵的行列式。不稳定的边缘响应点是该点在某一方向的梯度值越大，而在另一方向的梯度值越小，因此建立一个评判准则和阈值判断一点是否为不稳定的边缘响应点，现假设a为Hessian矩阵中较大的特征值，而b为较小的特征值，并令a=rb，则有

(10)

式中，当r值越大时，其比值也越大，该点在某一方向上面的梯度值越大，也越可能是需要剔除的不稳定的边缘响应点。综上，可按评判准则，如式(11)，判断一点是否为不稳定的边缘响应点。

(11)

式中，Lowe将r取值10。当关键点满足式(11)则保存该点；反之，则认为其是不稳定的边缘响应点，剔除。

1.1.3 关键点主方向的确定

为每个关键点赋予一个主方向是为了实现旋转不变形，利用图像的局部特征给每个关键点赋予一个主方向，通过式(12)、式(13)分别求出关键点在邻域窗口的梯度模值和方向。

m(x,y)=

(12)

Q(x,y)=tan-1((L(x,y+1)-L(x,y-1))/

L(x+1,y)-L(x-1,y)))

(13)

式中，L中的尺度空间值为每个关键点所对应的尺度空间值。

在SIFT算法中，以关键点为中心的邻域窗口中采样，并且以直方图统计邻域窗口内像素的梯度模值和方向，梯度直方图中将0°～360°分为36柱，每柱10°。长度代表像素的梯度模值大小，直方图中的峰值方向作为该关键点的主方向，超过峰值模值80%的方向作为关键点的辅方向，辅方向的目的是为了增强匹配的稳健性。

1.1.4 特征描述子的生成

描述子的目的是对特征点的唯一性进行描述，特征描述子是以特征点为中心，划分一个4×4的区域，每个区域又划分4×4个小正方形块，设每个区域内有一个种子点，将0°～360°划分为8个柱，每柱45°，同样利用式(12)、式(13)计算8个方向上的累加模值，这样就可以在每个区域得到8个方向的累加模值信息，总共有4×4=16个区域，每个区域有8维特征信息，该特征点共有4×4×8=126维特征信息，称这128维特征信息为该特征点的描述子，因为每个特征点的描述子利用周围像素信息来加以辅助表示，每个特征点的描述子具有高度唯一性，可以很大程度上增强匹配的稳定性和抗噪能力。

1.2 SIFT特征向量匹配

首先，对基准影像与待匹配影像上提取的特征点建立描述子集合，即在待匹配影像上建立一个n×128的集合矩阵，在基准影像上建立一个m×128的集合矩阵，n、m分别为待匹配影像与基准影像所提取的特征点数目。两点之间的相似性度量以欧氏距离为准则。设待匹配影像有特征点R，其描述子为Ri=(ri1,ri2,…，ri128)。基准影像上有特征点S，其描述子为Si=(si1,si2,…，si128)。则R与S之间的欧几里得距离为

(14)

(15)

2 邻域投票误差剔除

2.1 剔差原理

本文方法在尺度不变特征变换的基础上，加入邻域投票对粗匹配后的结果进行精细匹配，将错匹配率较大的匹配点对剔除，对特征点进行邻域投票分析，重新选择正确匹配点，保留匹配精度较高的匹配点对和重新选择正确的匹配点对。

由于正确的匹配特征点周围存在同样正确特征点概率比错误匹配特征点周围存在正确匹配特征点的概率要大很多，所以本文方法核心思想是通过匹配点周围的其他匹配点的局部方向和距离对该匹配点的贡献，并以此为准则，设定一个方向阈值和距离阈值，然后判断在基准影像与待匹配影像上的对应匹配点的方向相关度与距离相关度是否超出所设定的方向阈值与距离阈值，若方向相关度与距离相关度都在所设阈值内，则认为两点为正确的匹配点对，反之，应当剔除。如图1、图2所示。

图1 剔差前基准影像示意图

图2 剔差前待匹配影像示意图

图1中点A、B、C为基准影像的粗匹配点，图2中点a、b、c为待匹配影像的粗匹配点，点A-a、点B-b、点C-c为剔差前的匹配点对,(x,y)为各个匹配点对应的像素坐标。则有

Δθ=θb-θa

(16)

(17)

dot1=dot(im1(xA,yA),im2(xa,ya))

(18)

dot2=dot(im1(θA),im2(θa))

(19)

式中，a、b为同幅影像上的两个粗匹配点；(xa,ya)及(xb,yb)分别为a、b两点的位置信息；θa、θb分别为两点的主方向。(xA,yA)与(xa,ya)为左右影像一对匹配点，θA与θa分别为两点的方向值，dot1与dot2是经过归一化处理之后的距离内积值和方向夹角内积值。设定方向阈值和距离阈值分别为Td和Tθ,则当满足dot1

2.2 方法步骤

邻域投票误差剔除具体步骤如下：

(1) 通过遍历待匹配影像上所有特征点128维描述子与基准影像上所有特征点128维描述子作内积运算，求对应反余弦值，并利用最近欧氏距离与次最近欧氏距离比值得到粗匹配点对。

(2) 给定一个方向阈值Td和距离阈值Tθ，方向阈值与距离阈值的取值原则是根据多组试验取得效果最佳的阈值，经多组试验证明，当Td=0.5、Tθ=0.5时，剔差之后仍存有较多误匹配点对存在，当Td=0.3、Tθ=0.3时，剔差之后所剩匹配点对极少，本文中取Td=0.4、Tθ=0.4。

(3) 对待匹配影像与基准影像上所有的粗匹配点利用式(16)、式(17)求任意同幅影像上两点的方向与距离差异，即得到任意两点的距离模值与主方向夹角值。

(4) 将上述步骤中得到任意两点距离模值和主方向夹角值按行向量归一化处理并计算各个匹配点之间的方向夹角内积值与距离内积值，如式(18)、式(19)。

(5) 根据(2)中给定的两个阈值和(4)所得到的方向夹角内积值与距离内积值，判断方向夹角内积值与距离内积值是否都在所给定阈值范围内，若二者均在给定阈值范围内，则认为是正确的匹配点对，反之，则剔除。

3 方法试验及分析

3.1 试验数据与结果

试验选择广东某地区的一幅QuickBird影像，空间分辨率为0.61 m，成像时间为2016年，与同一区域的一幅GF-2(高分二号卫星)影像，空间分辨率为0.8 m，成像时间为2015年，以QuickBird影像为基准影像，GF-2影像为待匹配影像，进行试验分析。为了验证本文方法的稳健性，在两幅异源影像中选取建筑物、水体、道路3组地类影像，以验证本文方法总体上的稳健性。为了便于结果计算和试验分析，3组影像大小分别为512×512(列×行)、256×256、256×256。如图3、图4、图5所示，试验环境为AMD QC-4000，主频1.30 GHz,内存4 GB，操作系统Windows 7，算法实现环境为Matlab R2013b。

图3 建筑物像对

图4 水体像对

图5 道路像对

文中设计了3组不同地类的异源遥感影像开展试验研究，以验证本文方法的稳健性与精度，并与传统SIFT算法进行比较，试验结果如图6、图7、图8所示。

3.2 精度比较分析

为了评价本文方法的精度，采用经验判断法建立影像之间的坐标转换模型，通过模型确定两幅影像之间的映射关系参数。

设基准影像上有匹配点p1(x1,y1)，在待匹配影像上有对应的匹配点p2(x2,y2)，假设认为p1与p2两点是真正意义上的匹配点，则有映射关系R,使得

p1(x1,y1)=Rp2(x2,y2)

(20)

图6 SIFT—本文方法建筑物匹配像对匹配结果

图7 SIFT—本文方法水体像对匹配结果

图8 SIFT—本文方法道路匹配像对匹配结果

则称R为待匹配影像上匹配点到基准影像上匹配点的映射关系，即映射模型。本文中由于地类分类匹配导致得出的匹配点数量较少，根据经验判断法来确定一对正确的匹配点对，然后根据此匹配点对反算出映射模型R。再设基准影像上有点pi(xi,yi)，在待匹配影像上对应的匹配点为pj(xj,yj)。

(21)

采用中误差来计算本文匹配精度，如

(22)

试验结果分析见表1。结果显示传统的SIFT方法利用尺度不变特征变换对试验影像进行特征点提取建筑物的QuickBird影像与GF-2影像的特征点分别为338个、326个，水体的QuickBird影像与GF-2影像的特征点分别为100个、485个，道路的QuickBird影像与GF-2影像的特征点分别为226个、662个。并且利用欧氏距离对特征点进行匹配，建筑物、水体、道路所得的匹配点对分别为85、14、5对。匹配完成之后通过精度分析显示建筑物、水体、道路的匹配误差为20.034 0、61.843 3、67.663 3像素，匹配精度低，错匹配率较大。

试验结果显示建筑物、水体、道路剔差及改正匹配点对之后的匹配点对分别为42、11、5对，其对应的匹配误差分别为4.641 7、39.475 8、10.205 3像素，剔差消耗时间分别为0.012、0.008 6、0.001 4 s。可见，提高了匹配的精度的同时，匹配时间在可接受范围内。

表1 SIFT—本文方法不同地物影像匹配精度比较

4 结 论

由于SIFT检测算法在分辨率、时相、空间旋转差异性较大的异源影像间匹配中精度降低，本文设计了一种基于邻域投票的SIFT匹配误差剔除方法。方法通过遍历待匹配影像上所有特征点的128维描述子，并与基准影像上所有特征点128维描述子做内积运算，计算对应反余弦值，并利用欧氏最小距离与次距离比值得到粗匹配点对。在此基础上对粗匹配点周围的任意匹配点计算主方向夹角及距离模值，按行向量归一化处理并计算各个匹配点之间的方向夹角内积值与距离内积值，通过多组试验比较判断最佳阈值，剔除不满足阈值范围内设定的匹配点对。

试验显示本方法与传统尺度不变特征变换算法(SIFT)相比，建筑物匹配精度提高了77%，道路类提高了36%，水体提高了85%，平均提高了66%。新方法可以对SIFT匹配结果进行更精细的剔差处理，从而提高影像的匹配精度，同时维持了原算法的尺度不变性等特性。

[1] WANG Li，NIU Zheng，WU Chaoyang，et al.A Robust Multi-source Image Automatic Registration System Based on the SIFT Descriptor[J].International Journal of Remote Sensing，2011，33(12)：3850-3869.

[2] JIANG Yun，WANG Jun.Research on Multi-source Remote Sensing Image Registration Based on SIFT Algorithm of Window Segmentation[J].IEEE Wireless Communications Networking and Mobile Computing，2010，23(25):1-4.

[3] 李德仁，张良培，夏桂松.遥感大数据自动分析与数据挖掘[J].测绘学报，2014,43(12)：1211-1216.

[4] 李壮.异源图像匹配关键技术研究[D].长沙：国防科学技术大学，2011.

[5] 张建花，白仲斐，惠广裕.基于SIFT算法的异源遥感影像自动匹配研究[J].电子设计与工程，2011,19(13):176-179

[6] ZHANG L,GRUEN A.Multi-image Matching for DSM Generation from IKONOS Imagery[J].ISPRS Journal of Photogrammetry and Remote Sensing,2006,60(3):195-211.

[7] 吕倩利，邵永社.基于SIFT特征的异源遥感影像匹配方法研究[J].计算机工程与应用，2012，48(36):171-176.

[8] 李映，崔杨杨，韩晓宇.基于线特征和控制点的可见光和图像配准[J].自动化学报，2012,38(12)：1968-1974.

[9] 戴激光，宋伟东，李玉.渐进式异源光学卫星影像SIFT匹配方法[J].测绘学报，2014,43(7)：746-752.

[10] 宋伟东，戴激光，李建.异源高分辨率卫星遥感影像配准新方法[J].吉林大学学报(工学版)，2012，42(6)：1566-1580.

[11] DU B，WANG Y，REN P.Structurally Refined Feature Matching for Multi-source Images[C]∥IEEE Internati-onal Conference on Multisensor Fusion and Informational Integration for Intelligent Systems(MFI).Beijing:IEEE,2014:1-5.

[12] LI Haichao,MAN Yiyun.Robust Multi-source Image Registration for Optical Satellite Based on Phase Information[J].Photogrammetric Engineering and Remote Sensing,2016,82(11):865-878.

[13] 刘志文，刘定生，刘鹏.应用尺度不变特征变换的多源遥感影像特征点匹配[J].光学精密工程，2013，21(8)：2146-2153.

[14] 胡同喜，牛雪峰，谭洋，等.基于SURF算法的无人机遥感影像拼接技术[J].测绘通报，2015(1):55-58.

[15] 申二华，范大昭，汤志强，等.基于SGM的遥感影像自动匹配[J].测绘通报，2012(6)：31-33.

[16] 寇媛，徐景中.基于结构特征的遥感影像匹配[J].中国图象图形学报，2013,18(5)：565-573.

[17] 黄灵操，满旺，黄文超，等.基于分块策略的尺度不变特征变换快速匹配[J].测绘科学，2016(10):24-29.

[18] 闫利，陈林.一种改进的SURF及其在遥感影像匹配中的应用[J].武汉大学学报(信息科学版)，2013,38(7)：770-804.

[19] LOWE D G.Distinctive Image Features from Scale Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.