基于大尺度双边SIFT的SAR图像同名点自动提取方法

王山虎 尤红建 付 琨

①(中国科学院电子学研究所 北京 100190)

②(中国科学院空间信息处理与应用系统技术重点实验室 北京 100190)

③(中国科学院研究生院 北京 100190)

1 引言

同名点提取在SAR图像配准、区域网平差、信息融合、目标检测和识别等领域具有重要应用。不同成像条件会导致两幅同一场景的图像间存在灰度和几何变化：斑点噪声、不同时相、不同波段、不同极化方式会导致图像间的灰度差异；不同分辨率、不同视角会导致图像间的几何变化，因此SAR图像同名点提取难度较大。现阶段SAR图像同名点提取主要采用半自动的人机交互方式，效率较低，而且数量、精度和点的分布往往不能满足要求。

近年来，利用具有不变性的检测子和描述子匹配特征点的方法成为同名点自动提取的研究热点[1,2]。该类方法首先利用检测子提取图像中稳定的点[3,4]、线[5]或面[6]特征；然后根据特征点的邻域采用描述子[7]形成特征向量，描述子需具备较强的区分力，即不同图像区域对应的特征向量明显不同，同时描述子需对噪声和局部形变不敏感，即相似区域的特征向量需相近；最后采用相似性度量准则[8]建立同名点。SIFT(Scale Invariant Feature Transform)[3]是该类方法的典型代表，它首先检测图像高斯尺度空间中稳定的块点(blob)，然后利用梯度方向直方图计算特征点主方向并形成描述子，具有旋转、尺度以及局部仿射和灰度不变性。文献[9]将 SIFT应用于遥感图像配准，并结合遥感图像的特点改进了匹配策略，取得了较好的效果。文献[10]对 SIFT在SAR图像配准中的应用能力进行了系统性的评价，指出SIFT可在多种成像条件下的SAR图像间提取同名点。但由于SAR图像复杂的成像条件，特别是斑点噪声的存在，导致 SIFT检测到大量的虚假特征点，这些点随机性强，易造成误匹配和少匹配，影响了同名点自动提取的性能。

针对以上问题，本文分析了 SIFT提取的特征点和同名点在各个尺度上的分布，进而直接在大尺度上检测特征，减小了斑点噪声的影响；但大尺度上特征点数量少且定位精度差，因此本文提出了一种新的基于各向异性尺度空间的同名点自动提取方法BFSIFT(Bilateral Filter SIFT)。该方法首先分析了双边滤波器[11]和各向异性扩散(PM)方程[12]的联系，进而基于双边滤波器以非迭代的方式建立图像的各向异性尺度空间，在降斑的同时保留了图像细节；然后在大尺度上检测并描述 SIFT特征，弱化了斑点噪声的影响，减少了不宜匹配的特征的数量；最后采用双向匹配策略建立同名点，提高了正确匹配的概率。与原始 SIFT方法相比，在保持同名点精度的同时，大大增加了同名点的数量。本文设计了3组实验，分别提取两幅不同视角、不同波段和视角以及不同时相和极化方式的 SAR图像的同名点，结果验证了本文算法的适用性和有效性。

2 SIFT原理

SIFT算法主要分为3个部分[3]：(1)尺度空间极值点检测和定位；(2)主方向计算和描述子生成；(3)特征匹配。下面具体阐述各个部分的原理。

2.1 尺度空间极值点检测及定位

图像的特征是在一定尺度范围内出现的，不同尺度下图像的特征不同，因此为了在存在尺度变换的图像间提取同名点，需建立图像的尺度空间。高斯核是建立尺度空间的唯一线性核，通过方差不断增大的高斯函数与图像卷积，可建立图像的尺度空间表达。其表达式为

其中L(x,y,σ)为高斯尺度空间，I(x,y)为原图像，G(x,y,σ)为标准差为σ的高斯函数，*代表卷积运算。

SIFT采用高斯拉普拉斯算子(LoG)检测图像中的块点，并用高斯差分尺度空间(DoG)近似，其表达式为

其中k为尺度变化量。忽略常数k的影响，则D(x,y,σ)为图像的归一化高斯拉普拉斯响应。在差分尺度空间里检测极值点，相当于在尺度空间里检测拉普拉斯响应的极值点，计算量大为减小。

图像的尺度空间分为若干组(octave)，如图1所示，相邻两组之间图像尺寸相差2倍。每组分为若干层(interval)，高斯函数标准差逐层递增，最底层和最高层尺度相差2倍，不同组的相同层采用相同的高斯核进行模糊。建立图像的尺度空间后，在DoG内检测极值点作为候选特征点，如图2所示，每个像素与本层8邻域和上下两层相同位置处3×3邻域相比，筛选出极值点。然后去除易受噪声影响的对比度较低的点和不易匹配的边缘点，同时利用泰勒展开式提高特征点的定位精度。

2.2 主方向计算及描述子生成

根据特征点所在的尺度图像，选择与尺度成比例的邻域并统计其梯度方向直方图。将梯度方向划分成 36份，用像素点的梯度幅值累加其梯度方向份，幅值最大份的方向为邻域主方向。根据特征点的主方向，旋转邻域到水平方向，并统计其分块梯度方向直方图。将邻域划成4×4子块，将梯度方向划成8份，如图3所示(仅显示了2×2子块)，统计每块的梯度方向直方图，连接得到128维描述子， 4×4子块的划分增强了描述子的区分力。

图1 SIFT尺度空间

图2 极值点检测

图3 梯度方向直方图

在计算分块梯度方向直方图时，对整个区域高斯加权，同时采用双线性插值的方法，每个像素点的梯度以一定的权重划分到邻近的4个子块和2个方向中，大大提高了应对微小形变的能力，增强了描述子的鲁棒性。描述子利用梯度信息，消除了亮度变化的影响；对整个描述子归一化，消除了对比度变化的影响。非线性灰度变化对梯度幅值影响较大，但对方向影响较小，故抑制直方图中梯度幅值较大的点，增强了应对非线性灰度变化的鲁棒性。

2.3 匹配

生成描述子后，利用描述子间的欧式距离建立匹配对。Lowe[3]建议用比值法即如果特征点与其最近邻和次近邻的距离之比小于指定阈值，则判定该特征点和其最近邻为匹配点。该方法的正确率要高于简单的基于最近邻阈值的方法。因为描述子维数较高，所以Lowe采用Best Bin First(BBF)方法来加快匹配过程，最后通过 Random Sample Consensus(RANSAC)算法筛选出正确的匹配点。

3 大尺度双边SIFT

3.1 大尺度SIFT

SAR图像是相干处理得到的，因此图像上存在大量的乘性斑点噪声，导致了图像的灰度失真，影响了空间和辐射分辨率。斑点噪声对SAR图像同名点提取的影响主要体现在两个阶段：一是在检测子阶段，斑点噪声会导致在原始分辨率图像上检测到大量的块点，这些点中很大一部分并不是实际的特征，而是斑点噪声，由于斑点噪声的随机性，这些点重复率很差，不易匹配。同时因其数量巨大，影响了后续的匹配速度。二是在匹配阶段，斑点噪声模糊了特征点的邻域，降低了邻域的可区分性，易造成误匹配和少匹配。因此，滤除斑点噪声对SAR图像同名点提取尤为重要。尺度空间建立时，高斯函数模糊图像的同时会减少斑点噪声，对图像的降采样相当于多视处理，会进一步减少斑点噪声。因此为了去除斑点噪声的影响，可直接在大尺度上提取同名点。

3.2 双边SIFT

高斯函数并不是理想的斑点噪声滤除函数，它在抑制斑点噪声的同时，会滤除边缘等细节，导致在大尺度上特征点减少；同时大尺度图像较为模糊，导致特征点定位不精确。双边滤波器在滤除噪声的同时能保留图像细节，因此，本文考虑采用双边滤波器建立各向异性尺度空间，然后在不易受斑点噪声影响的大尺度上提取同名点。下面阐述方法的原理。

3.2.1 各向异性尺度空间为了解决高斯尺度空间模糊图像细节信息的问题，Perona和Malik[12]构造了基于偏微分方程的各向异性尺度空间，如式(3)，我们称其为PM方程。

其中∇是梯度算子，div是散度算子，|·|代表幅度，I0是原始图像，It是尺度为t的图像，c(x)是扩散系数，如式(4),K是一个可调参数。

像素点的梯度幅值控制扩散系数，如果|∇I|＜＜K，则c(|∇I|)趋向于1，方程转化为线性热扩散方程，可有效去除噪声；如果|∇I|＞＞K，则c(|∇I|)趋向于0，方程转化为全通滤波器，可有效保持边缘。

3.2.2 双边滤波器双边滤波器[11]是一个非迭代的简单的非线性边缘保持滤波器。传统的低通滤波器假设像素灰度值空间变化缓慢，通过邻域加权平均可得到去噪后的灰度值。均值滤波器邻域权重系数相同，高斯滤波器权重则随距离增加而减小。在平坦区域，像素灰度空间变化缓慢的假设是正确的，而且信号间相关性强于噪声，故加权平均可有效去除噪声。但对边缘等细节信息，灰度值空间变化剧烈，该假设不成立，加权平均会导致细节信息丢失。双边滤波器融合了邻域像素与中心像素的空间临近性和灰度相似性，是边缘保持滤波器，表达式如式(5)。

其中p和q代表像素空间位置，Ip和Iq代表灰度值，Gσs和Gσr分别代表标准差为σs和σr的空间高斯核和灰度高斯核，Wp为归一化系数，BF[I]p为p点双边滤波后的灰度值。

在平坦区域，邻域灰度值较为接近，灰度高斯核影响较小，故双边滤波器转化为高斯滤波器；在边缘等细节区域，与中心像素灰度值相近的权重大，不相近的权重小，有效地保持了边缘。图4给出了一个实例，原始图像上的白点为灰度值较高的阶梯边缘点，其灰度相似性系数也为阶梯状，总系数为半高斯形状，滤波后的结果显示该滤波器有很好的细节保持能力。

图4 双边滤波器效果图

3.2.3 双边尺度空间基于 PM 方程以数值迭代的方式建立尺度空间，耗时长、效率低且容易不收敛。考虑PM方程和双边滤波器的联系：PM方程中的扩散系数为常数时，方程转化为线性热扩散方程，其唯一闭合解是原图像与高斯函数的卷积。若以数值迭代的方式解该方程，其解也应该是相应尺度的图像。因此，虽然迭代过程中邻域内各个像素的权重取决于局部梯度，但用高斯掩模不迭代也可达到同样的效果。PM 方程的非线性扩散系数由该点的梯度幅值和参数K控制，梯度幅值大表示有边缘存在，则权重小不扩散，可保留边缘，去噪和保留边缘的程度可由K折中处理；双边滤波器的灰度高斯核有类似的作用，邻域像素与中心像素灰度值不相似，则权重小，相当于不扩散，同样保持了边缘，σr的作用相当于K。因此，PM 方程迭代的效果等同于双边滤波器的空域高斯滤波，非线性扩散等同于灰度高斯滤波，双边滤波器以非迭代的方式实现了各向异性扩散。

基于以上分析，我们采用双边滤波器建立尺度空间，类似高斯尺度空间的构造过程，空间高斯核尺度不断增加，灰度高斯核不变。相邻两个尺度图像如下式

两式相减得差分尺度空间，然后利用 SIFT方法提取并描述特征。

图5给出了高斯和双边尺度空间对比图，二者均是第1组第2层的图像，双边滤波器灰度高斯核标准差为0.1。由图可见高斯滤波后图像较为模糊，物体轮廓等细节信息丢失，导致特征点定位不准确，而双边滤波后图像保持了较为清晰的边缘，有利于特征点提取和定位。

3.2.4 最优参数确定BFSIFT中的空间高斯核控制图像的尺度，本文采用与 SIFT高斯核相同的确定方法。灰度高斯核控制各向异性扩散程度，本文选了30对SAR图像，包含不同平台、不同时相、不同波段、不同极化、不同升降轨、不同分辨率、不同视角等多种成像条件，采用实验的方法确定，结果如图6所示。可以看出，标准差为0.2时同名点数量最多，效果最好。在此参数下，邻域内与中心像素灰度差大于 0.4的点不参与加权平均。标准差越小，高斯函数越尖锐，参与加权平均的邻域像素点越少，灰度值较为接近的权重越大。但SAR图像存在斑点噪声，故标准差不能过小，保留细节的同时还需去噪，实验表明 0.2是一个较合适的折中值。

图5 尺度空间对比图

3.3 双向匹配

在采用比值法进行匹配时，经常会有多个点对应一个点的现象，如图7(a)所示，影响了匹配结果，因此本文采用双向匹配，即两次比值法，待匹配图像中的A点对应的匹配点是参考图像中的B点，同时B点匹配点是A点，这样才确定A和B是一对匹配点。通过双向匹配策略，有效地提高了匹配点的正确率。正确同名点的比例低于一半时，RANSAC算法失效，如图7(b)所示，同名点筛选失败，双向匹配有效地去除了错误点对，可得到正确的同名点，如图7(c)所示。

4 不同变化 SAR图像的同名点自动提取实验

为了验证本文所提算法的有效性和适用性，本节设计了3组实验，分别提取两幅不同视角、不同波段和视角以及不同时相和极化方式的斜距 SAR图像的同名点；因图像间的变换关系未知时，无法精确衡量同名点的精度，因此本节还设计了一组实验专门分析算法所提同名点的精度。具体结果及分析如下。

4.1 不同视角实验

图6 不同高斯标准差下同名点结果

图7 单向和双向匹配效果对比图

图8 不同视角下同名点提取数量对比图

表1 3种方法的性能比较

图8给出了SIFT, OSIFT和BFSIFT 3种算法在两幅不同视角的机载X波段SAR图像中的同名点提取结果，其中OSIFT代表组从1开始。表1给出了各组内特征点和同名点的具体数量，表中仅列出了特征较少的图像的特征点数量。可以看出，SIFT在第0组检测到了大量的特征点，但同名点却很少，OSIFT去掉了第0组的特征点，但第1组比SIFT还多5个同名点，这表明第0组特征点受斑点噪声的影响较大，随机性强，不易匹配，同时数量巨大，增加了大尺度特征点匹配时的搜索空间，减小了正确匹配的概率，影响了描述子的区分力。OSIFT和SIFT同名点数相当，但匹配时间远短于SIFT，表明在大尺度上提取同名点十分有效。BFSIFT每组内的特征点和同名点数量均比OSIFT多，总的同名点数几乎是OSIFT的5倍，表明双边尺度空间比高斯尺度空间更有效。双边滤波器是非线性滤波器，并且BFSIFT的特征点数量比OSIFT多，所以BFSIFT耗时比OSIFT多。

4.2 不同视角、不同波段实验

斜距图像近端和远端对应的地距分辨率不同，近端视角小，地距分辨率低，因此不同视角的斜距图像具有不同的地距分辨率。地物对不同波段的电磁波有不同的散射特性，在图像上表现为不同的灰度值。为了验证算法在不同视角和波段条件下的有效性，本文选取两幅不同视角的机载X和P波段斜距图像提取同名点，结果如表2和图9所示。

由表2可见，SIFT和OSIFT算法提取同名点失败，BFSIFT虽耗时稍多，但成功提取了8个同名点。P波段图像易受民用电磁波信号的干扰，图像信噪比差，因此影响了算法的性能。在SAR制图应用中，电线杆等地物在P波段图像中定位较好，而X波段则不行，因此在P波段和X波段图像融合应用中，本文算法是理想选择。

4.3 不同极化、不同时相实验

地物对不同极化的电磁波有不同的散射系数，在图像上表现为不同的灰度值，不同时相会导致图像局部区域变化，因此为了验证算法在不同极化方式和不同时相条件下的有效性，本文选取两幅日本ALOS的不同时相且仅有部分重叠的HH和HV图像提取同名点，两幅图像的获取时间分别是2007年3月3日和2009年5月18日，结果如表3和图10所示。由表可见，BFSIFT提取的同名点数量最多，OSIFT耗时最少。双边大尺度空间保留了图像细节，因此提取了较多的特征点，其数量与 SIFT相当，因此耗时远大于OSIFT。在同名点数量要求不高但对提取速度要求较高的应用领域，OSIFT是较好的选择。在图像配准应用中，两幅SAR斜距图像的变化关系不能用一个整体的变换模型来拟合，需要分块处理，因此需要较多的同名点，在此情况下，BFSIFT是较好的选择。

表2 不同视角和波段同名点提取结果

图9 不同视角和波段下BFSIFT提取的同名点

表3 不同极化、不同时相同名点提取结果

4.4 精度分析

图像间的变换模型未知时，无法准确衡量同名点的精度。如果根据同名点集(X,Y)用最小二乘的方法拟合出变换模型，然后据此将X变换到X'，最后利用X'与Y的位置误差衡量同名点精度，则该方法衡量的其实是同名点拟合变换模型的程度，并不是真正的精度。如果人为变换一幅SAR图像，则原始图像与变换图像间的变换关系可确定，但破坏了不同SAR图像间斑点噪声的随机性。本文利用主辅两个通道的干涉SAR图像，采用上采样和互相关的方法配准，因配准后图像可产生干涉条纹，故可认为两幅图像是精确配准的。主辅两幅图像斑点噪声特性不同，变换关系已知，故可精确衡量同名点间的精度。结果如表4所示。

图10 不同极化、不同时相同名点提取结果

表4 3种算法精度对比

因图像间仅存在微小变化，所以3种算法均提取到大量的同名点，BFSIFT去掉了尺度空间的第0组，仍提取了最多的同名点，说明双边尺度空间更有效。SIFT提取的同名点远多于 OSIFT，表明大量的同名点位于尺度空间第0组，相比大尺度图像内的同名点，这些小尺度内的点定位更精确，所以BFSIFT精度略低于SIFT; BFSIFT尺度空间定位性能优于OSIFT，故精度好于OSIFT。

5 结束语

本文提出了一种新的基于双边滤波器的各向异性尺度空间构造方法，既有效地去除了斑点噪声，又能保留图像细节，在大尺度上检测特征并引入双向匹配的策略提取同名点，在保持同名点精度的同时，大大增加了同名点的数量。在多种成像条件下提取同名点，包括不同波段、不同极化、不同时相、不同视角、局部重叠等多种导致图像灰度和几何变化的成像条件，以及山地平原等多种场景，实验结果验证了算法的有效性和适用性。

双边尺度空间提取的特征点中只有较少一部分是同名点，因此如何滤除不易匹配的特征点进而提高同名点提取速度，是今后需要进一步研究的问题。

[1]Tuytelaars T and Mikolajczyk K. Local invariant feature detectors: a survey[J].Computer Graphics and Vision, 2007,3(3): 177-280.

[2]Mikolajczyk K and Schmid C. A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[3]Lowe D G. Distinctive image features from scale-invariant keypoints [J].International Journal of Computer Vision,2004, 60(2): 91-110.

[4]Liu C, Yuen J, and Torralba A. SIFT flow: dense correspondence across scenes and its applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011, 33(5): 978-994.

[5]Lei H and Zhen L. Feature-based image registration using the shape context[J].International Journal of Remote Sensing,2010, 31(8): 2169-2177.

[6]Martin V, Mar fill R, and Bandera A. Affine image region detection and description [J].Journal of Physical Agents,2010, 4(1): 45-54.

[7]Gupta R, Patil H, and Mittal A. Robust order-based methods for feature description[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Francisco, USA, 2010: 334-341.

[8]Pele O and Werman M. The quadratic-chi histogram distance family[C]. The 11th European Conference on Computer Vision (ECCV 2010), Crete, Greece, 2010: 749-762.

[9]Li Q L, Wang G Y, Liu J G,et al.. Robust scale-invariant feature matching for remote sensing image registration[J].IEEE Geoscience and Remote Sensing Letters, 2009, 6(2):287-291.

[10]陈尔学, 李增元, 田昕, 等. 尺度不变特征变换法在SAR影响匹配中的应用[J]. 自动化学报, 2008, 34(8): 861-868.Chen Er-xue, Li Zeng-yuan, Tian Xin,et al.. Application of scale invariant feature transform to SAR image registration[J].Acta Automatic Sinica, 2008, 34(8): 861-868.

[11]Tomasi C and Manduchi R. Bilateral filtering for gray and color images[C]. Proc. International Conference on Compute Vision, Bombay, India, 1998: 839-846.

[12]Peroma P and Malik J. Scale space and edge detection using anisotropic diffusion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-637.