基于空间约束SIFT的光学与SAR图像配准

罗 宇，陈 勃，李山山，冯钟葵

（1．中国科学院遥感与数字地球研究所，北京100094；2．中国科学院大学，北京100049）

1 概述

要实现图像融合、图像镶嵌、变换检测等应用，异源遥感图像之间的配准是必不可少的关键一步。光学与合成孔径雷达（Synthetic Aperture Radar，SAR）图像是遥感图像中最为典型的两类图像，它们具有不可或缺的互补优势，研究两者之间的配准方法具有十分重要的意义［1－2］。由于SAR图像的成像机理与光学图像有很大的不同，并且存在固有的相干斑噪声，目前已有的适用于异源光学图像配准的方法，通常不适用于光学和SAR图像的配准。光学和SAR图像之间的配准，仍是一个挑战性的难题［3－4］。

国内外学者对光学和SAR图像之间的配准方法进行了大量的研究，主要分为基于灰度和基于特征的方法。基于灰度的方法主要有互信息法［5］、聚类奖励法［6］和交叉累计剩余熵法［3］等。这些灰度相似性测度算法对光学和SAR图像之间的灰度差异有一定的鲁棒性，但其计算量大，并且对存在角度和尺度差异的光学和SAR图像的配准难以取得满意的效果。而基于特征的方法，不直接利用灰度信息，是目前光学与SAR图像配准方法研究的热点。文献［7］提出了基于形状上下文的方法，该方法首先提取光学图像的Harris角点，然后用Canny算子提取光学和SAR图像的边缘特征，最后利用形状上下文的方法找到同名点对。文献［8］利用形态学的方法对SAR图像和TM（光学）图像做了配准，该方法首先用Canny算子提取SAR和光学图像的边缘特征，然后对边缘特征图进行形态膨胀和闭合得到区域特征，基于区域特征完成了匹配。另外，也有学者提出了基于灰度和特征相结合的方法［4，9］。

在基于特征的配准方法中，文献［10］提出了一种 尺 度 不 变 特 征 （Scale－invariant Feature Transform，SIFT）的算法。由于SIFT特征对图像之间角度旋转、尺度差异和光照变化具有一定的鲁棒性，因而得到了很多学者的青睐。SIFT及其改进的算法已被成功应用于遥感影像之间的配准［11－14］。然而，SIFT对于光学与SAR图像之间配准的适用性还有待深入研究。本文以光学和SAR图像为研究对象，提出一种基于空间约束改进的SIFT配准方法。

2 算法流程

本文提出的基于空间约束改进的SIFT配准方法是一种由粗到精的精配准方法。图1给出了该算法的具体流程。首先，对光学和SAR图像分别进行预处理，包括利用增强Frost滤波抑制SAR图像的相干斑噪声，以及利用自适应直方图均衡法对光学和SAR图像进行预处理。其次，通过人工选取3个～4个同名控制点对进行图像的粗配准，初步消除光学与SAR图像之间旋转角度和分辨率的差异。然后，用改进的SIFT算法提取特征点，并以结构相似性（Structure Similarity，SSIM）指数［15］作为相似性测度，采用kd－tree搜索策略得到初始匹配点对。最后，利用空间约束条件剔除伪匹配点对，并利用随机抽样一致性（Random Sample Consensus，RANSAC）算法［16］进一步剔除伪匹配点，用剩下的精匹配点对计算几何变换模型，完成光学与SAR图像的配准。

图1 改进的SIFT算法流程

3 图像预处理

由于SAR图像存在固有的相干斑噪声，因此首先必须抑制SAR图像的噪声。本文采用了增强的Frost滤波［17］对SAR图像进行噪声滤除。文献［18］利用局部自适应直方图均衡算法［19］分别对光学和SAR图像进行预处理，可以有效地提高光学和SAR图像之间的共性轮廓特征，从而增加图像中SIFT点的数量和图像间特征点的重复率。本文也采用了局部自适应直方图均衡法，来增强光学和SAR图像之间的共性。

4 改进的SIFT算法

原始SIFT算法主要分为4个步骤：

（1）建立高斯图像差分 （Difference of Gaussians，DOG）金字塔。通过不同尺度的高斯核函数连续滤波和下采样，形成高斯金字塔图像，然后对相邻尺度的高斯图像相减得到DOG多尺度空间。

（2）关键点检测和描述。对DOG尺度空间每个点与相邻位置点和上下相邻尺度点逐个进行比较，得到局部极值点即为关键点。

（3）关键点描述。首先将关键点邻域内各点梯度方向的直方图中最大值所对应的方向作为关键点的主方向，然后用一个128维特征向量描述关键点。

（4）关键点匹配。当2幅图像的各个关键点的特征向量生成后，采用关键点特征向量欧氏距离的最大和次大值的比值作为关键点之间的相似性测度，剔除比值大于某个阈值的匹配点对。

针对SAR和光学图像成像机理不同造成的特征差异，本文对SIFT算法做了3方面的改进：

（1）建立SAR图像的高斯差分金字塔时，跳过第一层。SAR图像的相干斑噪声会对SIFT关键点的检测产生干扰，例如会提取出许多不可重复的关键点。这些关键点只存在于SAR图像中，而不在光学图像中出现。文献［13，20－21］发现，这些大部分不可重复的关键点存在于高斯金字塔图像的第一层，因此对于SAR图像关键点的检测，需要跳过第一层。

（2）将SIFT关键点的主方向指向正北。关键点的主方向是用来构建描述子，使其对图像旋转具有不变性。光学图像具有较丰富的纹理细节信息，可以较为准确地计算关键点的主方向，而SAR图像由于斑点噪声导致细小的伪边缘太多，且SAR图像的纹理细节比较少，因此使用邻域信息计算关键点的主方向误差会很大［22］。本文在粗配准中已初步消除了光学与SAR图像之间的旋转角，因此可以将光学与SAR图像的关键点的主方向设定为一个特定的方向，本文设定为正北方向。这样不仅加快了关键点描述子的构建速度，并且提高了SIFT算法的匹配精度［23－24］。

（3）以结构相似性指数SSIM作为相似性测度得到初始匹配点对。原始SIFT算法采用欧氏距离作为关键点之间的相似性测度。欧氏距离对于纹理细节丰富的光学图像之间的配准满足要求，但对于光学和SAR图像之间的匹配，不能较好地表示关键点之间的相似性［18］。SSIM（见式（1））是文献［15］提出的预测人眼视觉系统对影像质量评价的指标，它被文献［24］证明了能够更好地度量2个SIFT特征向量间的相似性。2个关键点的特征向量之间的SSIM值越大，表明这2个关键点匹配的可信度越高。对于光学图像中的每一个关键点，采用kdtree搜索策略在SAR图像中搜寻与关键点的最近邻的k个点（SSIM值最大的k个点）作为匹配点的候选点。所有关键点的候选点组成初始匹配点对集2，…，k｝。其中，O，S分别代表光学与SAR图像；n是光学图像关键点的总数；Sij是关键点之间的SSIM值。

其中，μx，μy分别为2个特征向量的均值；σx，σy分别为2个特征向量的方差；σxy为2个特征向量的协方差；C1，C2是为防止分母为0而设定的常数。

5 空间约束条件

利用上面改进的SIFT算法，可以得到光学和SAR图像的初始匹配点对。原始SIFT算法采用RANSAC算法将初始匹配点对中的错误匹配点对作为外点去除，但RANSAC算法对于初始点对的正确率有一定的要求，当正确匹配点对所占比例较低时计算效率低下并且常常会失效［18］。本文提取的初始匹配点对的数量较大，包含了大量的外点，因此在使用RANSAC方法之前，需要对初始匹配点对进行优化，剔除错误的匹配点对。通常的方法是，设定一个阈值剔除伪匹配点对。然而，这种一刀切的方法，有可能会把一些相似性测度值小于阈值但却是正确的匹配点对剔除掉［25］。所以，为了充分挖掘光学和SAR图像之间正确的匹配点对，本文采用了2个基于空间关系的约束条件，对初始匹配点对进行优化。

（1）坐标范围约束。经过粗配准后，2幅图像上的匹配点对坐标的平移距离应该小于一个容忍度。本文实验设定容忍度的阈值为20个像素。对于初始匹配点对中的所有匹配点对，剔除坐标平移距离大于阈值的点对。剩下的匹配点对，通过下面的空间约束条件2，继续剔除。

（2）空间一致性约束。空间一致性约束条件不易受辐射变化和噪声的影响，可以很好地剔除错误点对。它的核心思想是，如果点对（a，a′）和点对（b，b′）是图像A和图像B之间的正确匹配点对，那么这两对点对的空间关系（角度和距离）从图像A到图B应该保持一致性。这种思想在计算机视觉领域已经被广泛的使用，尤其是用于2幅图像难以匹配的情况［23，25］。

图2 空间一致性约束示意图

值得注意的是，为了保证所选种子点的可靠性，建议选取点集M中SSIM值最大的N（本文设定N＝10）个点对分别作为种子点，依次代入算法1中得到各自的点集M′。选取点集数最大的M′作为通过空间一致性约束的匹配点集，然后使用RANSAC算法进一步优化点集，得到最终的精匹配点对。

6 基于几何变换的图像配准

遥感图像配准常用的几何变换模型有仿射变换、透视变换和多项式变换等模型。变换模型的选择往往需要根据配准影像的实际情况和应用目标来确定。本文采用的实验图像都是从距离地球很远的卫星传感器获得，且都位于比较平坦的区域。当遥感平台的高度比成像目标的高度要大很多时，地形起伏不大的地面场景可以近似看成平面，因此本文采用8参数的单应性矩阵［12，23］（即透视变换）作为几何变换模型。如果地形起伏的影响比较大时，需要考虑使用其他更复杂的模型。

本文采用如下单应性矩阵模型（见式（4）），利用最小二乘法求解最佳模型。光学图像中的控制点（X，Y）与其在SAR图像中对应的控制点（X′，Y′）满足以下关系：

7 实验结果与分析

为了验证方法的可行性，本文对光学图像和SAR图像的配准进行了3组实验。

实验1：采用Landsat－8全色波段图像（分辨率15 m，大小1 000×1 000像素）和 Radarsat－2的SAR图像（分辨率12．5 m，大小1 200×1 200像素），位于北京市郊区。

实验2：采用Landsat－8的第6波段光学图像（分辨率30 m，大小500×500像素）和 Radarsat－2的SAR图像（分辨率12．5m，大小1 200×1 200像素），位于北京市郊区。

实验3：采用Spot－5的光学图像（分辨率10 m，大小512×512像素）和Radarsat－2的SAR图像（分辨率12．5 m，大小512×512像素），位于北京市城区。实验过程结果详细信息见表1，配准结果图像如图3～图5所示。

表1 各组实验匹配过程结果

图3（a）、图4（a）和图5（a）的是本文算法配准后的SAR图像和光学图像的交错拼合图，可以用来定性地判断配准图像的精度。从图3～图5这3幅配准效果图可以看出，3组实验中配准后的SAR图像与基准图像光学图像在纵向和横向上均可以很好地拼合起来，显示出本文方法获得了令人满意的效果。为了分析本文算法的配准效果，将它与原始SIFT算法和文献［23］算法做了对比，如表2所示。文献［23］的算法同样采用了空间一致性约束条件筛选SIFT特征匹配点，而它与本文算法最主要的不同在于特征点的相似性测度采用的是欧氏距离比值，而本文采用的是结构相似性指数SSIM。从表2可以看出，在3组实验中，原始SIFT算法的正确匹配率很低，而文献［23］算法和本文算法均取得了一定的正确匹配率。

图5 实验3中配准的SAR图像和光学图像配准效果

实验1的图像处于北京市郊区，有比较丰富的纹理信息，光学与SAR图像的分辨率相近，文献［23］算法和本文算法均获得了数量较多的正确匹配点对，正确匹配率分别达到了89．3%和100%。实验2的图像也处于北京市郊区，但光学与SAR图像的分辨率差异相对较大，文献［23］算法和本文算法获得的正确匹配点对相对于实验1也有所减少。实验3的图像处于北京市城区，光学与SAR图像间的纹理信息差异较大，使得获取匹配点对的难度增大，所以文献［23］算法和本文算法的正确匹配数和正确匹配率均小于实验1和实验2。3组实验中，本文算法在正确匹配数和正确匹配率上均略高于文献［23］的算法，说明本文算法有较好的配准效果。

表2 3种算法结果的对比

同时，为了定量分析配准结果的精度，人工选取一定数量的评价同名控制点对，计算出均方根误差RMSE。由于原始SIFT算法在本文配准实验中失效，因此只给出了文献［23］算法和本文算法的RMSE，结果见表2。从表2中可以看出本文算法的配准精度略优于文献［23］算法，且配准精度均优于2个像素。

8 结束语

针对光学和SAR图像的配准，本文提出了一种基于空间约束改进的SIFT配准方法，该方法采用由粗到精的配准策略。首先，对光学和SAR图像分别进行预处理，包括利用增强Frost滤波抑制SAR图像的相干斑噪声和利用自适应直方图均衡法增强光学和SAR图像的共性轮廓特征。其次，人工选取3个～4个控制点对进行图像的粗配准。然后，用改进的SIFT算法提取特征点，以结构相似性指数SSIM作为相似性测度，采用kd－tree搜索策略得到初始匹配点对。最后，利用空间约束条件和RANSAC算法层层剔除伪匹配点，用剩下的精匹配点对完成精配准。实验结果表明，本文算法对光学和SAR图像的配准可以取得较高的精度，精度优于2个像素。下一步将研究出一种自动粗配准方法代替人工选点粗配准，实现配准全部流程的自动化完成。同时，研究如何获取更多正确的同名特征，进一步提高光学和SAR图像的配准精度。

［1］Siddique M A，Sarfraz M S，Bornemann D，et al．Automatic Registration of SAR and Optical Images Based on Mutual Information Assisted Monte Carlo［C］／／Proceedings of IEEE IGARSS’12．Washington D．C．，USA：IEEE Press，2012：333－348．

［2］尤红建，胡岩峰．SAR和光学图像精配准技术的研究［J］．雷达学报，2014，3（1）：78－84．

［3］Hasan M，Pickering M R，Jia Xiuping．Multi－modal Registration of SAR and Optical Satellite Images［C］／／Proceedings of IEEE DICTA’09．Washington D．C．，USA：IEEE Press，2009：621－632．

［4］Wang Zhenhua，ZhangJunping，Zhang Ye，et al．Automatic Registration of Sar and Optical Image Based on Multi－features and Multi－constraints［C］／／Pro－ceedings of IGARSS’10．Honolulu，USA：IEEE Press，2010：265－278．

［5］Suri S，Reinartz P．Mutual－information－based Registration of Terra SAR－X and Ikonos Imageery in Urban Areas［J］．IEEE Transactions on Geoscience and Remote Sensing，2010，48（2）：939－949．

［6］Inglada J，Giros A．On the Possibility of Automatic Multisensor Image Registration ［J］． IEEE Transactions on Geoscience and Remote Sensing，2004，42（10）：2104－2120．

［7］Huang Lei，Li Zhen，Zhang Rui．SAR and Optical Images Registration Using Shape Context［C］／／Proceedings of IGARSS’10．Honolulu，USA：IEEE Press，2010：161－176．

［8］Liu Xiaojun，Cheng Chunquan，Sun Jiuyun．Study of the Automatic Matching Method for Optical and SAR Image［C］／／Proceedings of ISIDF’11．Tengchong，China：［s．n．］，2011：526－534．

［9］Wu Yingdan，Yang Ming．A Multi－sensor Remote Sensing Image Matching Method Based on SIFT Operator and CRA Similarity Measure ［C］／／Proceedings of ISIE’11．Wuhan，China：［s．n．］，2011：452－468．

［10］Lowe D G．Distinctive Image Features from Scaleinvariant Keypoints［J］．International Journal on Computer Vision，2004，60（2）：91－100．

［11］Sedaghat A，Mokhtarzade M，Ebadi H．Uniform Robust Scale－invariant Feature Matching for Optical Remote Sensing Images［J］．IEEE Transactions on Geoscience and Remote Sensing，2011，49 （11）：4516－4527．

［12］李晓明，郑 链，胡占义．基于SIFT特征的遥感影像自动配准［J］．遥感学报，2006，10（6）：885－892．

［13］Schwind P，Suri S，Reinartz P，et al．Applicability of the Sift Operator to Geometric SAR Image Registration［J］．International Journal of Remote Sensing，2010，31（8）：1959－1980．

［14］何孝莹，岳建伟，张栩然．基于SIFT算法的无人机影像快速匹配［J］．计算机工程，2011，37（7）：216－218．

［15］Wang Zhou，Bovik A，Sheikh H，et al．Image Quality Assessment：from Error Visibility to Structural Similarity［J］．IEEE Transactions on Image Processing，2004，13（4）：600－612．

［16］Fischler M A，Bolles R C．Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］．Communications of the ACM，1981，24（6）：381－395．

［17］Lopes A，Touzi R，Nezry E．Adaptive Speckle Filters and Scene Heterogeneity［J］．IEEE Transactions on Geo－science And Remote Sensing，1990，28 （6）：992－1000．

［18］龚俊斌，张大志，杨雪梅，等．抗旋转和缩放的SAR与可见光图像自动配准算法［J］．宇航学报，2011，32（6）：1350－1358．

［19］Reza A．Realization of the Contrast Limited Adaptive Histogram Equalization （CLAHE）for Real－time Image Enhancement［J］．Journal of VLSI Signal Processing Systems For Signal Image and Video Technology，2004，38（1）：35－44．

［20］Sahil S，Peter S，Johannes U，et al．Modifications in the SIFT Operator for Effective SAR Image Matching［J］．International Journal of Image and Data Fusion，2010，1（3）：243－256．

［21］Wang Shanhu，You Hongjian，Fu Kun．BFSIFT：A Novel Method to Find Feature Matches for SAR Image Registration［J］．Geoscience and Remote Sensing Letters，2012，9（4）：649－653．

［22］杨雪梅，龚俊斌，王 鹏，等．基于改进SIFT的SAR图像与可见光图像配准［J］．航天控制，2010，28（6）：13－20．

［23］Fan Bin， HuoChunlei， Pan Chunhong， et al．Registration of Optical and SAR Satellite Images by Exploring the Spatial Relationship of the Improved SIFT［J］．Geoscience and Remote Sensing Letters，2013，10（4）：657－661．

［24］岳春宇，江万寿．几何约束和改进SIFT的SAR影像和光学影像自动配准方法［J］．测绘学报，2012，41（4）：570－576．

［25］Fan Bin，Wu Fuchao，Hu Zhanyi．Toward Reliable Matching of Images Containing Repetitive Patterns［J］．Pattern Recognition Letters，2011，32（14）：1851－1859．