几何约束和改进SIFT的SAR影像和光学影像自动配准方法

岳春宇，江万寿

武汉大学测绘遥感信息工程国家重点实验室，湖北武汉430079

几何约束和改进SIFT的SAR影像和光学影像自动配准方法

岳春宇，江万寿

武汉大学测绘遥感信息工程国家重点实验室，湖北武汉430079

提出一种基于几何约束和改进SIFT的SAR影像和光学影像自动配准方法。首先根据影像间的几何关系进行影像粗纠正，消除影像间旋转和分辨率差异；然后基于主方向改进的SIFT特征提取方法提取SIFT特征并利用其结构性信息引入结构相似性指数（SSIM）作为相似性测度获得初始匹配，经过视差空间和角度特征空间聚类优化得到稳定同名匹配；最后由随机抽样一致性算法（RANSAC）根据透视变换模型精化匹配结果获取变换模型参数。整个配准过程自动完成。本方法适用于差异较大的SAR影像与光学影像之间配准。

SAR影像；光学影像；几何约束；尺度不变特征；影像自动配准；结构相似性指数

1 引 言

可见光传感器因能够获取高分辨率与人目视效果一致的图像，一直是遥感技术中的主要传感器。然而可见光传感器成像时必须有日照条件并且没有云雾遮挡，这样不能体现遥感技术实时动态检测的优点。合成孔径雷达（synthetic aperture radar，SAR）是一种全天候、全天时工作的空间遥感传感器，其对地观测的能力可以弥补光学传感器被动式间断性对地观测的不足，且SAR影像与光学影像分别反映了电磁波谱中微波波段和光学波段的辐射特性。实现两种影像信息的集成，能够实现连续对地观测，并且集合两种影像中地物的互补信息。因为SAR影像与光学影像的成像机理完全不同，增大了影像特征提取及匹配的难度，使SAR影像与光学影像的配准成为两者信息集成的最大障碍。因此，研究SAR影像与光学影像的配准技术成为目前的研究热点和难点［1－4］。

目前主流的SAR影像与光学影像配准算法主要是提取影像中的线或面状特征进行特征匹配［1－6］，或者根据互信息或者交叉累计残余熵等基于样条函数进行全局配准［7－8］。实际上SAR影像与光学影像往往存在一定角度、分辨率差异及局部形变，在这种情况下上述方法均不能适用，并且对于基于特征的匹配来说，由于影像差异较大，不能总提取到同名特征，也增加了影像配准的难度。基于局部特征的影像匹配方法对旋转、尺度和局部变形具有良好的鲁棒性，SIFT（scale invariant feature transform）算法［9］是由文献［10—11］提出的一种提取局部特征的算法，并被应用于SAR影像和光学影像的配准中且取得了良好的结果，但是不能适用于分辨率差异较大的星载SAR和光学遥感影像。

本文提出了一种基于几何约束和改进SIFT的SAR影像和光学影像自动配准方法。首先基于影像间的几何关系对进行影像粗纠正，消除旋转和分辨率差异，然后基于主方向改进的SIFT特征提取方法提取SIFT特征并利用其结构性信息引入结构相似性指数（structure similarity，SSIM）［12］作为相似性测度获得初始匹配，经过尺度特征空间和视差空间聚类优化得到稳定同名匹配，再由随机抽样一致性算法（RANSAC）［13］根据透视变换模型精化匹配结果获取变换模型参数，最终对待配准影像重采样得到配准结果，全部配准流程自动完成。

2 SIFT特征提取原理

SIFT算法是在尺度空间中寻找稳定的对缩放、旋转甚至仿射变换保持不变的关键点，并进行描述［9］。SIFT特征提取算法流程可分为3步。

（1）关键点检测。利用DOG（difference of gaussian）算子，在图像上建立高斯差分尺度空间（DOG scale－space），并在该空间内寻找在尺度空间和图像空间都为极值的点。

（2）确定关键点主方向。在以关键点为中心的邻域窗口内用直方图统计邻域像素的梯度方向。直方图的峰值即为该关键点的主方向。

（3）生成关键点描述子。以关键点的主方向作为计算描述子的坐标轴方向，在关键点邻域划分成的小区域内计算梯度方向和模值，生成梯度方向直方图。由各个小区域梯度方向直方图建立关键点的特征向量，即为描述子。

3 基于几何约束和改进SIFT的特征匹配

3.1 基于影像间几何关系的粗纠正［14－16］

通常影像由人工选点进行粗纠正［17］。本文利用遥感影像空间参考中的地理坐标信息，建立影像间的几何关系，自动的构造粗纠正模型，把两幅影像纠正到相同的高程面上，消除尺度、旋转等差异。

在GeoTiff格式影像中，影像坐标和地面坐标之间的映射关系由下式表示［18］

式中，（X，Y，Z）为大地坐标；（x，y）为影像坐标；K为该影像坐标的像素灰度值；a、b、d、e、f、h为变换模型参数。由该映射关系可以建立影像坐标到地面坐标的正解函数f和由地面坐标到影像坐标的反解函数f′。

可以选择参考影像的4个角点作为控制点，给定高程基准面，高程值为ZR。根据式（1）把参考影像上的控制点（xRi，yRi）投影到高程基准面，得到地面坐标（XRi，YRi，ZR），再把地面坐标反投影到待配准影像上，得到参考影像控制点的同名点（xRi′，yRi′），i＝1，2，3，4。

对（xRi，yRi）和（xRi′，yRi′）建立透视变换模型，如式（2）

可获取8个方程，得到l1，…，l88个透视变换参数。对待配准影像根据上述方法得到的变换模型进行重采样，即得到粗纠正结果。影像粗纠正的示意图见图1。

图1 基于几何关系约束的粗纠正Fig.1 Rough correction based on the geometry constraint

在影像几何定位参数精度满足一定要求的情况下，该方法可以达到核线重排列的效果［15］。在一般情况下可以消除影像之间的尺度和旋转差异。

3.2 基于结构相似性约束的SIFT特征匹配

3.2.1 主方向改进的SIFT特征提取方法

首先根据经典的SIFT特征提取方法获取关键点。经典的SIFT特征的主方向是由关键点邻域内所有像素的梯度值进行投票确定的，充分利用了关键点邻域内的细节信息。由于可见光影像具有丰富的纹理细节信息，可以准确地计算关键点的主方向并生成正确的描述子。而SAR影像由于斑点噪声的影响，纹理细节比较少，并且存在很多细小的伪边缘，所以使用邻域信息计算关键点主方向误差会很大［10］。

通过影像间的几何关系对待配准影像进行了粗纠正，主要消除了影像间的分辨率和旋转差异，因此可以认为提取的SIFT特征的主方向大体一致，设为1个特定的主方向值。表1为利用本文试验数据对主方向确定改进前后的试验结果。

表1 主方向改进试验结果Tab.1 Result of the improvement of orientation assignment

由于经典SIFT算法中一个特征可能有多个主方向，所以在表1中经典方法所提取的特征数要多于本文方法。但是从表1中可以看出，经典方法中本来可以保证匹配正确率的多主方向确定方法反而在SAR影像和光学影像匹配中由于SAR影像自身纹理缺乏的特性，影响了正确匹配率。主方向确定后根据第2节中的第3步计算关键点的描述子。

3.2.2 结构相似性指数

结构相似性指数（structure similarity，SSIM）是文献［12］提出的预测人眼视觉系统（HVS）对影像质量评价的指标。在人眼对结构信息更加敏感的前提下，通过排除对影像结构信息影响较小的信息，只针对结构信息所表现的因素进行度量，即可得到良好的图像质量评价标准。

SSIM通过对两幅图像之间的亮度、对比度、结构相似性3方面的对比，建立了1个对图像结构相似性度量的指标SSIM＝f（l（x，y），c（x，y），s（x，y））。其中l（x，y）、c（x，y）、s（x，y）分别为表示两幅影像亮度、对比度和结构相似性对比的函数，x、y表示两幅影像。分别为两幅图像的均值，σx、σy分别为两幅图像的方差，σxy为两幅图像的协方差，C1、C2、C3为防止分母为0而设定的常数。为简化计算，文献［12］给出了SSIM的简化计算公式

经典SIFT匹配算法采用SIFT特征描述子向量的欧式距离作为相似性测度。这对于通常信噪比高、细节信息丰富的可见光图像可以满足要求。但是由于SAR影像与可见光图像间有较大差异，能够利用的有共性的纹理和结构信息少，欧式距离不能较好地表示两个特征之间的相似性［11］。SIFT特征描述子向量的每一维都是一个方向上的梯度模值，是根据生物视觉对梯度信息即结构信息更敏感的原理构建的［9］，而SSIM能够更好地度量两个向量间的结构相似形，因此本文采用SSIM代替欧式距离作为SIFT特征之间的相似性测度。另外SSIM与文献［10—11］所提出的归一化互相关（normalized cross correlation，NCC）测度相比也具有一定优势，见图2。采用本文试验数据对SSIM在SAR影像和光学影像匹配中的可行性试验结果见表2、图2。

表2 SSIM与欧式距离正确匹配数比较结果Tab.2 Comparison of SSIM and Euclidean distance in correct match

由表2可以看出，虽然得到的正确匹配数在全部匹配中还占少数，但使用SSIM作为相似性测度能够得到的正确匹配是使用欧式距离的3倍多。在图2中，随着阈值的提高，NCC和SSIM的正确匹配率也相应上升，这证明了NCC与SSIM能够用来衡量正确匹配，可以应用在SIFT特征匹配上。而在正确匹配率上，SSIM总体上一直微高于NCC。

图2 SSIM与NCC正确匹配率比较结果Fig.2 Comparison of SSIM and NCC in correct matching rate

3.2.3 排除错误匹配

直接由SSIM测度得到的初始匹配结果中存在着大量的错误匹配，这是由于SAR影像与光学影像之间的显著差异造成的。为了从大量的错误匹配中提取出正确的匹配，需要对初始匹配进一步筛选和优化。本文根据错误匹配大部分具有随机性，而正确匹配之间具有某些一致的内在联系这一前提，采用分层筛选，逐步优化的策略最终得到正确匹配。

3.2.3.1 基于视差约束优化匹配结果

经过3.1中的粗纠正后，两幅影像主要存在位置上的差异，即正确的匹配在视差上应保持较高的一致性。计算同名特征的视差，分为x方向上的视差dx和y方向上的视差dy。建立视差空间，把同名特征的关系映射到视差空间去，以（dx，dy）为聚类特征，在视差空间进行聚类分析。同样对视差进行K－均值聚类。错误匹配不具有一致性，在视差空间表现为随机分布，分散在较小的类中。而正确的匹配分布比较集中，所以保留最大的类即筛选出了正确的匹配。图3为两组试验中视差空间聚类数与正确匹配率关系，可以看出随着分类数的增加正确匹配率有升高的趋势，但并不满足单调递增，在25到30类之间两组试验均有峰值。

图3 视差空间分类数与正确匹配率关系Fig.3 Relationship of cluster number and the correct matching rate

3.2.3.2 基于角度约束优化匹配结果

由于在§3.1中已经基本消除了影像之间的旋转差异，所有正确匹配之间的连线应该趋于平行，以上一步计算的视差dx、dy构建角度特征并以其为聚类特征，建立角度特征空间，通过k－均值聚类分析，错误的匹配通常随机分布，集中在较小的类，保留最大的一类，即可排除很多错误匹配。

3.2.3.3 基于随机抽样一致性约束优化匹配结果

经过上述两步的优化处理后，匹配结果中正确的点占绝大多数，可以根据随机抽样一致性（RANSAC）算法对结果进一步优化，根据透视变换模型剔除粗差，由最小二乘得到模型变换参数。

4 本文方法配准流程

基于几何约束和改进SIFT的SAR影像和光学影像自动配准方法流程如下：

（1）根据影像间几何关系进行粗纠正，消除影像间分辨率和旋转差异。

（2）在2幅影像上提取SIFT特征，并设定主方向，计算SIFT描述子。

（3）以SSIM为相似性测度匹配SIFT特征。

（4）基于视差、角度约束，分别在视差空间和角度空间聚类分析排除错误匹配结果。

（5）对第4步得到的结果，基于透视变换模型，使用RANSAC方法计算透视变换模型参数。

（6）根据第5步得到的变换模型参数对待配准影像重采样得到配准后影像。

5 试验与分析

本文选取高分辨率和低分辨率两组试验数据验证本文方法对SAR影像与光学影像配准的适用性。第1组为湖泊变化较大的汛期和枯水期影像，其中SAR影像大小为5697×5999，分辨率为10m，是枯水期影像，光学影像大小为7190× 6790，分辨率为19.5m，为汛期影像。第2组为广州某地不同时期的影像，其中SAR影像大小为546×595，分辨率为3m，光学影像大小为500× 500，分辨率为4m。

首先以光学影像为参考影像，根据影像间的几何关系对SAR影像进行粗纠正，如图4所示。然后提取SIFT特征，以SSIM为相似性测度初始匹配。根据3.2.2节中分析，既要保证正确匹配率，又要获得足够多的同名特征数，在试验中，设SSIM阈值为0.55。由3.2.3节中所述的视差和角度约束聚类，排除错误匹配，其中视差聚类和角度聚类的类数根据经验值分别设定为27和3，每一步匹配结果见表3。最后由RANSAC算法，根据透视变换模型由最小二乘获得变换参数，对SAR影像重采样得到配准后影像。SIFT特征匹配结果见图5，影像配准结果见图6。

由图4可以看出，经过粗纠正后，影像间旋转和分辨率差异已经消除。表3和图5是各步排除错误匹配后的结果。表3中每一步排除错误匹配后，正确匹配率都会提高，说明了各步排除错误匹配的有效性。图5为每一步排除错误匹配后的结果。试验1中汛期和枯水期水面覆盖差异很大，造成影像间差异也较大，但是由于SIFT特征是局部特征，采用尺度空间中稳定不变的关键点作为匹配特征，所以配准结果良好。试验2中图像纹理相对较丰富，由于SAR与光学影像中同一纹理信息表达经常不一致，获取同名匹配的难度增大，所以正确匹配数少于试验1。每组试验人工选取10组检查点，配准精度见表4。两组试验因为图像覆盖区域均比较平坦，所以达到了比较高的配准精度，匹配结果叠加显示见图6。

表3 错误匹配排除结果Tab.3 Result of eliminating of false matches

图4 基于影像间几何关系的粗纠正结果Fig.4 Result of the rough correction based on the geometry of the images

图6 本文方法影像配准结果Fig.6 The registration result of the proposed algorithm

6 结 论

表4 试验结果精度Tab.4 Accuracy of the registration 像素

本文提出了一种基于几何约束和改进SIFT的SAR影像和光学影像自动配准方法。试验结果表明，本文方法在SAR影像与光学影像之间具有较大差异的情况下，仍能获得较多精确稳定的同名特征，并且达到一定配准精度。因此本文方法可以较好地适用于星载SAR影像与可见光影像配准任务。但是由于受成像原理和几何定位精度影响，相对于同源影像精配准，本文方法所获得的同名特征数量远远不能满足要求，只在变形较小的地形平坦地区配准效果比较理想，山区和城区还不能适用，后续的研究应该是如何获取更多的精确稳定的同名特征，进一步提高SAR影像与光学影像的配准精度。

［1］ CHEN Fulong，ZHANG Hong，WANG Chao.Registration of High－resolution SAR Image and Optics Image Based on the Bridging－mode Constraint［J］.Remote Sensing Technology and Application，2006，21（3）：249－252.（陈富龙，张红，王超.基于跨接约束的高分辨率SAR影像与光学影像配准［J］.遥感技术与应用，2006，21（3）：249－252.）

［2］ YU Qiuze.Research on Synthetic Aperture Radar（SAR）Image Matching for Navigation［D］.Wuhan：Huazhong University of Science and Technology，2004.（于秋则.合成孔径雷达（SAR）图像匹配导航技术研究［D］.武汉：华中科技大学，2004.）

［3］ WANG Zilu.Study on Registration for SAR and Optical Satellite Image［D］.Changsha：National University of Defense Technology，2007.（王子路.星载SAR图像与光学图像配准方法研究［D］.长沙：国防科技大学，2007.）

［4］ LI Yuqian，PI Yiming，WANG Jinfeng.The Registration between SAR and Optical Image Based on Level Set［J］.Acta Geodaetica et Cartographica Sinica，2010，39（3）：276－282.（李雨谦，皮亦鸣，王金峰.基于水平集的SAR图像与光学图像的配准［J］.测绘学报，2010，39（3）：276－282.）

［5］ LI H，MANJUNATH B S，MITRA S K.A Contour－based Approach to Multisensor Image Registration［J］.IEEE Transactions on Image Processing，1995，4（3）：320－334.

［6］ JIA W J，ZHANG J X，YANG J H.Automatic Registration of SAR and Optics Image Based on Multi－features on Suburban Areas［C］∥2009Joint Urban Remote Sensing Event.Shanghai：IEEE，2009：1－7.

［7］ SHU L X，TAN T J.SAR and Spot Image Registration Based on Mutual Information with Contrast Measure［C］∥2007IEEE International Conference on Image Processing：5.San Antonio：IEEE，2007：429－432.

［8］ WANG F，VEMURI B.Non－rigid Multi－modal Image Registration Using Cross－cumulative Residual Entropy［J］.International Journal of Computer Vision，2007，74（2）：201－215.

［9］ LOWE D G.Distinctive Image Features from Scale Invariant Key Points［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［10］ YANG Xuemei，GONG Junbin，WANG Peng，et al.Registration Algorithm for SAR and Optical Images Based on Improved SIFT［J］.Aerospace Control，2010，28（6）：13－17.（杨雪梅，龚俊斌，王鹏，等.基于改进SIFT的SAR图像与可见光图像配准［J］.航天控制，2010，28（6）：13－17.）

［11］ GONG Junbin，ZHANG Dazhi，YANG Xuemei，et al.Automatic Registration Algorithm for SAR and Optical Images with Rotation and Scale Invariability［J］.Journal of Astronautics，2011，32（6）：1350－1358.（龚俊斌，张大志，杨雪梅，等.抗旋转和缩放的SAR与可见光图像自动配准算法［J］.宇航学报，2011，32（6）：1350－1358.）

［12］ WANG Z，CONRAD B A，RAHIM S H.Image Quality Assessment：From Error Visibility to Structural Similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600－612.

［13］ FISCHLER M A，BOLLES R C.Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］.Communications of the ACM，1981，24（6）：381－395.

［14］ YUE C Y，JIANG W S.An Automatic Image Registration Method Based on Geographic Coordinates［C］∥Proceedings of SPIE（7498）：MIPPR 2009：Remote Sensing and GIS Data Processing and Other Applications.Yichang：SPIE，2009：4232－4238.

［15］ JIANG Wanshou，YUE Chunyu.A Method and a Device for Rearranging Approximate Epipolar Images of Satellite Stereo Pair Based on Elevation Datum：China，201010112158［P］.2010－08－11.（江万寿，岳春宇.基于高程基准面的卫星立体影像像对近似核线生成方法以及装置：中国，201010112158［P］.2010－08－11.）

［16］ ZHAO Shuangming，LI Deren.Geometric Pre－process of ADS40Image［J］.Geomatics and Information Science of Wuhan University，2006，31（4）：308－311.（赵双明，李德仁.ADS40影像几何预处理［J］.武汉大学学报：信息科学版，2006，31（4）：308－311.）

［17］ LIU Jiaying.Geometry Constraints－based SIFT Feature Matching of Satellite Imagery［D］.Wuhan：Wuhan University，2009.（刘佳莹.基于几何约束条件的SIFT算子影像匹配［D］.武汉：武汉大学，2009.）

［18］ BEN Jin，ZHANG Yongsheng，TONG Xiaochong.Analysis of GeoTIFF and Usage of LibGeoTIFF Library［J］.Journal of Information Engineering University，2005，6（1）：94－98.（贲进，张永生，童晓冲.GeoTIFF解析及在遥感影像地理编码中的应用［J］.信息工程大学学报，2005，6（1）：94－98.）

An Automatic Registration Algorithm for SAR and Optical Images Based on Geometry Constraint and Improved SIFT

YUE Chunyu，JIANG Wanshou
State Key Laboratory of In formation Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan 430079，China

An automatic registration algorithm for SAR and optical images based on geometry constraint and improved SIFT is proposed.Firstly a rough correction of the rotation and scale differences depending on the geometry constraint is applied.Then the SIFT features extracted by the dominant direction improved SIFT from two images are matched by SSIM as the similar measure according to the structure information of the SIFT feature.And then，parallax and angle restrictions are introduced to improve the matching performance by clustering analysis in the angle and parallax domains.Finally，the perspective transform parameters for the registration are obtained by RANSAC algorithm with removing the false matches simultaneously.The whole process is done automatically.The proposed algorithm is effective in the registration of SAR and optical images with large differences.

SAR image；optical image；geometry constraint；scale invariant feature transform（SIFT）；automatic image registration；structure similarity（SSIM）

YUE Chunyu（1983－），male，PhD candidate，majors in remote sensing data processing.

JIANG Wanshou

YUE Chunyu，JIANG Wanshou.An Automatic Registration Algorithm for SAR and Optical Images Based on Geometry Constraint and Improved SIFT［J］.Acta Geodaetica et Cartographica Sinica，2012，41（4）：570－576.（岳春宇，江万寿.几何约束和改进SIFT的SAR影像和光学影像自动配准方法［J］.测绘学报，2012，41（4）：570－576.）

P223

A

1001－1595（2012）04－0570－07

国家863计划（2007AA120203）；国家973计划（2011CB707103）；国家自然科学基金（40930532）

丛树平）

2011－09－05

2011－12－20

岳春宇（1983－），男，博士生，研究方向为遥感图像处理。

E－mail：ycy1893＠163.com

江万寿

E－mail：jws＠whu.edu.cn