遥感图像配准技术的研究进展

刘莹莹，周美霞

（安徽理工大学 测绘学院，安徽 淮南 232001）

随着遥感技术的迅速发展，我们可以通过更多的途径获取遥感数据，同时国内外也已经研制出许多不同类型的遥感器，应用在各个领域中。遥感是至今唯一能随时获得全球实时动态数据的一种方法。遥感图像的成像模式有许多种，其得到的数据类型、波段特征也有不同，因此在融合遥感影像数据时就会遇到很多问题。而在进行数据融合之前，首先就应该进行图像配准，然后在配准后的图像基础上进行融合，最后才能完成所需要的各种处理如特征提取等。图像配准在许多领域已经有广泛的应用，如航空航天技术、军事侦察、计算机视觉等。在现代化技术迅速发展的促进下，遥感图像的配准技术也将会变得更加快速，效率更高，精度更高，真正地实现实时化、快速化和智能化的图像配准技术。

1 图像配准的基本步骤

图像配准是在不同的时间或是采用不同的传感器或是不同的视角，对同一景物上获得的两幅或多幅图像进行识别、叠加的过程①孙业超,李杏朝,吕讲安：《基于自适应尺度的遥感影像渐进配准》，《中国科学:信息科学》2011年第41期(增刊)，第 55-65 页。，主要分为以下四个步骤②B.Zitova′,J.Flusser.Image registration methods:A survey， Image and Vision Computing,2003(21):977-1000.：特征提取、特征匹配、配准模型的确定和图像重采样③W.Fêrstner.A feature based correspondence algorithm for image matching，International Archives of Photogrammetry and Remote Sensing,1986,26(3):150-166.。

(1)特征提取。图像特征主要包括统计特征和空间特征④王瑞瑞,马建文,陈雪：《多源遥感影像自动配准技术的研究进展》，《遥感信息》2011年第3期，第121-127页。。统计特征有互信息、差平方和等，首先对图像中某个区域的所有像元灰度值进行统计，然后再从中提取需要的特征值。空间特征指点、线、面以及由其组合成的复合特征。在提取特征的时候应提取比较明显、抗干扰性强的特征。

(2)特征匹配。统计特征主要是根据对应区域统计特征的相似性来选取最佳匹配值；空间特征首先由一组参数即特征描述符来表达，然后基于特征描述符之间的相似性或者距离来选取同名特征。

(3)配准模型的确定。首先根据基准图像和待配准图像的类型确定具体采用的配准模型以及参数计算的方法，然后根据同名特征匹配点对计算配准模型的参数①W.Fêrstner.A feature based correspondence algorithm for image matching，International Archives of Photogrammetry and Remote Sensing,1986,26(3):150-166.。

(4)图像重采样。根据配准模型对待配准图像进行转换，对位于非整数行列上的图像像素灰度值，选取一种内插方法进行计算得到，最后得到配准后的图像。

2 遥感图像配准技术

近年来国内外许多学者对遥感图像配准技术进行了深入的研究，提出了各种方法，主要分为3类：基于区域灰度的配准方法，基于图像特征的配准方法，基于对图像的理解和解释的配准方法。

2.1 基于区域灰度的配准方法

基于区域灰度的配准方法主要利用一定区域中灰度的统计特征信息来识别同名特征点，通常使用的灰度统计信息包括对应像素的差平方和②P.Th′evenaz,U.E.Ruttimann,M.Unser.A pyramid approach to subpixel regist-ration based on intensity，IEEE Transactions on Image Processing,1998,7(1):27-41.、相关函数③A.Goshtasby,S.H.Gage,J.F.Bartholic.A two-stage cross correlation approach to template matching，IEEE Transactions on Pattern Analysis and Machine Intelligence,1984(PAMI26):374-378.、归一化互相关系数④T.Kim,Y.Im.Automatic satellite image registration by combination of matching and random sample consensus[J].IEEE Transaction on Geoscience and Remote Sensing,2003,41(5):1111-1117.、互信息⑤F.Maes,A.Collignon,D.Vandermeulen,etal.Multimodality image registration by maximization of mutual information[J].IEEE Transactions on Medical Imaging,1997(16):187-198.、梯度⑥R.Shams,R.A.Kennedy,P.Sadeghi,R.Hartley.Gradient intensity-based regist-ration of multi-modal images of the brain[C]//IEEE 11th International Conference on Computer Vision(ICCV 2007),2007.、相位相关⑦A.Wong,D.A.Clausi.ARRSI:Automatic registration of remote sensing images，IEEE Transactions on Geoscience and Remote Sensing,2007,45(5):1483-1493.等⑧王瑞瑞,马建文,陈雪：《多源遥感影像自动配准技术的研究进展》，《遥感信息》2011年第3期,第121-127页。。基本思想是首先选择一种度量方法，然后用这种方法对待配准的搜索窗口计算灰度相关值，则窗口相关值最大的即为最适宜的结果。

在以往的研究中已经有很多基于区域灰度的配准方法，下面对其中几种经典方法进行简单的对比分析。

2.1.1 模板匹配法

模板匹配步骤为：1）控制点的自动搜索；2）控制点对的筛选；3）图像重采样，在参考图像和待匹配图像上分别选择模板和搜索区域，且搜索区要大于模板，通过模板在搜索区内的移动，计算每一个位置两者之间的相似性，其中相似性最高的即为匹配点，对匹配点对进行多项式拟合，即可得到两幅图像之间的位移关系⑨郑悦，程红，孙文邦，苏清贺：《遥感影像匹配技术研究》，《电子设计工程》2011年第20期,第97-109页。。此方法最重要的就是在于如何选取模板，应该选择那些范围适中、信息比较集中且有效的区域，力求高效高精度。这种方法比较简单，容易通过编程进行实现，但是不能对有旋转变形的图像进行处理。

2.1.2 互相关法

该方法是1982年Rosenfeld提出的一种基于灰度统计的配准法，以一个点坐标为中心先确定一个模板，然后再确定同样大小的搜索图像，计算两个图像间的相关值，最大值的位置即为所需窗口。其中，相关值可通过式（1）来计算：

式中，Aij为基准图像的像素值，Bij待配准图像的像素值，A为基准图像的像素平均值，待配准图像的像素平均值⑩苏清贺，程红，孙文邦：《遥感图像配准方法研究——综述》，《红外》2010年第10期,第1-7页。。通过式（1）可知此方法的计算量很大，但是使用到的思想比较简单明了，很容易实现，其不足之处是图像存在较大的旋转或是图像的光照以及色彩差异比较大的时候配准结果比较差，会出现误配准的情况。当遇到出现较大几何变形的图像时，Berthiksson①Berthilsson R.Affine correlation [C]//Proceedings of the 14th International Conference on Pattern Recognition ICPR’98,Brisbane,Australia,1998,2:1458-1461.和Simper②Simper A.Correcting general band-to-band misregistrations[C]//Proceedings of the IEEE International Conference on Image Processing ICIP’96,Lausanne,Switzerland,1996,2:597-600.也对此方法进行了改进，提出了新的方法，对于其他出现的问题，通过对式（1）的改进也提出了网格匹配法③Xiaowei Han,Lei Yan,Hongying Zhao.An approach of fast image mosaic based on binary region segmentation[J].SPIE,2007,6279:57-62.等新方法。

2.1.3 互信息法

互信息④魏雪丽,张桦,马艳洁等：《基于最大互信息的图像拼接优化算法》，《光电子·激光》2009年第10期，第1399-1402页。配准法可用于衡量两幅图像中对应像素的图像灰度值之间的统计相关性，当图像在几何位置上对齐时互信息达到最大值。互信息定义为：

其中，p(i)(i=a,b)表示事件i发生的概率，p(a,b)表示两个事件 x，y，当 x=a，y=b 时的概率，再根据熵的定义，求取互信息的最大值，求得位移量⑤A.Wong,D.A.Clausi.ARRSI:Automatic registration of remote sensing images，IEEE Transactions on Geoscience and Remote Sensing,2007,45(5):1483-1493.。该方法加快了配准的速度，也提高了图像配准的精度，可以自动进行配准以及批量处理。

2.1.4 最小二乘法

最小二乘法⑥杨先武,李彩露,韦春桃：《遥感影像配准方法探讨》，《科技信息》2010年第7期，第397-406页。是一种通过对图像窗口内的信息进行平差计算而得到非常高精度配准结果的方法。图像配准中最常见的用来进行配准度量的是灰度差的平方和最小。用余差v来表示灰度差，则表达式为：

最小二乘法进行图像配准的准则是“相关系数最大”，其残余灰度差的平方和计算公式：

图像配准算法采用目标区相对于搜索区不断地移动一个整像素，在移动的过程中，计算相关系数，搜索最大相关系数的影像区作为同名像点⑦张莉,汪大明：《Forster算子及其改进》，《北京工业职业技术学院学报》2007年第3期，第17-18页。。其搜索过程可以用以下式子予以表示：

其中－k≤i≤k;-1≤j≤1 k，1 为正整数，△为数字影像的采样间隔。

2.2 基于图像特征的配准方法

在各种图像配准的方法中，经常使用的是基于图像特征的配准法，区域匹配法是基于灰度的相似性进行匹配，而基于特征的匹配则是利用提取的抽象特征来进行匹配⑧苏清贺，程红，孙文邦：《遥感图像配准方法研究——综述》，《红外》2010年第10期，第1-7页。。通常选取点、线、面等特征进行配准，其中面特征配准的精度最高但是效率比较低，而点特征是最常用且又高效的一种方法。这些特征选取的初值无需像区域匹配那样精确，但由于该类方法以“整像素”来定位，因此得到的是粗匹配位置，必须再利用最小二乘影像匹配法进行精匹配。一般的步骤是：1）提取所需特征；2）对提取的特征用一定的参数进行描述；3）进行特征匹配；4）根据特征匹配对确定变换参数。以下是一些特征提取的方法，本文对这些方法的原理和优缺点进行了简单的介绍。

2.2.1 点特征

（1）Moravec 算法

该方法是1977年Moravec提出的，它利用了灰度方差的方法在四个主要方向上提取特征点。其基本步骤：1)计算每个像元的兴趣值IV；2）确定一个阈值，如果某点的兴趣值大于该阈值则为候选点，在确定阈值的时候应该考虑到让候选点中包括需要的那些特征点，但是候选点中的非特征点也不能含有太多；3）比较各候选点，其中极值点对应的候选点则作为特征点①苏清贺，程红，孙文邦：《遥感图像配准方法研究——综述》，《红外》2010年第10期，第1-7页。。

在进行点特征提取的方法中Moravec算法是一种比较有权威的方法，在此之后的很多关于点特征提取的方法都是在此基础上进行修改、完善而得到的。该方法的速度很快，但是其对图像的噪声和边缘比较敏感，所以精度不太高。

（2）Forstner算法

该方法的主旨是在最佳窗口内对每个像元垂直于梯度方向的边缘直线进行加权中心化处理，其一般步骤为：首先计算每个像素的Robert梯度，同时计算1×1窗口中灰度的协方差矩阵；然后根据计算的兴趣值q与w已经以上的计算结果得出一些待选点；最后选出最终的极值点。

该方法的速度很快而且精度很高，但是仍有很多不足之处。因此张莉和汪大明在2007年又提出了一种改进算法，它是将Forstner算子与Harris算子相结合的一种算法②杨先武,李彩露,韦春桃：《遥感影像配准方法探讨》，《科技信息》2010年第7期，第397-406页。。

（3）Harris算法

这种方法是Harris和Stephens于1988年在Moravec算子的基础上提出的改进算法，是基于图像像素灰度值变化梯度的一种角点探测方法，采用一阶偏导来描述亮度变化。该方法计算简单，特征点的提取分布均匀合理，适用于任意角度的旋转变换，以及灰度变化、噪声影响和视点的变换，具有较好的稳定性、一致性和有效性，但该方法不具有尺度不变性，提取的角点是像素级的，检测时间有待提高，而且判断角点时设置的阈值T要根据图像各类属性来确定的，要想选择合适的阈值有一定难度。

（4）MIC 算法

MIC算法是Trajkovic等人基于CRF（角点响应函数）提出的，首先设定一阈值，通过对每个像素邻域的灰度计算角点响应函数值，若某像素点大于该阈值且是局部范围内最大值时则认为其是角点。该方法具有很快的速度，且拥有很高的精度但由于噪声影响，导致有些图像边缘模糊，在选取的图像模板不够大时会遗漏角点，而对比度明显的边缘，大模板又会使角点定位不准确。后来杨莉等人对此方法进行了完善，提出了模糊度的概念③杨莉，初秀琴，李玉山：《最小亮度变化角点自适应检测算法研究》，《西安电子科技大学学报》2003年第4期，第530-533页。。它采用了自适应窗口插值，而之前的方法则是使用了固定窗口插值，相比于以往的方法它降低了漏检和虚报概率④苏清贺，程红，孙文邦：《遥感图像配准方法研究——综述》，《红外》2010年第10期，第1-7页。。

（5）SUSAN 算法

该算法是一种SUSAN角点检测算法⑤Smith S M,Brady J M.SUSAN-a new approach to low level image processing,.International Journal of Computer Vision,1997,23(1):45-78.，是Smith和Brady在1997年提出的，它是首先一个点为中心确定一个小区域，然后计算此区域内亮度值的分布情况，最后在根据计算结果来判定平滑区域、边缘和角点。而后贺菁等人又对此算法进行改进，提出了一种基于方向性SUSAN算子的角点特征提取方法⑥贺菁，李庆华，王新赛：《基于方向性SUSAN算子的图像角点特征提取》，《小型微型计算机系统》2008年第3期，第508-510页。。

（6）Trajkovic 算法

MiroslavTrajkovie和MarkHedley在1998年提出了Trajkovic角点检测算子⑦Trajkovic M,Hedley M.Fast corner detection,Image and Vision Computing,1998,16(2):75-87.，此算法减少了计算量，也达到了较好的稳定性和定位精确度。该方法的计算速度很快，比Harris算子要快了5倍以上，而相对于其它所有比较算子则应是3倍以上。但是它的稳定性不如Harris算子，但是在检测L型、T型等连接处的角点时相比于Harris算子则更精准些。此外该方法的精度也比较高。

（7）SIFT/SURF 算法Lowe在1999年首次提出SIFT(scale invariant feature transform)算法，并于2004年进行总结完善。该算法使用了图像金字塔结构，简化了点特征提取的过程，减少了计算量，加快了计算速度。SIFT/SURF算法由于主方向的原因可能会导致匹配失败，于是刘瑞桦和王岩光提出了R-SURF①Ruihua Liu,Yanguang Wang.SAR image matching base on speeded up robust feature:GCIS’09 WRI Global Congress,2009，Xianmen,518-522.算法，它是将RANSAC与SURF相结合的一种算法，先是利用SURF算法提取出特征点，然后采用RANSAC算法来提取出错误的配准点并将其去除，该算法的计算速度比较快，效率也很高。

2.2.2 线特征

（1）比值法

该方法的基本步骤是先选取部分像素并取其比值为模板，应在两幅图像中重叠部分的归属的一幅图像中的两列上进行选取，之后再按一定的顺序依次选择另一幅图像上的对应两列中的部分像素，将两列上得到的像素值计算像素比，则最佳匹配位置应该是模板值与对应像素比值差值最小时所对应的列。

比值匹配法②曹刚,赵耀,倪蓉蓉：《基于边缘CFA内插特征一致性的图像拼接检测》，《东南大学学报》（自然科学版）2009年第3期，第459-463页。应选取包含较多特征信息的列向量作为比值模板③郑悦，程红，孙文邦，苏清贺.：《遥感影像匹配技术研究》，《电子设计工程》2011年第20期，第97-109页。。该方法具有比较快的运算速度，在处理质量比较好的图像时具有较高的精度，但是在处理特征变化比较小的图像时容易造成错误，所以对于高精度的配准要求时就不能使用此方法。同时在处理像素点较多且重叠区域很大的图像时其配准精度就会受影响，而且其显示效果也不好。由于该方法有很多局限性，所以之后冉柯柯、王继成又提出一种配准精度更高的基于比值法的等比例改进算法。

（2）轮廓法

①LOG算子法

该方法是将Laplacian算子和Gussian算子结合起来的一种方法，既可以进行边缘检测同时也降低了噪声对配准结果的影响。该方法的基本步骤是：（1）先确定出该方法的一个离散化模板，该模板的选择应根据图像本身已经轮廓的特性而决定，然后用此模板对图像做卷积。（2）在图像的垂直和水平方向找到符号变化的点并用这些点作为边界点。（3）用曲线将得到的相邻的边界点连接起来，得到了轮廓曲线，最后用最小方差准则选择可能的轮廓配准组合。

该方法的原理比较简单，但是有可能得到的轮廓线不唯一而导致配准结果的错误，故其准确度不高且在程序实现时比较难。

②相位相关法

该方法利用傅立叶变换的函数平移和缩放在频率域都有其对称性的有利因素，其实现的基本方法是：先提前出两幅图像的轮廓，然后对两幅图像进行傅里叶变换，求出它们的互功谱，再进行傅里叶逆变换，得到二维函数阵列中最大峰值所对应的位置作为图像间的拼接平移量。该方法的配准精度很高，但是图像存在较大噪声时配准精度就会受很大影响，而图像的亮度变化则在一定程度上不会影响配准精度。而后Reddy和Chaterjit又对该方法进行了改进，提出了一种利用极坐标变换和互功率谱的基于快速傅里叶变换的配准方法，尤其在图像有平移、旋转等变换时具有很高的配准精度。

2.3 基于对图像的理解和解释的配准方法

基于区域灰度的配准方法与基于图像特征的配准方法都是把图像看作是一系列离散点的无规律组合，当图像变形比较复杂的时候，特征描述会随着变形发生变化，要实现图像的配准是几乎不可行的。而基于对图像的理解和解释的配准方法则是把一幅数字图像理解为一个连续的物理模型采样，它实现了特征匹配和图像变换，很好地解决了具有复杂变形的图像的配准问题。

2.3.1 弹性模型

1981年，Briot首次将该方法应用在医学图像配准中，该方法把图像看作是受力后会发生位移的弹性材料，之后他又提出了其他算法，比如多分辨率弹性体匹配模型、混合弹性模型、有限元法以及基于活动表面的迭代算法等，其中利用弹性力学中的能量最小化原理则产生了有限元法。弹性模型法仍处于发展阶段，很多问题仍需要进行深入的研究，其中有限元法的技术关键是边界条件计算和迭代算法的实现，尤其是处理具有很大数据量的遥感图像。

2.3.2 光流场模型

该方法的思想源自于计算机视觉研究，它把物体运动时形成的连续变化的图像看作一种光的“流”，简称为光流，而它包含了物体运动的信息。同样的原理，把图像的变形看作是物体运动形成的光流，进而再进行图像配准。光流场模型的计算有很多种模型，包括差分类模型、基于能量的模型和基于相位的模型等①苏清贺，程红，孙文邦：《遥感图像配准方法研究——综述》，《红外》2010年第10期，第1-7页。。

2.4 优缺点对比分析

以上对于图像配准方法进行了简单介绍，下面总结一下各种方法的优缺点。基于区域灰度的配准方法简单直观，易于实现，很多灰度配准方法可以实现几何、辐射一体化配准；但是在图像间光照和旋转差异比较小的时候该类方法才会有很好的配准结果。其中模板法最重要的就在于如何选取模板，应该选择那些范围适中、信息比较集中且有效的区域，力求高效高精度。这种方法比较简单，容易通过编程进行实现，但是不能对有旋转变形的图像进行处理。互信息法加快了配准的速度，也提高了图像配准的精度，可以自动进行配准以及批量处理。相对于基于区域灰度的配准方法，基于图像特征的配准法其配准结果就更准确。该方法对于特征密集或者分布均匀的图像其配准结果比较精确，而且图像配准的结果与图像特征提取的精度有很大关系，也容易受图像噪声的影响。其中Moravec算法是点特征提取中一种很经典的方法，该方法的速度很快，但是其对图像的噪声和边缘比较敏感，所以精度不太高。基于线特征的比值法适用于特征明显的图像；该方法具有比较快的运算速度，在处理质量比较好的图像时具有较高的精度。而基于对图像的理解和解释的配准法把图像看作是一系列离散点的无规律组合，可同时完成特征匹配和图像变换，很好地解决了具有复杂变形的图像的配准问题，是目前研究图像配准方法的热点方向。

3 总结与展望

在图像处理技术和计算机技术迅速发展的带动下，图像配准技术也发生了很大变化，得到了很好的发展，已广泛应用在图像镶嵌、摄影测量学、超分辨率图像处理等领域。本文对遥感图像配准的技术进行了总结，并将其分为基于区域灰度的配准方法、基于图像特征的配准方法、基于对图像的理解和解释的配准方法这三种方法，同时对每一种方法的原理、优缺点进行了简单介绍。图像的配准质量直接影响图像的精确度和效果，虽然目前对遥感图像的配准技术进行了很多研究，但是仍然存在很多问题。目前遥感图像配准技术大都是半自动的，如何实现自动配准和快速配准是一个难题。遥感图像配准涉及到遥感原理、数字图像智能处理等多方面的知识，因此如何在现有的配准方法基础上综合利用其各自的优点，实现一种原理简单、计算量不大、精度高，且能提高遥感图像配准的鲁棒性、自动化程度、运算速度和适用性的算法，将是未来发展的一大方向。