遥感影像匹配技术研究

郑 悦，程 红，孙文邦，苏清贺

（中国人民解放军空军航空大学 特种专业系，吉林 长春 130022）

航空影像覆盖的地面范围有限，为获得大规模地区的遥感影像以便判读等使用，需将两幅或多幅影像拼接起来，形成一幅覆盖面积较大的遥感影像。影像匹配就是完成多幅图像之间的对准和拼接的过程，以达到将待匹配图像和参考图像变换到统一坐标系中的目的。前人已经提出了许多基于特征和灰度的匹配方法，它们各有优缺点，目前常用的是基于点特征的匹配，但其存在对噪声敏感的缺点，最近又有人提出基于对图像的理解和解释的配准方法，用连续的物理模型来理解图像，但该方法尚不成熟。影像匹配技术在图像处理、军事侦察、图像镶嵌等领域有广泛应用。随着各项技术的发展，影像匹配将向快速、有效、高精度地完成大量遥感图像的自动匹配方向发展，实现影像匹配的实时化、快速化和智能化。

1 影像匹配的发展现状

影像匹配有两种类型：一是以某图像为参考图像进行匹配，即相互匹配，二是在同一地理坐标系下对图像进行匹配，即绝对匹配。影像匹配又分为空间域和频率域的匹配。空间域的匹配从影像的几何形变和灰度差的角度入手，具有精度高、速度快的特点，频率域的匹配涉及到空间域与频率域的转换，较复杂，要求较高。现有的影像匹配方法主要分为基于区域灰度、基于特征和基于对图像的理解和解释的匹配方法3类。基于区域的匹配方法是利用图像灰度之间的相似性，因此要求图像间光照，旋转差异等较小，且匹配前图像灰度基本一致；基于特征的匹配方法利用点、线等特征进行匹配，对图像畸变、遮挡等具有一定鲁棒性，但易受噪声影响，其匹配性能主要取决于特征提取的质量；基于对图像的理解和解释的匹配方法将数字图像理解为一连续的物理模型，可同时完成特征匹配和图像变换，是近年来研究的热点方向。

2 影像匹配方法

2.1 计算法

计算法[1]的主要思想是将一幅图像上的坐标g（x，y）经过坐标变换为 g[u（x，y），v（x，y）]，即求 u（x，y）、v（x，y）使得泛函（公式（1））最小，采用二项式逼近，泰勒公式展开，偏导求极值求出变换公式，经过变换即完成匹配。

计算法相比于位移匹配法，对两者之间的相似性进行了定量地描述，但该方法不适用于有旋转变换的图像。

2.2 区域匹配法

区域匹配法利用灰度值的相似性来确定两个影像块之间的对应关系，因此匹配前两图像的灰度应调节成基本一致。基本思想是采用某种度量方法来计算匹配搜索窗口内的灰度相关值，选取相关系数最大的一对窗口的影像作为最佳匹配结果。

2.2.1 模板匹配法

模板匹配步骤为：1）控制点的自动搜索；2）控制点对的筛选；3）图像重采样，在参考图像和待匹配图像上分别选择模板和搜索区域，且搜索区要大于模板，通过模板在搜索区内的移动，计算每一个位置两者之间的相似性，其中相似性最高的即为匹配点，对匹配点对进行多项式拟合，即可得到两幅图像之间的位移关系。该方法思路较简单，易理解，易编程实现，但模板选取尤为重要，模板位置要选取包含较多有用信息的区域，且大小适中，既要保证速度，又不影响精度。此外，该方法只是将模板在搜索区内移动，不适用于有旋转变形的图像，因此图像预处理时，对几何畸变校正要求高[2-3]。

2.2.2 互相关法

在参考图像中以输入点坐标位置为中心，割出一块作为模板，然后在待匹配图像中对应坐标位置割出一块较大的区域作为搜索区，两者之间的相似度采用下面相关系数ρ进行计算：

Xij、Yij为模板和搜索区在（x，y）处的灰度值为模板和搜索区的灰度均值，N1、N2为模板维数。该法易于理解，思路简单，但计算量大，且出现较大光照、色彩差异等情况时会匹配失败。针对几何变形较大的图像，Berthiksson[4]和Simper[5]将相关系数法推广用于仿射变形和镜头失准出现投影变换的图像匹配，经过不断研究，又出现了块匹配法和网格匹配法[6]。

2.2.3 互信息法

互信息[7]配准测度可用于衡量两幅图像中对应像素的图像灰度值之间的统计相关性，当图像在几何位置上对齐时互信息达到最大值。互信息定义为：

其中，p（i）（i=a，b）表示事件 i发生的概率，p（a，b）表示两个事件x，y，当x=a，y=b时的概率，再根据熵的定义，求取互信息的最大值，求得位移量。该方法避免了因分割图像面所带来的误差，具有精度高、稳定性强、无需进行预处理、能自动匹配进行批量处理的特点，且它以互信息作为相似性测度，提高了匹配速度，同时也得到较高配准精度。

2.3 特征匹配

区域匹配法是基于灰度的相似性进行匹配，而基于特征的匹配则是利用提取的抽象特征来进行匹配。这些抽象特征一般选取端点、直曲线、边缘、面等。其中面特征[8]选择精度很高，但计算量大；线特征[9]需对图像用边缘检测算子提取边缘，而这些算子对噪声敏感；点特征是现在最常用且效率较高的一种方法。这些特征选取的初值无需像区域匹配那样精确，但由于该类方法以“整像素”来定位，因此得到的是粗匹配位置，必须再利用最小二乘影像匹配法进行精匹配。基于特征特匹配方法的基本步骤为：1）特征提取；2）利用一组参数对特征作描述；3）利用参数进行特征匹配；4）根据特征匹配对确定变换参数。

2.3.1 点特征

1）Moravec算法

Moravec[10]算子是经典的点特征提取算子，它是利用灰度方差提取点特征的。其在4个主要方向上选择具有最大-最小灰度方差的点作为特征点，速度较快，但只考虑灰度变化的方差最值，所以对噪声较敏感，对边缘相应敏感，准确性不够。

2）Forstner算法

Forstner算子是著名的点定位算子，基本思想是：对于角点，对最佳窗口内每个像元的边缘直线（垂直于梯度方向）进行加权中心化，得到角点的定位坐标。该法可将定位精度提高到子像素，速度较快但低于Moravec算法，此外该算法还要确定阈值，受图像灰度、对比度变化的影响，张莉和汪大明针对其不足提出了将Forstner算子与Harris算子相结合的改进算法[11]。

3）Harris算法

该算法是Harris和Stephens[12]于1988年在Moravec算子的基础上提出的改进算法，是基于图像像素灰度值变化梯度的一种角点探测方法，采用一阶偏导来描述亮度变化，在角点附近，像素灰度值变化非常大的区域，其梯度也非常大。

Harris角点匹配方法[13]计算简单，特征点的提取分布均匀合理，适用于任意角度的旋转变换，以及灰度变化、噪声影响和视点的变换，具有较好的稳定性，一致性和有效性，但该方法不具有尺度不变性，提取的角点是像素级的，检测时间有待提高，而且判断角点时设置的阈值T要根据图像各类属性来确定的，要想选择合适的阈值有一定难度[14]。

4）MIC 算法

MIC算法[15]是基于CRF提出的，该算法对每个像素基于其邻域的灰度计算CRF值，大于某一阈值且为局部最大值的像素点被认为是角点。该算法精度高、稳定性好、对噪声具有鲁棒性且计算快，但由于噪声影响，有些图像边缘模糊，选取模板不够大时会遗漏角点，而对比度明显的边缘，大模板又会使角点定位不准确。杨莉等经过改进，提出了模糊度的概念[16]，用模糊度概念进行自适应窗口插值减少了以往最小亮度变化角点检测普遍采用固定窗口插值所造成的漏检和虚报概率。

以上基于点的特征提取方法，为了提高精度，可以采用双向匹配法。即设在参考图像上的特征点（x，y）已在待匹配图像上获得同名点（u，v），再通过（u，v）在参考图像上寻找它的同名点（x′，y′），若（x，y）和（x′，y′）间相差距离小于一个像素，则（x，y），（u，v）认为是同名点，否则认为不是同名点。 这样可以剔除误匹配点，提高匹配的精度。

2.3.2 线特征

1）比值法

利用图像上间隔一定距离的2列上的部分像素，即在前一幅图像的重叠区域部分选取两列上的部分像素，用它们的比值作为模板，然后在另一幅图像上由左至右依次从间距相同的2列上取部分像素，逐一计算其对应像素比值，再将这些比值依次与模板进行比较，选取最小差值对应的列就是最佳匹配位置。

比值匹配法[17]应选取包含较多特征信息的列向量作为比值模板。其速度较快，当图像本身质量较好时，匹配精度较高，效果很好，但对特征不明显，灰度变化小的两幅图像进行匹配时，其稳定性欠佳，易造成误匹配，不适于高精度配准要求。另外，对于像素点较多且重叠区域很大的图像，有时会出现计算量较大从而导致实时性较差的情况，且匹配后的痕迹也会在一定程度上影响图像的可视效果。冉柯柯、王继成在此基础上提出了一种基于比值法的等比例改进算法 [18]，该方法能够更快更准地找到最佳匹配位置，有效的消除误匹配，提高了算法的准确性。

2）轮廓法

①LOG算子法

LOG算子[19]是 Laplacian算子和 Gussian算子的结合，Laplacian算子在灰度变化的边界产生一个陡峭的零交叉，用于边缘检测，而Gussian算子则用于降低噪声的影响。首先根据图像本身及轮廓的特性确定LOG算子的离散化模板，用它对图像做卷积，然后分别在垂直和水平方向检测符号变化的点（过零点）作为边界点，将相邻边界点连成完整的轮廓曲线，再使用最短距离（最小方差）准则选取可能的轮廓匹配组合。

该法原理较简单，但实现存在一定困难。由于LOG算子本身特性以及边界线可能不是单像素宽，因此根据算法得到的边界结果会不唯一，不利于轮廓描述的唯一性和相似性判别。此外，由于图像本身特性和噪声影响，会出现两条轮廓线相交，产生T形连接，若使用爬虫法跟踪连续边界，则会出现方向错误而产生错误轮廓线，或由于将交点归于错误的轮廓而造成不连通[20]。

②相位相关法

首先提取出图像的轮廓，然后对两幅图像进行傅里叶变换，求出它们的互功谱，再进行傅里叶逆变换，得到二维函数阵列中最大峰值所对应的位置作为图像间的拼接平移量。

该法[21]利用傅立叶变换的函数平移和缩放在频率域都有其对称性的良好性质。对图像间的亮度变化不敏感，有一定抗干扰能力，得到的相关峰尖锐突出，位移检测范围较大，具有较高精度，但噪声对匹配精度影响较大。Reddy和Chaterjit[22]提出了基于快速傅立叶变换的匹配方法，利用极坐标变换和互功率谱，对具有平移、旋转等变换的图像也能实现精确配准。

2.4 基于对图像的理解和解释的配准方法

随着对图像理解研究的不断深入，可以把一幅数字图像理解为一个连续的物理模型采样，而不同于上述方法中认为图像是由一系列离散点无规律的组合而成，这个物理模型可以是弹性材料、流体材料等。

该方法可同时实现特征匹配和图像变换。对局部的变形敏感，当图像变形比较严重时，特征描述也会随变形而变化，若按传统的基于像素模型的匹配则难以建立匹配关系，而基于物理模型的方法则可以很好地解决这一问题，但目前该方法还不成熟，是近年来研究的热点方向[23]。

2.5 优缺点对比分析

现有的影像匹配方法主要分为基于区域、基于特征和基于对图像理解和解释的匹配三类。基于区域的匹配简单直观，易于实现，但计算量很大，它是利用灰度值的相似性进行匹配，因此匹配前两幅图像的灰度要调成基本一致，而且该类方法一般要求图像间光照，旋转差异等较小。其中，模板法应注意选取包含有用信息多，大小适中的模板以保证匹配速度和精度，互信息匹配法避免了因分割图像面所带来的误差，精度高，稳定性强，且无需进行预处理，可批量处理，兼顾到了速度和精度。基于特征的匹配对图像畸变、遮挡等具有一定的鲁棒性，但特征提取易受噪声影像；基于线特征的匹配中比值法适用于特征明显的图像；相位相关法利用傅里叶变换的良好特性，精度较高；基于对图像的理解和解释的匹配方法将数字图像理解为一个连续的物理模型，可同时完成特征匹配和图像变换，是目前图像匹配研究的热点方向。另外，位移匹配法是靠肉眼的敏感性进行观察来寻找最优位置，原理简单，但操作复杂，存在误差；等距匹配法[24]可快速实现匹配，但精度差，误差大；计算法通过寻找两幅图像之间的变换关系式完成匹配；进过不断研究和发展，还有许多人提出了基于影像直方图不变矩，基于小面元的匹配方法，结构匹配，高精度自动拼接算法和基于遗传算法等智能算法[25]的影像匹配技术。

3 结束语

遥感影像匹配技术是图像镶嵌，侦察探测，摄影测量学，图像处理等方面的关键技术，匹配质量直接影响图像向前后的精确度和效果。因此，影像匹配要尽量精确，剔除误匹配。笔者总结的影像匹配方法各有优缺点，很难找到一种算法原理简单，计算量不大，精确度也高的通用方法，因此，如何将多种方法结合起来，利用各自的优点，是未来需要解决的问题。另外，寻找能够适应图像多样性和批量处理的自动匹配方法也将成为以后的一个研究热点方向。

[1]金素明，李增元.SAR图像自动镶嵌系统[D].中国林业科学研究院.2001.

[2]刘忠红，储珺.特征提取与模板匹配结合的图像拼接方法[J].微计算机信息（测控自动化）.2010， 26（1-1）:117-118.LIU Zhong-hong，CHU Jun.Feature extraction and template matching combined with image stitching method[J].Micro-Computer Information （Monitoring and Control Automation）.2010， 26 （1-1）:117-118.

[3]朱远平，夏利民.一种适用于图像拼接的自适应模板匹配算法[J].计算机工程与应用，2003（31）:109-112.ZHU Yuan-ping，XIA Li-min.One for the image mosaic of adaptivetemplatematchingalgorithm[J].ComputerEngineering and Applications，2003（31）:109-112.

[4]Berthilsson R.Affine correlation[C]//Proceedings of the 14th International Conference on Pattern Recognition ICPR′98，Brisbane，Australia，1998，2:1458-1461.

[5]Simper A.Correcting general band-to-band misregistrations[C]//Proceedings of the IEEE International Conference on Image Processing ICIP′96，Lausanne，Switzerland，1996，2:597-600.

[6]HAN Xiao-wei，YAN Lei，ZHAO Hong-ying.An approach of fast image mosaic based on binary region segmentation[C]V/27th International Congress on High-Speed Photography and Photonics.Proc.SPIE.2007，6279:627957-1.

[7]魏雪丽，张桦，马艳洁，等.基于最大互信息的图像拼接优化算法[J].光电子·激光，2009，20（10）:1399-1402.WEI Xue-li，ZHANG Hua，MA Yan-jie，et al.Maximum mutual information based image stitching algorithm optimization[J].Optoelectronics Laser.2009，20（10）:1399-1402.

[8]Batter J.Pelizzari C.Chen G.Correlation of projection radio graphs in radiation therapy using open curve segments and points[J].Med Phys.1992，19:329-334.

[9]Medioni G，Nevatia R.Matching images using linear features[J].IEEE Trans.On Pattern Analysis and Machine Intelligence，FAMI-6，1984，675-685.

[10]Mallat S.Singularity detection and processing with wavelets[J].IEEE Trans.On Information Theory，1992，IT-38（2）:617-645.

[11]刘奇，何明一.基于SURF特征匹配的图像拼接算法[J].测控技术.2010，29（10）:27-31.LIU Qi，HE Ming-yi.Image stitching based on SURF feature matching[J].Control Technology.2010，29 （10）:27-31.

[12]Harris C G，Stephens M.A combined corner and edge detector[C]//Proceeding of the 4 th Alvey vision Conference Manchester，1988:147-151.

[13]姚伟，胡茂海，秦晅，等.改进的基于特征点匹配的图像拼接算法[J].红外技术，2010，32（5）:288-290.YAO Wei，HU Mao-hai，QIN Xuan，et al.Improved image mosaic allgorithm based on feature opimtmatching[J].Infrared Technology，2010，32（5）:288-290.

[14]侯艳杰，曹杰.一种基于Harris角点特征的图像拼接方法[J].信息化研究，2010，36（10）:23-25.HOU Yan-jie，CAO Jie.An image mosaie method based on Harris cornen feature[J].Informatization Research，2010，36（10）:23-25.

[15]Miroslav T，Mark H.Fast corner detection[J].Image and Vision Computing，1998，16（1）:75-87.

[16]倪维平，边辉，严卫东.基于兴趣点检测和仿射变换模型的序列图像拼接[J].激光与红外，2009，39（3）:330-334.NI Wei-ping，BIAN Hui，YAN Wei-dong.Sequential images mosaic based on interest-point deteetion and affine transform model[J].Laser and Infrared，2009，39（3）:330-334.

[17]曹刚，赵耀，倪蓉蓉.基于边缘CFA内插特征一致性的图像拼接检测[J].东南大学学报：自然科学版，2009，39（3）:459-463.CAO Gang，ZHAO Yao，NIRong-rong.Image splicing deiection based on consistency of edge-based CFA interpolation features[J].Journal of Southeast University：Natural Science Edition，2009，39（3）:459-463.

[18]冉柯柯，王继成.基于比值法图像拼接的等比例改进算法[J].计算机技术与发展.2010， 20（2）：5-8.RAN Ke-ke，WANG Ji-cheng.An improued moscuic algorithm based on ratiomatching using geometric proportion[J].Computer Technology and Development，2010，20（2）：5-8.

[19]蒋加伏，谭蓉，杨鼎强.基于轮廓特征和小波变换的图像拼接[J].计算机工程，2009，35（3）:225-226.JIANG Jia-fu，TAN Rong，YANG Ding-qiang.Image mosaic based on contour feature and wavelet transform [J].Computer Engineering，2009，35（3）:225-226.

[20]张静，胡志萍，刘志泰，等.基于轮廓相位相关的图像自动拼接[J].大连理工大学学报，2005，45（1）:68-74.ZHANG Jing，HU Zhi-ping，LIU Zhi-tai，et al.Image automatic mosaics based on contours phase correlation[J].Journal of Dalian University of Technology， 2005， 45 （1）:68-74.

[21]王志强，程红.数字图像镶嵌技术综述[J].影像技术.2008（2）:11-14.WANG Zhi-qiang，CHENG Hong.A review on digital image mosaic technique[J].Imaging Technology，2008 （2）:11-14.

[22]Reddy B C，Chatterji B C.An FFT-based technique for transaction，rotation and scale invariant image registration[C]//IEEE Transaction on Image Processing，1996.

[23]苏清贺，程红，孙文邦.遥感图像配准方法研究[J].红外.2010， 31（10）:1-6.SU Qing-he，CHENG Hong，SUN Wen-bang.Over review of remote sensing image registration[J].Infrared，2010，31（10）:1-6.

[24]樊庆文，王小龙，侯力，等.基于等距序列图像的快速拼接技术[J].四川大学学报：工程科学版，2005，37（1）:139－142.FAN Qing-wen， WANG Xiao-long， HOU Li， etal.Speediness Mosaic thchnology based on isometry serial images[J].Sichuan University：Engineering Science，2005，37（1）:139－142.

[25]马新娜，雷宇，姚雄伟，等.遗传算法在图像匹配中的研究与改进[J].中国有线电视，2005（07）:646－648.MA xin-na，LEI Yu，YAO Xiong-wei，et al.Research and improvement of genetic algorithms in image matching[J].China’s Cable Television，2005（07）:646－648.