基于FAST和SURF的遥感图像自动配准方法

李 慧，蔺启忠，刘庆杰

(1.中国科学院对地观测与数字地球科学中心，北京 100094;2.中国科学院数字地球科学重点实验室，北京 100094;3.中国科学院研究生院，北京 100049)

基于FAST和SURF的遥感图像自动配准方法

李 慧1，2，3，蔺启忠1，2，刘庆杰1，2

(1.中国科学院对地观测与数字地球科学中心，北京 100094;2.中国科学院数字地球科学重点实验室，北京 100094;3.中国科学院研究生院，北京 100049)

提出了基于加速分割检测特征(features from accelerated segment test，FAST)和加速鲁棒性特征(speeded－up robust features，SURF)的遥感图像自动配准方法。首先对参考图像与待配准图像进行HSI变换和高斯金字塔建立;然后检测并提取FAST角点，计算各角点的SURF描述子，用K－D树匹配搜索策略得到2幅图像的匹配点对;再使用最小二乘迭代法剔除错误匹配点并拟合几何变换系数;最后执行几何变换，得到配准后的图像。将该方法分别与基于SURF自动配准方法和ENVI软件中自动获取配准点的方法进行对比实验，结果表明，利用该方法能够获得更多的匹配点对，具有更高的几何配准精度，但在尺度不变性方面略逊于SURF算法。

遥感图像;自动配准;FAST;SURF;高斯金字塔

0 引言

图像配准是多源遥感图像融合、镶嵌以及变化检测等处理的基本步骤，是多源遥感数据在重大环境与灾害问题中应急响应的关键技术之一，可分为基于区域的自动配准方法和基于特征的自动配准方法［1］。基于区域的配准方法是直接利用图像局部区域的灰度信息，建立2幅图像之间的相似性度量来获取匹配点［2］;基于特征的配准方法是以图像上边缘、线交叉点及角点等特征点作为2幅图像配准的匹配点。由于特征点比较容易提取，对信号噪声、数据获取时的参数变化及图像变换具有较好的鲁棒性，因此基于特征的自动配准方法在图像配准中得到了广泛应用。Lowe于2004年提出的尺度不变特征变换(scale－invariant feature transform，SIFT)算法［3］是最有效地保持尺度、旋转、亮度不变性的算法之一，已被广泛应用于遥感图像的自动配准中［4－8］，但该算法计算量大、耗时长;Bay［9］等于2006年提出了加速鲁棒性特征(speeded－up robust features，SURF)算法，该算法可以对图像的旋转、尺度伸缩、光照以及视角等变化保持不变性，计算速度比SIFT方法快3倍，但是，在处理图像光照和视角变化时不如SIFT 算法;Vlgren，Arturo［10－12］等均对 SURF 方法的性能以及与SIFT等算法的比较做了较为详细的阐述，且结论基本一致;张锐娟［13］等将基于SURF的图像配准方法与基于SIFT的方法进行实验比较，认为SURF算法具有估算参数准确、计算量小、速度快的优点，但获得的匹配点数量少。加速分割检测特征(features from accelerated segment test，FAST)是由 Rosten和Drummond于2006年提出的一种简单、快速的角点检测算法［14］，通过该算法可以快速确定出角点。因此，为增加SURF自动配准方法获得的匹配点数量，本文提出一种基于FAST和SURF算法的图像配准方法。该方法在参考图像与待配准图像来自不同传感器、且色调差异较大的情况下，能够快速获得更多的匹配点对和更好的几何配准效果。

1 研究方法

1.1 FAST 算法

FAST算法将待检测角点定义为:在像元点的邻域内有足够多的像元点与该点处于不同的区域，应用到灰度图像中就是有足够多的像元点的灰度值大于或者小于该点的灰度值。通过定义一个角点响应函数来判断一个像元是否为角点。图1给出了以该点为中心的圆形区域的模板情况，圆形区域为一个半径为3像元的离散化的区域，像元p为候选角点，高亮度像元为角点检测中使用到的像元，弧形虚线上的像元点为满足式(1)的12个连续像元点［14］。

图1 圆形模板示意图Fig.1 Schematic diagram of circular template

角点响应函数(corner response function，CRF)定义为［15］

式中:p表示中心像元;I(p)表示像元p的灰度值;I(x)表示圆周上任意一像元灰度值;εd为给定的一个极小阈值。通过式(1)可以累加出圆周上满足式(1)的像元点个数N。如果N大于给定的一个阈值，就可以确定该点为角点。通常阈值取12，通过该阈值可以很快地排除伪角点。

对该算法还可以进行优化，如图1所示，可以先判断1，5，9和13这4个像元的灰度值是否满足式(1)，如果至少有3个点满足，则该点就可以作为候选角点，然后再对其他点进行判断。经过优化之后，该算法平均只需要检测候选角点周围的3.8个点就能判断该点是否为角点［14］。

1.2 SURF 描述子

SURF描述子主要是根据特征点邻域范围内的灰度统计信息，通过计算主方向和特征向量来得到的。具体过程如下［16］:

1)确定SURF特征点主方向。首先统计以特征点为圆心、6σ(σ为特征点所在的尺度)为半径的圆形区域内的所有像元X和Y方向上的Haar小波响应dx和dy，使每个像元都有一个对应的Haar小波响应点Hp(dx，dy);然后，通过一个大小为π/3的扇形滑动窗口对所有小波响应进行求和，取长度最长的方向作为特征点的主方向。在求和的过程中，使用以特征点为中心的高斯函数对每个像元的小波响应进行赋权。在这一步中，扇形滑动窗口大小是决定能否得到正确主方向的关键参数。

2)基于Haar小波响应生成描述子。SURF特征向量提取是在一个以特征点为中心，与主方向平行的方形区域中进行的:首先确定一个以特征点为中心，大小为20σ的方形区域，为保证提取到特征向量具有旋转不变性，需要旋转该方形区域，使之与特征点的主方向平行;然后，将这个方形区域再均匀细分成4像元×4像元窗口的子区域，在每个子区域中统计X和Y方向上的Haar小波响应之和及其绝对值之和(∑dx，∑dy，∑|dx|，∑|dy|)。在统计的过程中，仍用以特征点为中心的高斯函数进行赋权处理。如此，每个子区域有一个4维的描述子V4=(∑dx，∑dy，∑|dx|，∑|dy|)，整个区域就有 4×4×4=64维的特征向量。

为了让SURF描述子更具有特征性，可将SURF 64维的特征向量扩展为128维［9］。利用128维的描述子进行匹配，其可靠性和鲁棒性会增强，但是匹配的时间将会大幅度提高，影响整个匹配的效率。

1.3 FAST－SURF自动配准方法

基于FAST和SURF描述子的自动配准方法流程如图2所示。

图2 FAST－SURF自动配准方法流程Fig.2 Flow chart for automatic registration method based on FAST－SURF

1)将待配准图像和参考图像从RGB彩色空间转换到HSI彩色空间，以获取2幅图像的I分量作为特征点提取图像。由于HIS模型中I分量与图像的彩色信息无关，因此，尽管参考图像和待配准图像可能为不同时相的数据，在色调上呈现较大差异，用I分量进行后续处理，仍可减少因色调差异造成的不匹配。

2)建立高斯金字塔。由于参考图像与待配准图像空间分辨率上通常存在差异，而FAST角点检测算法不具备尺度不变性，因此利用高斯金字塔来建立多分辨率分析。图像的高斯金字塔分解通过依次对低层图像用大小为5像元×5像元的高斯窗口函数进行低通滤波处理后作隔行、隔列的降2下采样来实现。

3)FAST角点检测。该步骤涉及到的参数包括FAST角点阈值设置和是否进行极大值抑制。前者一般设置为12，后者通常选择进行极大值抑制。

4)SURF特征描述。对2幅图像检测到的FAST角点计算SURF特征描述子。涉及的阈值包括Hessian阈值、Octave层数和个数。

5)特征匹配。为了提高匹配点搜索效率，本文采用K－D树算法［17］来获取匹配点，它在高维二叉树上实现了对给定特征点的快速最近邻查找。具体做法为:首先利用匹配点搜索算法，找到与待匹配点距离最小(NN)和次最小(SCN)的点，然后计算最小距离与次最小距离的比率(NN/SCN)，如果该值小于阈值则认为最近邻点是较好的匹配。本文阈值的取值范围是［0.6，0.7］。

6)错误匹配点剔除。针对参考图像和待配准图像得出的匹配点对中通常存在错误匹配的情况，本文使用最小二乘迭代法来剔除错误匹配点。

首先利用最小二乘原理拟合几何变换系数，并计算每个匹配点对的残差(Δx，Δy)，再根据

计算匹配点对的均方根误差。式中:M代表匹配点对的数量;RMSE是匹配点对的均方根误差;为第m个匹配点对点的参考坐标;为第m个匹配点对点的预测坐标。通常设定一个阈值(如1个像元)，如果RMSE大于该阈值，则删掉残差最大的匹配点对，反复迭代计算，直到RMSE小于阈值或者剩余匹配点对数量小于等于4为止。

7)变换模型和重采样。得到正确匹配的特征点之后，需要选择相应的变换模型进行参数求解，进而实现图像间的配准。本文使用多项式纠正模型，在地形平坦地区使用一次多项式，地形起伏较大地区使用二次或三次多项式。在求取待配准图像与参考图像之间的几何变换模型参数后，需要对待配准图像求取输出图像各像元的灰度值，即进行灰度重采样。本文使用速度较快的双线性插值法。

2 应用与分析

2.1 实验数据

为了对本文方法(简写为FAST－SURF方法)的效果进行验证，选择两组图像(图3)进行方法实验，并与基于SURF的自动匹配方法(简写为SURF方法)、ENVI软件中的自动配准方法(简写为ENVI方法)进行了比较。

图3 两组实验图像Fig.3 Two groups test images

如图3所示，第一组图像的参考图像为天津市区的ALOS卫星多光谱图像(图3(a))，空间分辨率为10 m，图像大小为400像元×400像元，获取日期为2009年10月17日;待配准图像为从 Google Earth截图的GeoEye图像(图3(b))，空间分辨率经计算为5.56 m，图像大小为900像元×680像元，获取日期为2009年11月18日。该组数据的特点为参考图像与待配准图像来自不同传感器、不同时相且图像色调差异较大。

第二组图像的参考图像为天津市区ALOS卫星全色波段图像(图3(c))，空间分辨率为2.5 m，图像大小为1500像元×1500像元，获取日期为2009年10月17日;待配准图像为ALOS卫星同时间获取的10 m多光谱图像(图3(d))，图像大小为380像元×380像元。该组数据的特点为参考图像与待配准图像是来自同一传感器的全色与多光谱图像，空间分辨率差异约为4倍。

2.2 结果分析

在对两组图像的处理过程中，应用 FASTSURF方法的参数设置情况见表1。

表1 两组图像自动配准中FAST－SURF方法参数设置Tab.1 Parameters setting of FAST －SURF method for automatic registration of two group images

在对第一组图像的处理过程中，使用该组参数对该算法连续运行了5次，获得的匹配点数分别为87，84，68，83 和82，相对应的匹配误差分别为0.44，0.43，0.43，0.42 和 0.42 个像元，匹配点对数的均值为81个，匹配误差的均值为0.43个像元。

应用SURF方法的参数设置情况见表2。可以看出，SURF方法获得的匹配点数和误差情况比较稳定。

表2 两组图像自动配准中SURF方法参数设置Tab.2 Parameters setting of SURF method for automatic registration of two group images

ENVI方法参数设置除修改了 Number of tie point参数外，其他参数均使用了默认的经验优化值，具体情况见表3。

表3 两组图像自动配准中ENVI方法参数设置Tab.3 Parameters setting of ENVI method for automatic registration of two group images

对两组图像分别使用3种方法获得的匹配点数量和匹配误差统计情况见表4。

表4 3种方法获得的匹配点数与匹配误差Tab.4 Matching point numbers and matching errors of three methods for two group images

续表4

从表4可以看出，在对第一组图像的实验中，FAST－SURF方法获得了最多的匹配点对和最小的匹配误差。其中，FAST－SURT方法的匹配点对数远多于SURF方法和ENVI方法的;SURF方法的匹配误差略大于FAST－SURF方法的，ENVI方法的匹配误差则远超过1个像元。对ENVI方法初始匹配获得的31个匹配点对按单点误差大小顺序来剔除错误匹配点，当只剩下11个匹配点对时，匹配误差能达到0.4，该值略优于FAST－SURF方法，但此时其匹配点数量相比FAST－SURF方法更少了。此外，ENVI方法获得的匹配点对分布最为均匀。该组图像的配准结果如图4所示。

图4 第一组图像配准结果Fig.4 Registration results of the first group images

可以看出，3种方法都较好地修正了配准前图像(图4(a))上地物的几何位置偏差，尤其是对道路的位置偏差修正较好。但SURF和ENVI方法的配准结果(图4(c)，(d))显示出房屋匹配处存在微小的错位，且SURF方法的配准结果比ENVI方法的稍严重，而FAST－SURF方法的结果(图4(b))则在房屋处匹配很好，看不出错位。FAST－SURF方法自动配准结果优于另外2种方法的原因在于该方法获得了更多、更准确的匹配点对。

在对第二组图像的实验中，FAST－SURF方法同样获得了最多的匹配点对和最小的匹配误差(表4)。其中，FAST－SURF方法的匹配点对数量远多于SURF方法和ENVI方法的;匹配误差远低于SURF方法的;ENVI方法的匹配误差略小于FAST－FAST方法的，但匹配点数则远小于FASTSURF方法的相应值。对ENVI方法初始获得的14个匹配点对按单点误差大小顺序来剔除错误匹配点，当只剩下5个匹配点对时，匹配误差能达到0.63，该值优于FAST－SURF方法的相应值。经比较，匹配点对分布最为均匀的仍然是ENVI方法。该组图像配准结果如图5所示。

图5 第二组图像配准结果Fig.5 Registration results of the second group images

可以看出，FAST－SURF(图5(b))和SURF(图5(c))方法都较好地修正了配准前图像(图5(a))上地物的几何位置偏差，配准后图像上河流、道路匹配得较好。通过细节比较可以发现，SURF方法配准结果优于FAST－SURF方法的，在后者图像的左上部分，河流、道路的配准依然有微小偏差。但ENVI方法的结果仍存在较明显的几何偏差(图5(d))。在前面统计中，ENVI方法在剔除其误差大的匹配点后，总匹配误差达到了0.63，远低于FAST－SURF方法和SURF方法的匹配误差。经检查，ENVI方法自动获取的匹配点对存在较明显的位置差异，并不是真正有效的匹配点对，因此获得的自动配准结果存在问题。

需要说明的是，尽管FAST－SURF方法能获得更多的匹配点对和更小的匹配误差，但在对于参考图像与待配准图像的空间分辨率差异比例为4倍的情况下，自动配准结果是不如SURF方法的，SURF算法的尺度不变性特征在此时凸显了优势。

3 结论

本文提出了一种基于FAST角点和SURF描述子的遥感图像自动配准方法。对比实验结果表明，在参考图像与待配准图像来自不同传感器，且色调差异较大的情况下，该方法比基于SURF特征的自动配准方法和ENVI软件中自动获取配准点的方法能获得更多的匹配点对和更好的几何配准效果;在参考图像与待配准图像来自同一传感器且空间分辨率差异较大时，该方法配准效果优于ENVI软件中自动获取配准点的方法，但不如基于SURF特征的自动配准方法。因此，该方法在尺度不变性方面存在的不足是下步研究中需要改进的重点。

［1］Zitová B，Flusser J.Image Registration Methods:A Survey ［J］.Image and Vision Computing，2003，21(11):977 －1000.

［2］Brown L G.A Survey of Image Registration Techniques［J］.ACM Computing Surveys，1992，24(4):325 －376.

［3］Lowe D G.Distinctive Image Features from Scale－ Invariant Key points［J］.International Journal of Computer Vision，2004，60(2):91－110.

［4］李晓明，郑 链，胡占义.基于SIFT特征的遥感影像自动配准［J］.遥感学报，2006，10(6):885 －892.

［5］Cheung W，Hamarneh G.N －SIFT:N －dimensional Scale Invariant Feature Transform for Matching Medical Images［C］//IEEE International Symposium on Biomedical Imaging，from Nano to Macro，Arlington，VA，2007:720 －723.

［6］李芳芳，肖本林，贾永红，等.SIFT算法优化及其用于遥感影像自动配准［J］.武汉大学学报:信息科学版，2009，34(10):1245 －1249.

［7］Yu L，Zhang D R，Holden E J.A Fast and Fully Automatic Registration Approach Based on Point Features for Multi－source Remote － sensing Images［J］.Computers ＆ Geosciences，2008，34(7):838－848.

［8］王瑞瑞，马建文，陈 雪.基于归一化SIFT算法的不同光学影像配准［J］.计算机工程，2010，36(19):21 －23.

［9］Bay H，Ess A，Tuytelaars T，et al.SURF:Speeded Up Robust Features［J］.Computer Vision and Image Understanding，2008，110(3):346－359.

［10］Valgren C，Lilienthal A.SIFT，SURF and Seasons:Long － term Outdoor Localization Using Local Features［C］//Proceedings of the European Conference on Mobile Robots(ECMR)，Freiburg，Germany，2007:253 －258.

［11］Gil A，Mozos M，Ballesta M，et al.A Comparative Evaluation of Interest Point Detectors and Local Descriptors for Visual SLAM［J］.Machine Vision and Applications，2010，21(6):905 －920.

［12］Murillo A C，Guerrero J J，Sagues C.Surf Features for Efficient Robot Localization with OmnidirectionalImages［C］//IEEE International Conference on Roboties and Automation，Roma，Italy，2007:3901－3907.

［13］张锐娟，张建奇，杨 翠.基于SURF的图像配准方法研究［J］.红外与激光工程，2009，38(1):160 －165.

［14］Rosten，Drummond T.Machine Learning for High － speed Corner Detection［C］//European Conference on Computer Vision，Graz，Austria，2006:430 －443.

［15］燕 鹏，安 如.基于FAST改进的快速角点探测算法［J］.红外与激光工程，2009，38(6):1104 －1108.

［16］林晓帆，林立文，邓 涛.基于SURF描述子的遥感影像配准［J］.计算机工程，2010，36(12):216 －218.

［17］Friedman J H，Bentley J L，Finkel R A.An Algorithm for Finding Best Matches in Logarithmic Expected Time［J］.ACM Transactions on Mathematical Software，1977，3(3):209 －226.

An Automatic Registration Method of Remote Sensing Imagery Based on FAST Corner and SURF Descriptor

LI Hui1，2，3，LIN Qi－ zhong1，2，LIU Qing － jie1，2
(1.Center for Earth Observation and Digital Earth，Chinese Academy of Sciences，Beijing 100094，China;2.Key Laborary of Digital Earth Sciences，Chinese Academy of Sciences，Beijing 100094，China;3.Graduate University of Chinese Academy of Sciences，Beijing 100049，China)

An automatic geometry registration method based on Features from Accelerated Segment Test(FAST)corner detector and Speeded Up Robust Features(SURF)is proposed in this paper.Firstly，applying HSI transform on both the reference image and the image to registration，and then building gauss pyramid of the images.Secondly，detecting and extracting the FAST corner points of both images，and calculating the SURF descriptors of the corner points，following by searching match point pairs by K － D tree.Thirdly，iteratively using partial minimum least squares to remove error point pairs and then calculate the geometry transform coefficients.Lastly，excuting the geometry transform to get the registration image.An experiment on two groups of images was performed，in which the proposed method was respectively compared with the automatic registration method based on SURF features and the method used in ENVI software to obtain ground control points automatically，and the results show that the proposed method can get more match points and obtain higher geometric accuracy，except which is slightly inferior to SURF algorithm in scale invariance.

remote sensing imagery;automatic registration;features from accelerated segment test(FAST);speeded－up robust features(SURF);gaussian pyramid

TP 751.1

A

1001－070X(2012)02－0028－06

2011－09－13;

2011－12－04

国家“十一五”科技支撑重点项目(编号:2006BAB01A02)、中国科学院对地观测与数字地球科学中心数字地球科学平台重大项目(编号:DESP01－04－10)和国家自然科学基金项目(编号:41001266)共同资助。

10.6046/gtzyyg.2012.02.06

李 慧(1984－)，女，中国科学院对地观测与数字地球科学中心在读博士研究生，主要从事遥感图像处理和遥感信息提取方面的研究。E－mail:hli@ceode.ac.cn

(责任编辑:刁淑娟)