两种图像匹配算法在植被覆盖区的应用对比
2016-06-15熊助国
罗 亮, 熊助国
(东华理工大学测绘工程学院,江西南昌 330013)
两种图像匹配算法在植被覆盖区的应用对比
罗 亮, 熊助国
(东华理工大学测绘工程学院,江西南昌 330013)
摘要从无人机影像的特点考虑,对SIFT和SURF这两种图像匹配算法进行研究,利用这两种算法对大量无人机影像进行对比较验,比较2种算法的可靠性。结果表明,在植被覆盖较多的地形中,SURF不但在匹配速度上优于SIFT算子,而且在匹配对数量上也要多于SIFT算子。
关键词无人机影像;图像匹配;SIFT;SURF
笔者通过大量的试验,采用SIFT特征预匹配、RANSAC剔除误差的方法对无人机图像进行处理。试验表明,基于SIFT特征匹配的方法虽然在精度、鲁棒性、稳定性这几个方面表现很好,但是SURT算法相对来说更进一步,它可以为无人机低空遥感图像生产3D产品提供更好的技术支持。
1SIFT特征提取
SIFT(Scale-invariant feature transform)算法是在图像匹配方面很有名的一种算法,这种算法是David lowe1999年提出来的,然后在2004年再次进行整理完善并总结得出的一种基于尺度特征的提取算法[4],能够很好地处理图像的旋转、尺度的变换、仿射变换以及视角变化等问题。
1.1尺度空间的生成模拟图像数据的多尺度特征的手段就是尺度空间理论。为了使特征具有尺度不变性,特征点的检测是在多尺度空间完成的。尺度空间理论最早出现于计算机视觉领域时,其目的是模拟图像数据的多尺度特征。首先是利用不同尺度的高斯核函数来构造出高斯金字塔图像,然后再对上下相邻尺度的2个高斯金字塔图像相减得到差分高斯金字塔图像(DOG)。
高斯卷积核是实现尺度变换的唯一变换核,并且是唯一的线性核。所以一幅二维图像的尺度空间定义为:
L(x,y,σ)=G(x,y,σ)*I(x,y)
(1)
其中G(x,y,σ)是尺度可变高斯函数,表示为:
(2)
式中,(x,y)是空间坐标;符号“*”表示卷积;(x,y)代表图像的像素位置,σ是尺度空间因子。高斯差分尺度空间(DOGscale-space)能够很好地在尺度空间检测到稳定的关键点。利用不同尺度的高斯差分核与图像卷积生成。
所以检测结果的对数值范围为:lg x=8.3716±0.1157,也就是:8.2559≤lg x≤8.4873
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=L(x,y,kσ)-L(x,y,σ)
(3)
首先是构建图像的高斯金字塔。将图像金字塔共分K组,一组称为一个Kctave,每组又分为多层,层间隔数为S,因为是先生成LOG(LaplacianoftheGaussian)金字塔,而DOG金字塔是由LOG金子塔每组的相邻两层相减得到的,因此有S+3(S+1+2,2代表在上下再各添一层图像,搜索极值只在中间的S+1层图像上搜索)层图像,对上一组的倒数第三层图像按照隔点采样得到下一组的第一层图像(如果层索引从0开始,则为第S层),这样做是为了缩短卷积运算时间。
1.2关键点检测对差分金字塔每个点相邻尺度和上下相邻位置的点一一进行对照比对,也就是检测点同尺度的8个相邻点和上下相邻尺度对应的9×2个点总计26个特征点进行对照比对,这样可以保证该点在尺度空间以及二维图像位置空间都找到极值点。如果一个点在DOG尺度空间本层以及上下两层的26个邻域中是最大或最小值时,就认为该点是图像在该尺度下的一个特征点。搜索过程从每组的第二层开始,也就是从层索引为1的那一层开始,到层索引为S的层结束。
(4)
其中,尺度为每个关键点各自所在的尺度。
邻域窗口是以关键点为中心来进行采样,利用直方图来统计邻域像素的各个梯度方向。梯度直方图的取值范围在0°~360°,其中每10°为一个柱,一个柱为一个方向,总计36个方向。为了增强匹配的鲁棒性,峰值大于主方向峰值80%的方向被保留下来并作为该特征点的辅方向。因此,对于同一个位置有多个峰值的情况,在相同位置和尺度创建多个方向不同的关键点。虽然含有多个方向的关键点仅有15%左右,但这样可以显著地增强关键点特征匹配的稳定性。
1.4特征点描述子生成在关键点的中央取8×8的正方形小块,然后在分成4×4的正方形小块上计统计8个方向的梯度直方图,把这8个梯度方向的值叠加起来就可以构造出一个种子点,总计就有4个种子点,为了增强匹配的鲁棒性,需要使用4×4共16个种子点构成一个128维的特征描述子。此时,尺度变化、旋转等几何变形不利因素已经被SIFT特征向量所剔除,接着将特征向量的模长做归一化处理,光照变化的不利影响也被去除了。
2SURT特征提取
SURF(Speededuprobustfeatures)是一种改进了的SIFT算法,它是一种具有鲁棒性的局部特征检测算法,首先由HerbertBay等于2006年提出,并在2008年进行了完善[5]。这项技术可以应用于计算机视觉的物体识别以及3D重构中。
2.1积分图像的建立SURF算法具有较好的大小缩放、平移、旋转等特性,而且计算速度很快,积分图像的建立大大加快了计算速度。积分图像是对原始图像进行积分累加计算得到的图像。积分图像的每一点表示为原图像从原点到该点的矩形区域的像素和,对整幅图像进行积分图像遍历后,原始图像中的任一矩形区域的像素之和就可以通过加减运算来完成,这样使用积分图像可以减少很大一部分计算量,从而可以加快计算速度。
2.2尺度空间的生成SURF算法相对SIFT算法,一个较大的变化就是利用箱式滤波器来替换高斯核函数,使得卷积模板全部都用简易的矩形来构造出来。将输入图像通过改变箱式滤波器的大小来对原始图像计算得到的积分图像进行滤波生成尺度空间。其主要作用就是对图像进行分层,建立图像的尺度空间,然后在不同尺度的图像上来寻找特征点。
2.3关键点检测将经过Hessian矩阵处理过的每个像素点与其3维空间的26个点进行数值对照比对,只有当它是这26个点中的最大值或最小值时,才可以用来做为最初的特征点。并且检测过程中用到的滤波器的大小必须与该尺度层图像解析度是一致的,以5×5的滤波器为例,该尺度层图像中含有25个像素点。检测特征点必须与同层的24个像素和上下相邻的50个像素进行对比,总计74个像素点,周围像素的特征值如若都小于该像素点,则可以确认该点为该区域的特征点。然后,亚像素级的特征点是通过三维的线性差值法得出的,同时那些特征值小于一定阈值的点也要被删除,检测到的特征点数量因为增加了极值点的限制而被减少,最终检测出来的都是很明显的特征点。
2.4关键点方向分配在SURT算法中,并不是通过统计它的梯度直方图,而是通过统计特征点领域内的Harr小波特征来保证旋转不变性。即以特征点为中心,计算半径为6 d(d为特征点所在的尺度值)的邻域内,统计60°扇形区域内所有点在水平和垂直方向的Haar小波影响总和(Haar小波边长取4 d),并给这些影响值赋上高斯权重系数,使得靠近特征点的影响效果大,而远离特征点的影响小,然后统计60°范围内的影响效果来形成一个新的矢量,访问圆形区域的所有位置,最后得到的该特征点的主方向为该区域最长矢量的方向。
2.5特征点描述子生成在SURT中,和SIFT一样也是在特征点周围取一个正方形,正方形的边长为20 d(d是所检测到该特征点所在的尺度)。该正方形的方向就是上一步检测出来的主方向。然后把这个正方形平均分为16个小块,每个小块统计25个像素相对主方向的水平方向和垂直方向的Haar小波特征。该Haar小波特征值分别为水平方向值之和,水平方向绝对值之和,垂直方向之和,垂直方向绝对值之和。这样每个小块就有4个特征值,所以每个特征点就是16×4=64维的向量,仅仅是SIFT的128维向量的1/2,这样可以极大地缩短匹配时间。
3SIFT和SURF算法应用结果分析
为了使试验结果具有可比性,所有试验都是在CPU为Inteli5M430 2.27hz、内存8G、显存1G的PC机上进行,以VS2010和OpenCV2.4.9结合编程实现。试验用图来源于某型号无人机高空航拍的图像。
由表1可知,SURF算子在绿色植被覆盖地表匹配效果明显优于SIFT,具有旋转和尺度变化特点的无人机影像上提取特征点有明显的优势。同等条件下获取的影像配对数更多,考虑到匹配点对的成功获取是影像匹配的首要条件,而且SURF运算速度优于SIFT算法,其总体性能能更好地保障无人机影像的匹配,所以在绿色植被覆盖较多的地表图像特征提取中使用SURF法是较好的选择。
表1 SIFT和SURF算法实验结果分析
图1 实验用无人机高空航拍图像Fig.1 Aerial photography image of experimental UAV
图2 含带状地物地表特征图像匹配效果Fig.2 Surface feature matching effect of strip terrain
图3 绿色植被覆盖地表特征图像匹配效果Fig.3 Surface feature matching effect of green vegetation cover
参考文献
[1] 王永明,王贵锦.图像局部不变性特征与描述[M].北京:科学出版社,2010.
[2] 李中科,杨晓辉,吴乐.针对旋转和平移运动的一种图像配准方法[J].应用科学学报,2005,23(3):67-71.
[3] 张旭阳.SIFT和CenSurE在无人机影像配准的优劣性比较[J].河南科学,2013,9(3):1417-1423.
[4] BROWN M,LOWE D G.Distinctive image features from scale-in-variant keypoints[J].International journal of computer vision,2004,60(2):91-100.
[5] BAY H,TUYTELAARS T,VAN GOOL L.SURF: Speeded up robust features[J].Computer vision & image understanding,2006, 110(3):404-417.
Comparison of Two Kinds of Image Matching Algorithm in the Area Covered by Vegetation
LUO Liang, XIONG Zhu-guo
(College of Engineering of Surveying and mapping, East China Institute of Technology, Nanchang, Jiangxi 330013)
AbstractConsidering the characteristics of the UAV image, two image matching algorithms SIFT and SURF were studied, by using these two algorithms to conduct experiment on a large number of UAV images, the reliability was compared.The results showed that in covered more vegetation terrain, SURF is better than SIFT not only in matching speed, but also in matching quantity.
Key wordsUAV image; Image matching; SIFT; SURF
作者简介罗亮(1991- ),男,江西鹰潭人,硕士研究生,研究方向:摄影测量与遥感。
收稿日期2016-02-25
中图分类号S 126
文献标识码A
文章编号0517-6611(2016)08-299-03