高斯二阶差分特征算子在图像拼接中的应用①

徐敏,莫东鸣,张祯(重庆工业职业技术学院,机械工程学院,重庆 400)(重庆工业职业技术学院,管理工程学院,重庆 400)



高斯二阶差分特征算子在图像拼接中的应用①

徐敏1,莫东鸣1,张祯2
1(重庆工业职业技术学院,机械工程学院,重庆 401120)
2(重庆工业职业技术学院,管理工程学院,重庆 401120)

摘 要:为了将同一场景中具有重叠区域序列的图像快速准确合成一幅具有宽视角、高分辨率的图像,提出了基于高斯二阶差分(D2oG)特征检测算子的SIFT算法.采用高斯二阶差分(D2oG)金字塔的过零点检测提取图像尺度不变特征点,并选用RANSAC算法对特征点匹配对进行提纯,在此基础上计算不变换矩阵H,最后,用渐进渐出平滑算法完成图像的无缝拼接.实验中分别采用所提方法和SIFT算法对具有典型变换的4种图像进行拼接与测试,结果表明: 所提方法提取的匹配点数、拼接所消耗时间明显低于采用SIFT算法,同时匹配效率也高于后者.此方法降低了运算复杂度的同时,图像拼接实时性也得到提高.

关键词:序列图像; 图像配准; SIFT算法; 高斯一阶差分金字塔; 高斯二阶差分金字塔

图像采集设备获得的单幅图像的视角有限,在一些应用场合需要把多幅有重叠区域的图像拼接成一幅宽视觉、高分辨率的图像.图像拼接技术即是将一系列相互存在重叠部分的图像序列先进行空间配准,再经过图像变换、重采样和图像融合后形成一幅包含每个图像序列的宽视角图像或360度的全景图像[1].随着计算机和图像处理技术的发展,图像拼接技术在空间探索、遥感图像处理、医学图像分析及视频检索等领域得到了广泛的应用.

图像拼接的关键技术在于图像配准,其方法主要包括基于面积和基于特征的方法[2].基于面积的方法中,较为经典的算法为基于模板的配准算法,文献[2]提出了基于灰度相关的方法,由于受耗时局限性影响,且算法实用性受到制约,误差较大; 基于特征的方法则通过像素值导出的特征进行匹配,如SUSAN角点检测算法无需梯度运算,提高了算法的效率,同时又具有积分特性,使得SUSAN算法在抗噪和计算速度方面有了较大的改进,但角点数量过多,不利于角点匹配; 文献[3]给出Moravec角点检测方法,其计算量小,但对噪声的影响十分敏感; Harris算子用到灰度的一阶差分以及滤波,提取的角点特征均匀、合理,但该算法只能在单一尺度下检测角点,检测的定位精度较差[4]; Mikolajczyk等[5]针对不同的场景,就多种最具代表性的描述子进行了试验,SIFT描述子性能较好,但算法复杂度高,计算量增大.

针对上述问题,本文在研究SIFT算法[6]中的高斯差分 (DoG)特征检测算子基础上,提出利用高斯二阶差分 (D2oG)特征检测算子的零点检测来提取图像的特征点,通过实验验证,所提出的方法加快了在多尺度下特征提取的速度,同时也提高了SIFT的匹配效率.

1　多尺度下特征点提取

特征点是指与周围有着颜色和灰度差别的区域.SIFT特征点是在空间尺度中寻找极值点,并提取出其位置、尺度和旋转不变量[7].

SIFT特征提取主要分为三个步骤:

①建立尺度不变空间;

②特征点定位;

③生成特征点描述符[8].

SIFT特征点定位如图1所示,在DoG空间中,以第一阶为例,上、下尺度各9个领域,其本尺度8个领域的极值点作为候选特征点[9,10].然后对特征点进一步特征描述,形成128维的特征向量,最后对求出的特征描述符进行后续的特征匹配,得到图像中相对应的特征匹配点对.

图1　DoG金字塔局部极值检测

在SIFT特征提取的三个步骤中,需要分别构建较多层数的LoG金字塔和DoG金字塔,并且在定位特征点时,要利用DoG金字塔中三层图像的局部信息,因此特征检测占据了SIFT算法80%左右的时间[11],拼接耗时多,实时性难已实现.本文从简化金字塔的结构,改变特征点定位方法来降低运算复杂度.由此提出基于D2oG提取SIFT特征的算法.

2　D2oG提取SIFT特征原理

2.1D2oG特征检测算子

本文对高斯差分(DoG)函数进行一次差分运算得到高斯二阶差分(D2oG)函数如式(1)所示,并用高斯二阶差分函数的过零点检测来代替高斯差分函数的极值点检测,由此来确定特征尺度和检测特征点.

式中D2(x,y,σ)为高斯二阶差分函数,D(x,y,σ)为高斯一阶差分函数,(x,y)为空间坐标,σ为尺度坐标,k为尺度系数.

由于

则:

根据式(3)可知,kσ-σ≠0,得:

由式(2)、(3)和(4)的推导可知D2oG函数的过零点即为DoG函数一阶导数为零的点,即DoG函数的局部极值点.因此可以用D2oG金字塔的零点检测来代替DoG金字塔的局部极值点检测实现特征点提取.

2.2D2oG特征检测步骤

(1)建立D2oG金字塔

首先,通过高斯核函数对图像进行卷积得到不同尺度的高斯图像; 然后,将高斯金字塔同一阶内相邻两层相减得到DoG金字塔; 最后,将DoG金字塔同一阶内相邻两层相减,作为D2oG金字塔的一层.以第一、二阶高斯二阶差分金字塔的建立为例如图2所示,建立了5层的高斯金字塔,通过相邻两层相减得到4层高斯差分金字塔,进而采用4层高斯差分金字塔的相邻两层相减得到最终的3层高斯二阶差分金字塔.

图2　D2oG金字塔的建造

(2)检测D2oG金字塔每层中的零点.在D2oG金字塔每层中检测高斯二阶差分绝对值接近零的像素点,通过设置零点检测阈值T,如果小于等于T则认为该像素点为一特征点,并记录下该点的位置和尺度(xi,yi,σi).通过实验统计,综合考虑算法精度和速度两方面的因素,本文设定阈值T为0.000099.

(3)特征点精确定位.将D2oG空间中的特征点映射回DoG空间,即: 位于D2oG金字塔中第i阶j层的特征点(xm,ym,σm)对应于DoG空间中第i阶j层参数相同的(xm,ym,sm)的像素点.这样D2oG空间中特征点精确定位可以转化为在DoG金字塔中的精确定位.

(4)提取边缘特征点.利用Hessian矩阵的特征值和高斯差分函数D的主曲率值成比例这一特征来判断处于边缘的特征点.Hessian矩阵如式(5)所示:

式中Dxx,Dxy,Dyy分别表示对高斯差分函数进行x方向上的二次求导,依次对x方向和y方向进行求导以及对y方向上的二次求导.

式中,Tr(H)为H矩阵的迹,Det(H)为H矩阵的行列式,α为较大特征值,β为较小特征值,α=kβ.通过设定k的大小来判断是否为边缘点,式(8)大于这个阈值,则将此点作为边缘点提出,文中k=10.

由于特征描述符维数过低会造成匹配精度下降;如果维数过高会造成匹配计算量增加耗时多,最初的128维描述符是折中值.在精度要求不太高耗时少的情况下,可以降低描述符维数来提高拼接的速度.所提方法在提取出特征点后,仍选用128维特征描述符对其进行表达及后续的配准操作.

3　特征点匹配与融合

3.1变换矩阵H的确定

利用上述方法计算出来的特征点,以一幅图像的坐标为参考,采用式(9)求解出两幅图像间透视变换矩阵H的参数,将待拼接图像归一化到以参考图像的坐标系中.

我们利用4对匹配点可得到8个独立的线性方程,通过方程组解得的h0…h8,即确定了式(9)透视变换矩阵.为了避免随机选取的4对特征点位于同一平面构成方程组无解,采用随机选取的4对特征点求解模型变换参数初值的做法.初始模型参数计算出来后,用于对其他匹配点对的校验,得到在一定容忍度下符合该模型的所有匹配对,再利用这些匹配对来获得图像变换模型的参数.

3.2特征匹配点的提取

利用图像中的特征描述子的128维特征向量,用式(10)欧式距离相似性判断方法[12,13]对SIFT检测子进行匹配,并通过式(10)计算并找出最小距离Dmin和次小距离Dscn,计算比值R=DminDscn,当R小于某一阈值时,对应的特征点为匹配点.通过比较,我们将阈值设定为0.75.采用Best-Bin-First(BBF)算法实现寻找最近邻和次近邻.

其中,X2i[j]表示参考图像中的第i个特征点的特征向量,X1i[j ]表示待配准图像中的第i个特征点向量,D表示欧氏距离.

并选用RANSAC算法[14]进行剔除误匹配点对并计算出变换矩阵H,步骤如下:

1)随机抽取4组匹配点对计算矩阵H,然后计算剩余所有匹配点的距离di在误差阈值范围内,则接受此匹配点对为H的内点;

2)选择包含内点数目最多的一个点集重新计算H,用最小二乘法来最小化误差,去掉少数的“外点”后计算新的内点集内的平均误差;

3)重复上述两步骤直至达到满意效果,选择平均误差最小的内点集计算最终的单应性矩阵H.

图像I1和图像I2的变换关系可以表示为:

3.3图像融合

采用以上的配准算法后再选用渐进渐出的融合方法[15]实现图像的无缝拼接.

4　结果与讨论

实验采用的平台为VS2010和OpenCV,图像大小为340*280.以图像匹配点对数、拼接时间、匹配精度和匹配效率[16]作为评价指标.其中匹配效率如式(12)所示.

实验选用4种典型的测试图进行测试,图3(a)为垂直平移的图像、图3(b)是亮度和对比度有大幅度变化的图像、图3(c)是相机视角发生了40°变化的图像和图3(d)是旋转了45°和缩小了一半的图像.特别说明的是: 4组图像中左图为参考图像,右图为待拼图像.选用基于模块的图像拼接、基于SIFT特征点的图像拼接与我们所提零点检测的图像拼接方法进行比较.

图3　测试图

4.1实验结果

1)模板拼接

基于模板拼接的方法[17]对图3(a)进行实验得到拼接后的效果图,如图4所示.

图4　基于模板的拼接效果图

从图4可看出基于模板的配准方法出现了错位的现象,说明图像在旋转时不能较好的找出最佳匹配位置.

2)SIFT算法

采用文献[7]所提SIFT算法分别对图3中的四组图进行特征提取,确定图5(a)中SIFT特征点个数分别为1376和1071,图5(b)中的特征点个数分别为350和246,图5(c)中特征点个数分别为698和839,以及图5(d)的特征点个数分别为773和607.

图5　SIFT特征描述符

然后,通过kd-tree算法分别计算图5特征点得到粗匹配点对: 566对(图6(a))、121对 (图6(b))、101对(图6(c))和230对(图6(d)).

图6　特征点对

通过RANSAC算法消除误匹配点并计算出透视变换矩阵H,将待拼接图像变换到参考图像坐标系后进行图像融合得到最后的拼接效果图,如图6所示.

图7　SIFT方法融合图

由上述计算可知图5、图6中检测的特征点一方面数目较大,但计算透射变换矩阵仅需要4对特征点对,这会导致消耗内存计算时间较长.

(3)D2oG零点检测的SIFT算法

采用本文提出的基于D2oG零点检测的SIFT算法对图像进行特征点提取、配准及融合.通过粗匹配后得到粗匹配点对分别降为: 199对(图8(a))、15对(图8(b))、18对(图8(c))和18对(图8(d)).

图8　特征点对

采用RANSAC算法来消除误匹配点对并用式(9)分别计算出图3中待拼接图像的坐标变换矩阵H中的参数:

变换矩阵H的参数确定后,即分别得到图3的透射图如图9所示.

图9　透射图

将图9所示的透射图与图3所示的参考图像分别进行渐进渐出融合,得到图10所示的融合图像.

图10　高斯二阶差分方法融合图

为验证所提方法的有效性,本文将从主观和客观评价两方面进行分析与讨论.

4.2分析与讨论

从图10可以看出,拼接的效果明显优于图4所采用的基于模块配准的方法,较好的解决了图像出现的错位现象,同时基于模板的拼接方法对旋转缩放的图像存在较大的局限性,因此基于特征点的方法更具实用性.通过观察图7和图10,基于SIFT算法和所提方法拼接效果图的区别不明显.为进一验证所提方法的效果,我们通过下面的客观评价指标对这两种方法进行比较.

图像拼接中特征点的提取和匹配精度及效率是影响拼接实时性的关键.我们以图像所有匹配点对数(即粗匹配点数)、一致集中的匹配点对数、拼接时间、匹配精度和匹配效率作为评价指标,对上述两种方法进行比较.

表1所示为拼接实验计算数据,从表中可知所提方法提取的匹配点数、拼接所消耗时间明显低于采用SIFT算法所得数据,同时匹配精度、效率也高于后者.证明实验所提方法的可行性和实效性好于SIFT算法.

表1　SIFT算法与所提方法(改进SIFT)对图像的实验结果

5　结语

本文在研究SIFT特征匹配算法的原理基础上,提出了基于D2oG特征检测算子的改进SIFT特征拼接算法.改进算法通过简化金字塔结构,即减少构建高斯金字塔的层数,并通过检测D2oG空间单层的二维平面的零像素点代替DoG空间三层的三维平面的极值像素点来提高算法的运行速度.同时在D2oG金字塔在构造过程中仍保留了DoG金字塔有效层,即保证了图像拼接的有效性.实验表明,所提方法对彩色、灰度图像均有较好的拼接效果,并提高了拼接的实效性,对平移、小视角差异和变形不大的图像的拼接效果较好,具有一定的参考价值.

参考文献

1林锦梅,周付根,金挺.采用SIFT特征的空基动态视屏稳定技术.红外与激光工程,2011,40(12):2552–2557.

2詹斌,李华格,等.遥感图像拼接系统.计算机系统应用,2014,23(5):31–36.

3张玉洁.图像局部不变特征提取与匹配及应用研究[学位论文].南京:南京理工大学,2010.

4王威,唐一平,任娟丽,等.一种改进的Harris角点提取算法.光学精密工程,2008,16(10):1995–2001.

5Jiang DG,Yi JK.Comparison and study of classic feature point detection algorithm.Computer Science & Service System.Nanjing,China.2012.2307–2309.

6Ryu JB,Park HH.Log-log scaled Harris corner detector.Electronics Letters,2010,46(24): 1602–1604.

7Lowe DG.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision,2004,60(20): 91–110.

8 王正林.基于对比度的小波图像融合算法研究.激光与红外,2014,44(9):1043–1044.

9曹峦,王元钦,谭久彬.改进的SIFT特征提取和匹配算法.光学精密工程,2011,19(6):1391–1397.

10刘向增,田铮,史振广,等.基于FKICA-SIFT特征的合成孔径图像度尺度配准.光学精密工程,2011,19(9):2186–2195.

11Zhu ZW,Shen ZF,Luo JC.Parallel remote sensing image registration based on improved SIFT point feature.Journal of Remote Sensing,2011,15(5): 1024–1031.

12Wan LZ,Chong WN.Flip-Invariant SIFT for copy and object detection.IEEE Trans.on Image Processing,2013,22(3): 980–991.

13 Zhu XF,Ma CW,Liu B.Target classification using SIFT sequence scale invariants.Systems Engineering and Electronics,2012,23(5): 633–639.

14Yang BLST.Multifocus image fusion and restration with sparse representation.IEEE Trans.Instrumentation And Measurement,2010,59(4): 884–892.

15刘立,彭复员,赵坤,等.采用简化SIFT算法实现快速图像匹配.红外与激光工程,2008,37(1):181–184.

16张维中,杨厚俊,张丽艳,等.基于多福图像的同名曲线亚像素匹配算法.北京邮电大学学报,2008,31(4):66–69.

17丁小丽.图像拼接技术研究[学位论文].南京:东南大学,2009.

Image Mosaic Method Based on Gaussian Second-Order Difference Feature Operator

XU Min,MO Dong-Ming,ZHANG Zhen
1(Department of Mechanical Engineering,Chongqing Industry Polytechnic College,Chongqing 401120,China)2(Department of Management Engineering,Chongqing Industry Polytechnic College,Chongqing 401120,China)

Abstract:In order to compose the wide visual angle and high resolution image from the sequence of images which have overlapping region in the same scene quickly and correctly,an improved SIFT algorithm which based on D2oG interest point detector was proposed.It extracted the image feature points and generated corresponding feature descriptors by improved SIFT algorithm.Then,feature point matching pairs were purified using the random consistency (RANSAC)algorithm and the transformation matrix H was caculated.Last,the seamless mosaic of images was completed by using the image fusion algorithm of slipping into and out.The images which had the four typical transformations were separately processed with the traditional SIFT and the proposed method in the experiment.The result indicated that the number of feature pairs is fewer,the mosaic time is shorter and the matching efficiency is higher than that of SIFT algorithm.This method reduces the complexity of operation and improves real-time of image mosaic simultaneously.

Key words:sequence image; image matching; SIFT algorithm; Guassian first-order difference pyramid; Guassian second-order difference pyramid

基金项目:①重庆市高等学校青年骨干教师资助项目(自然科学类);重庆市工业职业技术学院科研项目自然科学基金(GZY201313)

收稿时间:2015-08-04;收到修改稿时间:2015-10-08