基于图像梯度信息强化的SIFT特征匹配算法改进

孙健钧, 赵 岩, 王世刚

(吉林大学 通信工程学院, 长春 130012)

图像局部特征描述子广泛应用于图像拼接、 目标跟踪[1]、 遥感影像配准[2]、 图像检索及大数据条件下应用局部特征的视频图像压缩中. 目前局部特征提取方法主要有： 尺度不变特征转换(SIFT)算法、 加速鲁棒特性(SURF)算法、 MSER(maximally state extrernal regions)算法等. 在这些局部特征提取方法中, SIFT算法性能最好, SURF算法虽然计算速度快, 但与MSER算法一样不具有尺度不变性[3]. 由于SIFT算法对图像尺度、 仿射变换、 视角及光照变化均具有不变性[4], 因此改进SIFT特征匹配算法可使其具有更优良的性能. 目前, SIFT特征匹配算法的改进算法已有很多： 稳健性高的PCA-SIFT算法、 用于行人识别的方向梯度直方图(HOG)算法, 适用于分辨率变化较大和旋转情况的SURF方法, 用于实时处理的并行递归高斯SIFT算法[5]以及双向SIFT特征匹配算法[6]等. 这些SIFT特征匹配改进方法都是针对不同的应用条件对算法进行的改进. 但SIFT特征匹配算法作为一种局部特征提取算法不可能避免因为背景相似、 无明显标志物等原因引起的误匹配[7]. 如果图像中存在局部纹理相似的区域, SIFT特征匹配算法得到的特征向量就有很大的相似性, 导致误匹配. 误匹配说明提取的点的准确性有待提高. 为了减少误匹配, 人们提出了基于几何相似性的改进方法[8]、 利用全局纹理的Contourlet-SIFT方法[9]以及根据源进行误匹配消除的方法[10].

图像梯度是稳定的二阶图像属性, 由于梯度图直接进行匹配的效果非常差, 且传统的梯度计算方法[11]对算子本身进行了边缘强化处理[12], 因此并不适用于SIFT匹配. 本文使用一种适于SIFT特征点提取的梯度算法计算出所需的梯度图并融合于原图中, 以强化图像的梯度信息, 有效减少误匹配, 达到提高匹配率的效果. 实验结果表明, 该方法明显提高了提取特征点的准确性.

1 改进的SIFT特征提取方法

在采用SIFT算法进行特征点匹配时, 可通过距离比值法和随机抽样一致(RANSAC)算法筛选并去除一些不正确的匹配点[13-14]. 强化图像的梯度信息可增加描述子相似而实际纹理特征明显不同的描述子之间的差异, 使特征描述子更具独特性, 从而避免一部分特征点的误匹配. 改进的SIFT特征提取算法流程如图1所示.

图1 改进算法流程Fig.1 Flow chart of improved algorithm

1.1 梯度图的计算

图像梯度是一种常见的图像信息描述方法, 它表示当前像素与周围像素的差异情况. 梯度越大, 则当前像素与周围像素的差异越大, 表示该像素位于图像中的边缘区域, 包含的信息量越大； 梯度越小, 当前像素与周围像素的差异越小, 表示该像素位于图像中的平滑区域, 该像素包含的信息量越少. 梯度图就是将当前像素与周围像素的差异作为图像灰度的一种图像, 其灰度值实际上即为当前像素和周围像素的灰度差异值.

梯度计算公式为

其中:G表示梯度图的梯度值;B表示原图的灰度值;i和j分别表示行、 列序号. 式(1)表示第一列的梯度值是原图第二列减去第一列得出的; 式(2)表示从第二列开始每列的梯度值等于其对应原图位置的后一列减去其前一列, 然后除以2; 式(3)表示最后一列的梯度值是通过原图最后一列减去倒数第二列得出的. 这样处理得到的梯度图适用于SIFT匹配. 该梯度的求法不偏重于边缘, 而更注重求取梯度时保留图像原来的细节特征, 防止对SIFT匹配产生不良影响.

1.2 梯度图与原图的加权叠加及归一化处理

SIFT算法认为边缘点和角点是不稳定的特征点, 而本文算法采用梯度图, 相互矛盾. 为解决该矛盾, 即既想引入梯度这一稳定特征, 使特征点的提取更准确, 又不影响保持原图的细节, 本文使用一种简单的加权叠加方法： 把梯度图的灰度值取0.5倍与原图叠加. 经过大量实验证实该简单加权叠加方法可行. 当权值过低时, 对原图影响较大, 效果略低于原算法的匹配率; 权值过高又会影响图像本身的细节. 实验选取不同的权值时, 部分匹配结果列于表1(表1中图号对应实验结果分析中的图号).

表1 不同权值匹配率(%)对比

加权叠加公式为

Ii,j=Bi,j+0.5×Gi,j,

(4)

其中:I表示叠加后图像的灰度值;B表示原图的灰度值;G表示梯度图的梯度值;i和j分别表示行、 列序号. 加权叠加后, 对图像进行归一化处理, 使其取值范围在0～255之间.

1.3 高斯模糊

在加入梯度信息后还要对图像进行去噪处理, 因为计算得出的梯度图含有噪声, 会影响描述子的准确性. 目前图像的去噪方法主要有中值滤波和高斯模糊等. 中值滤波对椒盐噪声的滤除性能较好, 但无法适应包含复杂噪声的图像； 高斯滤波虽然对椒盐噪声滤除性能较差, 但对多种噪声同时具备一定的适应性. 因此, 高斯滤波的综合性能更好, 也更适合SIFT算法.

高斯模糊采用的高斯核公式为

(5)

取σ=1.2, 即可计算出本文高斯核矩阵为

以本文梯度算法求出梯度图, 把梯度信息以0.5为权值叠加到原图上, 归一化后利用高斯模糊去噪, 即可实现图像特征提取.

2 实验结果分析

为了验证本文改进算法的性能, 在VS2012的编译环境下进行改进算法与原算法及Contourlet-SIFT方法的对比实验. 实验用图来源于牛津大学SIFT算法及全景拼接测试用图和Mikolajczyk数据集. 实验过程中对背景复杂、 含光照变化、 旋转、 视角变化和噪声的5类图像进行比较, 结果表明, 对于以上图像, 改进算法具有较好的适应性. 但对于特征不明显的情形和原算法一样效果不佳. 本文目的是提高特征点提取的准确性, 所以采用匹配率衡量改进后算法的性能.

2.1 视角变化

对视角变化具有一定的稳定性是传统SIFT算法的突出优点, 如图2所示的两张遥控赛车图片, 拍摄角度约有25°的改变, 传统算法和改进算法匹配率均较低, 但改进算法的匹配率提高了9.05%.

2.2 噪 声

图3为图像加入了高斯噪声和椒盐噪声的实验结果. 使用传统算法该图组匹配率为82.05%, 改进算法的匹配率为87.72%, 提升了5.67%.

2.3 复杂背景

图4为含复杂背景的图像匹配对比结果. 由图4可见, 增加的匹配点集中在楼房和特征明显的树木上, 改进后山峦的边缘也检测到了更多的特征点. 但对于远景中较复杂的背景部分并没有较大改善, 总体上匹配率提升了7.09%. 这体现了本文算法的优势和局限性, 因为强化了图像的梯度信息, 所以对于特征明显的部分匹配率提升较大, 但本文算法仍未能解决传统SIFT算法对于复杂背景或者特征不明显部分匹配率低的问题[15].

图2 含视角变化的图像匹配对比Fig.2 Comparisons of image matching with different visual angles

图3 含有椒盐噪声和高斯噪声的图像匹配对比Fig.3 Comparisons of image matching with salt and pepper noise and Gauss noise

图4 含复杂背景的图像匹配对比Fig.4 Comparisons of image matching with complex background

2.4 光照变化

因为不同光源带来的非线性光照变化会产生违反普通反射定律的阴影, SIFT算法对光照变化和反色情况的效果有待改善. 图5为含光照变化的图像匹配对比. 由图5可见, 对于光照变化的情况, 本文算法的匹配率略有提升, 提升了4.54%.

图5 含光照变化的图像匹配对比Fig.5 Comparisons of image matching with illumination changes

2.5 旋 转

旋转匹配结果如图6所示. 由图6可见, 本文算法具有更好的旋转不变性, 传统SIFT算法在该图组匹配率仅为52.94%, 而使用本文算法匹配率提升了19.90%. 对于旋转图组, 匹配率提升均较大, 平均提升12%.

图6 含图像旋转的匹配结果对比Fig.6 Comparisons of matching results with image rotation

2.6 与Contourlet-SIFT算法对比

为了进一步检验改进算法的性能, 图7给出了本文算法与文献[9]中Contourlet-SIFT算法的匹配结果比较.

图7 本文改进算法与文献[9]中算法匹配结果对比Fig.7 Comparisons of matching results between improved algorithm in this paper and literature [9]

本文算法、 传统SIFT算法及Contourlet-SIFT算法的实验结果对比列于表2. 由表2可见, 原算法对于该图组的匹配率是98.07%, Contourlet-SIFT算法的匹配率提升至99.57%, 而本文算法的匹配率则达到100%. Contourlet-SIFT算法匹配耗时0.780 s, 本文算法要额外消耗0.254 s. 因此, 本文算法的匹配率更高, 但效率不及Contourlet-SIFT算法.

表2 改进算法与传统SIFT算法及Contourlet-SIFT算法的实验结果对比

本文算法与传统SIFT算法的匹配率对比结果列于表3. 由表3可见, 本文改进算法在视角、 旋转不变性上均较传统SIFT算法有明显优势, 但其对亮度变化的图像匹配率提升不明显, 对于有噪声的图像匹配率有显著提升. 改进算法对含有楼房、 车辆或其他边缘明显特征物的图像提升效果较明显, 匹配率可以提升约5%～20%, 对大量图像进行检测平均匹配率也能提升5%.

表3 本文算法与传统SIFT算法的匹配率(%)对比

本文算法与传统SIFT算法提取特征点并匹配的时间对比列于表4. 由表4可见, 本文算法并未提高算法的复杂度.

表4 本文算法与传统SIFT算法的时间(s)对比

综上所述, 为了提高SIFT特征匹配算法的匹配率, 使其特征点提取的准确性更高, 本文提出了一种先求原图的梯度图, 然后把梯度信息融入原图, 再进行SIFT特征匹配的改进算法. 与传统SIFT算法相比, 本文算法在提高特征点的准确性和匹配率的同时未增加算法复杂度, 适用于多数图像的匹配.

[1] 颜雪军, 赵春霞, 袁夏. 一种鲁棒的基于图像对比度的局部特征描述方法 [J]. 电子与信息学报, 2014, 36(4): 882-887. (YAN Xuejun, ZHAO Chunxia, YUAN Xia. A Robust Local Feature Descriptor Based on Image Contrast [J]. Journal of Electronics & Information Technology, 2014, 36(4): 882-887.)

[2] 夏英, 唐小英. 中低分辨率遥感影像控制点对自动提取方法 [J]. 重庆邮电大学学报(自然科学版), 2014, 26(2): 238-242. (XIA Ying, TANG Xiaoying. Extracting Method of Control Point Pairs for Medium and Low Resolution Remote Sensing Image [J]. Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition), 2014, 26(2): 238-242.)

[3] 张毅, 童学容, 罗元. 一种改进SURF算法的单目视觉里程计 [J]. 重庆邮电大学学报(自然科学版), 2014, 26(3): 390-396. (ZHANG Yi, TONG Xuerong, LUO Yuan. A Novel Monocular Visual Odometry Method Based on Improved SURF Algorithm [J]. Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition), 2014, 26(3): 390-396.)

[4] 雷俊峰, 朱月苓, 肖进胜, 等. 基于主方向梯度的SIFT算法匹配的优化 [J]. 计算机工程与应用, 2015, 51(13): 149-152. (LEI Junfeng, ZHU Yueling, XIAO Jinsheng, et al. Improved of SIFT Matching Algorithm Based on Main Gradient of Direction [J]. Computer Engineering and Applications, 2015, 51(13): 149-152.)

[5] LUO Yong, YE Zhengyuan, CHEN Yuanzhi. Efficient Parallel Recursive Gaussian SIFT Algorithm Based on Multi-core DSP [C]//2015 IEEE 5th International Conference on Electronics Information and Emergency Communication. Piscataway, NJ: IEEE, 2015: 402-405.

[6] 安婷, 贺一民, 张志毅. 改进的双向SIFT特征匹配算法 [J]. 计算机工程与科学, 2016, 38(1): 138-143. (AN Ting, HE Yimin, ZHANG Zhiyi. An Improved Bidirectional SIFT Feature Matching Algorithm [J]. Computer Engineering & Science, 2016, 38(1): 138-143.)

[7] 张良, 王海丽, 吴仁彪. 基于改进局部不变特征的兴趣点匹配 [J]. 电子与信息学报, 2009, 31(11): 2620-2625. (ZHANG Liang, WANG Haili, WU Renbiao. Matching of Interesting Points Based on Improved SIFT Algorithm [J]. Journal of Electronics & Information Technology, 2009, 31(11): 2620-2625.)

[8] LI Jinke, WANG Gang. An Improved SIFT Matching Algorithm Based on Geometric Similarity [C]//2015 IEEE 5th International Conference on Electronics Information and Emergency Communication. Piscataway, NJ: IEEE, 2015: 16-19.

[9] 陈抒瑢, 李勃, 董蓉, 等. Contourlet-SIFT特征匹配算法 [J]. 电子与信息学报, 2013, 35(5): 1215-1221. (CHEN Shurong, LI Bo, DONG Rong, et al. Contourlet-SIFT Feature Matching Algorithm [J]. Journal of Electronics & Information Technology, 2013, 35(5): 1215-1221.)

[10] MENG Qingsong, LÜ Zhihui. An Image Registration Method Based on Improved SIFT Algorithm [C]//2015 Seventh International Conference on Advanced Communication and Networking. Piscataway, NJ: IEEE, 2015: 7-10.

[11] 樊养余, 雷涛, 张辰锐, 等. 基于自适应矢量参数的彩色图像梯度计算方法 [J]. 西北工业大学学报, 2012, 30(6): 919-925. (FAN Yangyu, LEI Tao, ZHANG Chenrui, et al. A New Method for Calculating Color Image Gradient with Adaptive Vector Parameters [J]. Journal of Northwestern Polytechnical University, 2012, 30(6): 919-925.)

[12] 张春雪. 图像的边缘检测方法研究 [D]. 无锡： 江南大学, 2011. (ZHANG Chunxue. Research on Image Edge Detection Method [D]. Wuxi: Jiangnan University, 2011.)

[13] Lowe D. Distinctive Image Features from Scale-Invariant Keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[14] 汪松. 基于SIFT算法的图像匹配算法研究 [D]. 西安： 西安电子科技大学, 2013. (WANG Song. Research on Image Matching Algorithm Based on SIFT Algorithm [D]. Xi’an: Xidian University, 2013.)

[15] WANG Xiaoli, LIU Dongmei, WANG Lirong. A Feature Point Matching Algorithm for Complex Background Image [C]//2015 IEEE 5th International Conference on Big Data and Cloud Computing. Piscataway, NJ: IEEE, 2015: 243-247.