一种改进的视频序列SIFT特征检测方法*

陈 滨 赵建军 马同刚 王远强

(1.海军航空工程学院兵器科学与技术系 烟台 264001)(2.91899部队 葫芦岛 125001)

一种改进的视频序列SIFT特征检测方法*

陈 滨1赵建军1马同刚2王远强2

(1.海军航空工程学院兵器科学与技术系 烟台 264001)(2.91899部队 葫芦岛 125001)

SIFT算法在不变特征提取方面有着较大的优势,但因为其时间复杂度高,在实时应用上仍存在较大挑战。为了提高SIFT算法的实时性,论文对SIFT特征检测算法进行改进,根据连续图像间的全局运动矢量,动态更新邻域半径,并依据该半径获取后续视频图像序列需要进行极值检测的区域图像,从而减少后续图像极值检测时间,提高SIFT特征检测算法的效率。实验证明,改进算法在确保特征点数目的前提下,有效减少了尺度空间下的极值检测时间,提高了SIFT算法效率。

SIFT算法; 全局运动矢量; 视频图像; 尺度空间

Class Number TP391.41

1 引言

SIFT(Scale Invariant Feature Transform)是一种计算机视觉算法,用来检测并描述图像中的局部特征。算法构建尺度空间,并在空间中寻找极值点,计算其位置、尺度、旋转不变量[1～2]。SIFT特征与图像的大小、旋转无关,而是基于图像局部的一些兴趣点,在噪声、视角及光线变化等条件下具有很好的效果。在图像的不变特征提取方面,SIFT特征具有很大的优势[3～4]。但是,算法运行过程中需要构建尺度空间、高斯金字塔,并对满足关键点检测条件的每一帧图像中的每一个像素进行极值判断,在此基础上检测尺度空间中图像的SIFT特征。因此,在实时条件下利用SIFT特征完成稳像、跟踪等任务仍然是较大的挑战。

本文提出一种改进的SIFT特征检测方法:在前一帧图像获得SIFT特征后,后继帧图像在前一帧图像SIFT特征点所在的邻域内进行关键点检测,减少极值检测次数,提高算法效率。邻域半径根据连续图像间的全局运动矢量[5～6]动态调整。

2 SIFT特征

2.1 尺度空间[7～8]

尺度空间理论的基本思想是:在图像信息处理模型中引入一个被视为尺度的参数,通过连续变化尺度参数获得不同尺度下的视觉处理信息,然后综合这些信息以更加深入地挖掘图像的本质特征。

尺度空间满足视觉不变性:用眼睛观察物体时,一方面当物体所处背景的光照条件变化时,视网膜感知图像的亮度水平和对比度有所不同,因此要求尺度空间算子对图像的分析不受图像的灰度水平和对比度变化的影响,即满足灰度不变性和对比度不变性。相对于某一固定坐标系,当观察者与物体之间的相对位置变化时,视网膜所感知的图像的位置、大小、角度和形状是不同的,因此要求尺度空间算子对图像分析与图像的位置、大小、角度以及仿射变换无关,即满足平移不变性、尺度不变性、欧几里得不变性及仿射不变性。

一个图像的尺度空间L(x,y,σ),定义为一个变化尺度的高斯函数G(x,y,σ)与原图像I(x,y)的卷积,如式(1)所示:

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

其中:

(2)

(x,y)代表图像像素坐标,σ是尺度空间因子,值越小表示图像被平滑的越少,相应尺度也就越小。大尺度对应于图像的外貌特征,小尺度对应于图像的细节特征。

2.2 SIFT流程

SIFT算法[9～10]主要由四个阶段组成:

1) 尺度空间极值检测

构建尺度空间的第一步就是建立高斯金字塔。

假设原图像大小为M1×N1,塔顶图像大小为Mn×Nn,满足式(3):

n=log2(min(N1,M1))-log2(min(Nn,Mn))

(3)

构建高斯金字塔模型的流程图如图1所示。

利用不同参数,对图像进行高斯模糊,获得一组图像。

图1 高斯金字塔构建流程图

高斯差分算子能够产生稳定的图像特征,算子D(x,y,σ)如式(4)所示。因此,利用高斯金字塔生成高斯差分金字塔,可以产生更加稳定的关键点。实际计算时,将高斯金字塔每组中的相邻两层图像相减,就能得到高斯差分图像。因此,高斯金字塔模型每组含有P幅图像,高斯差分金字塔仅有P-1幅图像。

D(x,y,σ) =(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(4)

得到高斯差分金子塔后,对满足关键点检测条件的每一帧图像中的每一个像素进行极值判断。由于进行极值检测时,需要对检测点在尺度空间中相邻的26个点进行大小比较,因此在高斯差分金字塔中,图像处于中间层才能进行极值检测。所以为了在每组图像中检测K个尺度的极值点,需要高斯差分金字塔每组拥有K+2幅图像。由此可知,高斯金字塔的每组图像需要K+3幅图像。为了保证最高的空域采样率,通常做法是将图像的尺度扩大一倍,即将图像用双线性插值扩大一倍。

2) 关键点定位

由于1)中检测到的是离散空间的极值点,为了去除对比度低的关键点和不稳定的边缘响应点,以增强匹配稳定性、提高抗噪声能力,需要通过函数拟合来确定关键点的位置和尺度。

3) 方向确定

在关键点所在的高斯金字塔图像中,对其3σ领域窗口内的像素计算梯度和方向分布特征,使用梯度直方图将360°分为36个区域,每个区域10°。使用梯度直方图统计该领域内像素的梯度和方向,并用直方图的峰值作为关键点的主方向,保留峰值大于主方向峰值80%的方向作为关键点的副方向。至此,SIFT特征点可被表示为含有位置、尺度和方向的关键点。

4) 关键点描述

最后,为每个关键点建立一个描述符,并用一组向量将这个关键点描述出来,令其不受到光照、视角等变化的影响。SIFT描述子使用关键点为中心的4×4个窗口,计算每个子窗口内像素点8个方向的梯度信息,生成4×4×8共128维向量。这个向量是该区域图像信息的一个抽象,具有唯一性。

3 改进SIFT特征检测方法

在尺度空间中检测到的极值点,将作为SIFT关键点的初始集合,通过筛选去除一些边缘点、不稳定点后,获得SIFT关键点。尺度空间中的极值检测是SIFT算法的关键一步。

3.1 极值检测时间复杂度

(5)

所有进行极值检测的像素点数目为

(6)

其中S由视频序列的长度和帧频决定,K决定了一组图像中可以检测的尺度的数量,一般取值为5。因此,有效减少Pi是减少极值检测像素点,提高SIFT算法速度的关键。

3.2 改进方法

现有图像传感器设备获取的视频序列一般具有较高的帧频。当摄像载体运动时,在获得的视频序列中,相邻两帧图像间的全局运动较小。因此,后一帧图像中的SIFT特征点一般在前一帧图像中对应特征点的邻域内。通过限定邻域半径,获取前一帧图像所有特征点邻域像素点的集合,减少参与极值检测像素点数目,算法流程如图2所示。

图2 改进算法流程图

邻域半径由式(7)决定:

(7)

其中,S为视频序列中图像的帧数。参数k为控制参数,避免摄像载体速度突变,导致检测失败。

4 实验及结果

实验分别计算了原算法与改进算法作用于测试集所得特征点数目、算法耗时,通过对比来测试改进算法的有效性。

4.1 实验测试集

实验利用无人机拍摄的视频测试集,选取视频中连续9帧图像(第71至79帧),测试算法有效性,如图3所示。

图3 实验测试集

图像分辨率为240×320。式(6)中各项参数值为S=9,K=5,n=4,k=2。

4.2 实验结果

利用SIFT特征检测算法对测试集进行检测,获得测试集各帧图像的特征点数目,如表1所示。

表1 SIFT特征点数目表

图4 原算法极值检测耗时图

由图4可知,当图像分辨率增加至480×640时,极值检测过程中需要进行比较的像素点大大增加,导致特征点检测时间将大幅提高。

通过前两帧图像得到的全局运动矢量来得到邻域半径的初始值,并且以此计算后一帧图像需要进行极值检测的区域图像,不断重复,得到区域图像集如图5所示。

图5 极值检测区域图集

由改进算法得到的SIFT特征点数目如表2所示:

表2 改进算法SIFT特征点数量表

通过改进算法,在视频图像序列的各个分辨率条件下,算法极值检测时间均有较大提高,如图6所示。

图6 改进算法极值检测耗时图

由实验结果可知,改进算法在极值检测时间方面有了较大的提高。

5 结语

本文针对SIFT特征极值检测阶段耗时较长的问题,对SIFT算法进行了改进。通过计算相邻图像间的全局运动矢量,限定下一帧图像中进行极值检测的区域,并根据随后得到的全局运动矢量不断更新邻域半径。改进算法通过减少极值检测的次数,提高SIFT算法的效率。

实验表明,改进算法在动态更新邻域半径的情况下,在保证了SIFT特征点的数目的基础上,同时得到了每帧图像进行极值检测的区域,有效减少了极值检测的次数,大幅减少了极值检测时间。

[1] CHANG H C, LAI S H, LU K R. A Robust Real-time Video Stabilization Algorithm[J]. Journal of Visual Communication and Image Representation,2006,17(3):659-673.

[2] 傅卫平,秦川,刘佳等.基于SIFT算法的图像目标匹配与定位[J].仪器仪表学报,2011,32(1):163-169. FU Weiping, QING Chuan, LIU Jia. Matching and location of image object based on SIFT algorithm[J]. Chinese Journal of Scientific Instrument,2011,32(1):163-169.

[3] 高健,黄心汉,彭刚等.一种简化的SIFT特征点提取算法[J].计算机应用研究,2008,25(7):2213-2222. GAO Jian, HUANG Xinhan, PENG Gang. Simplified SIFT feature point detecting method[J]. Application Research of Computers,2008,25(7):2213-2222.

[4] 安婷,贺一民,张志毅.改进的双向SIFT特征匹配算法[J].计算机工程与科学,2016,38(1):138-143. AN Ting, HE Yimin, ZHANG Zhiyi. An improved bidirectional SIFT feature matching algorithm[J]. Computer Engineering and Science,2016,38(1):138-143.

[5] 孙剑,徐宗本.计算机视觉中的尺度空间方法[J].工程数学学报,2005,22(6):951-962. SUN Jian, XU Zongben. Chinese Journal of Engineering Mathematics,2005,22(6):951-962.

[6] BATTIAT O S, GALLO G, PUGLISI G.SIFT feature tracking for video stabilization[C]//International conference on Image Analysis and Processing, Modena 2007:1-7.

[7] 陈启立,宋利,余松煜.视频稳像技术综述[J].电视技术,2011,35(7):15-17. CHEN Qili, SONG Li, YU Songyu. A Overview of Video Stabilization[J]. Video Engineering,2011,35(7):15-17.

[8] 黎燕,樊晓平,李刚等.尺度空间图像的互信息与配准[J].计算机工程与应用,2008,44(23):178-182. LI Yan, FAN Xiaoping, LI Gang, et al. Mutual information and register in scale space image[J]. Computer Engineer and Applications,2008,44(23):178-182.

[9] David G. Lowe. Object Recognition from Local Scale-invariant Features[C]//International Conference on Computer Vision, Corfu, Greece: Springer US,1999:1150-1157.

[10] David G. Lowe. Distinctive Image Features from Scale-invariant Keypoints[C]//International Conference on Computer Vision, Springer US, 2004: 91-110.

An Improved Method of Detecting SIFT Features in Video Frame

CHEN Bin1ZHAO Jianjun1MA Tonggang2WANG Yuanqiang2

(1. Weapon Science and Technology Department, Naval Aeronautical and Astronautical University, Yantai 264001)(2. No. 91899 Troops of PLA, Hululdao 125001)

Although SIFT algorithm has great advantage of extracting the invariant features, it is a challenge to use the algorithm real-time because of the time complexity. The paper improves the SIFT algorithm by limiting the area of extremes detection. The radius of the area is updating with the global motion vectors between the continuous frames of a video. With the improved algorithm, the images of the areas are obtained in which the extremes to be detected. The algorithm keeps the amount of SIFT features and is proved to be more efficient by decreasing the time cost by extremes detection.

SIFT algorithm, global motion vector, video frame, scale space

2016年9月3日,

2016年10月17日

陈滨,男,博士研究生,研究方向:计算机视觉。赵建军,男,博士,教授,研究方向:武器装备与作战指挥一体化。马同刚,男,助理工程师,研究方向:航空装备保障。王远强,男,助理工程师,研究方向:航空装备保障。

TP391.41

10.3969/j.issn.1672-9722.2017.03.025