结合稳定兴趣点和Gabor小波的图像检索

闫允一,姜 帅,郭宝龙

(西安电子科技大学智能控制与图像工程研究所,陕西西安 710071)

结合稳定兴趣点和Gabor小波的图像检索

闫允一,姜 帅,郭宝龙

(西安电子科技大学智能控制与图像工程研究所,陕西西安 710071)

提出了一种基于稳定兴趣点和纹理特征的图像检索算法.该算法首先利用优化的Hessian检测器检测图像中的稳定兴趣点,并计算稳定兴趣点的环形邻域的伪泽尼克矩;然后,利用Gabor小波变换提取图像的纹理特征;最后,用不同图像伪泽尼克矩和纹理之间的差异来衡量图像的相似度,实现图像检索.实验结果表明,与其他基于兴趣点或者纹理特征的检索方法相比,该算法能够降低不稳定兴趣点的影响,有效提高了图像检索的准确率和查全率.

图像检索;兴趣点;Hessian检测器;Gabor小波变换;纹理特征

兴趣点是一种重要的图像视觉特征,具有计算量小、信息含量高的特点.利用兴趣点,可以大大降低图像检索中需要处理的数据量,因此被广泛应用于许多基于内容的图像检索(Contents-Based-Image Retrieval, CBIR)系统[1]中.近年,利用兴趣点检测器获取兴趣点的位置,并利用基于兴趣点的局部特征描述方法对其图像进行特征提取,最后再进行相似度匹配的图像检索方法已经受到广泛关注[2].纹理特征是图像的重要特征之一,它能够反映邻域像素灰度的分布规律,其中小波分析是一种全新的时、频分析,是信号的时间尺度分析方法.近年来越来越多的研究集中于如何借助小波变换进行图像纹理分析.Wol等[3]采用兴趣点局部Gabor特征检索的方法,根据各个不同尺度和方向的最大幅值生成一列直方图表示图像进行检索;Jian等[2]使用密度的聚类算法对兴趣点进行聚类,使用各类兴趣点的颜色矩和Gabor特征的加权特征向量进行检索;符祥等[4]在兴趣点局部计算泽尼克矩,通过比较各兴趣点局部泽尼克矩的欧氏距离来提取最优匹配点对,取出不匹配的兴趣点,然后利用兴趣点的空间离散度来估计图像内容的相似性[5].

以上这些研究成果更多地考虑了兴趣点的空间分布信息和纹理特征,不再是早期算法中将图像匹配算法的简单移植,提高了图像检索的准确度.但是,由于传统的兴趣点检测器检测的兴趣点通常会存在点位置偏差和误检的问题,使得基于兴趣点图像检索的准确率并不高.针对这一点,笔者提出了一种图像检索新算法.该算法利用优化Hessian检测器检测稳定的兴趣点,并结合Gabor小波变换提取纹理特征,采用稳定兴趣点邻域内伪泽尼克矩和Gabor小波变换提取的纹理特征加权向量来进行特征描述.实验结果表明,该算法具有较好的检索性能.

1 兴趣点检测

角点是主要的一类兴趣点,Hessian角点检测器[6]可检测具有轮廓和直线上局部最大值的点,因此被广泛应用于图像检索中.该检测器通过利用一个高斯窗或者矩形窗在图像上移动,由模板窗口取得原图像衍生出2×2的局部结构矩阵,该矩阵定义为

其中,h为高斯窗平滑函数;Gxx、Gyy和Gxy为图像亮度I(x,y)在点(x,y)处的二阶梯度.

可以由基坐标梯度的线性组合表示任意方向上的一阶梯度,其表达式为

其中,下角标u=(ux,uy)T,表示单位向量[7].依据一阶梯度的表达式,可定义一个二阶梯度的线性代数表达式为

其中,Gx和Gy分别为图像沿x和y方向的梯度值,定义为

对式(5)进行傅里叶变换,得到

在频域下,两个一阶滤波器分别表示为P(ω)和Q(ω),可通过滤波器的最小二乘函数(WLS)将误差[jωP(ω)-Q(ω)]精确到最小化.例如,高频部分由滤波器Q(ω)产生的误差可以通过滤波器P(ω)减小.

考虑到上述因素,滤波器的WLS可定义为

一阶梯度滤波器p和q均选择三拍的,因为三拍的滤波器不仅对低频部分和高频部分的估计较精确,而且计算简单.将三拍的一阶滤波器和代入式(7),对其进行全局优化,计算得到当E 2取最小值时的p(n)和q(n),如表1所示.

表1 滤波器p和q的值

对上述结果进行归一化,便可得到优化梯度滤波器p=(3/16 10/16 3/16)和q= (-1/2 0 1/2).将信号I(x)分别与两个滤波器进行卷积,得到{I*p}(x)和{I*q}(x),并将它们分别作为原信号和该信号的梯度形式,即可得到优化Hessian检测器;然后利用该检测器对图像进行兴趣点检测,就能够得到比Hessian检测器更为精确的兴趣点.

2 基于兴趣点环形区域的伪泽尼克矩

伪泽尼克矩的抗噪性比泽尼克矩的抗噪性更强,并具有旋转不变性和鲁棒性.文中采用兴趣点邻域内伪泽尼克矩作为图像特征加权向量,具有更高的准确性.

根据文献[8]中的划分方法,将图像空间按照兴趣点的空间划分成l个同心圆环,如图1(a)中的圆环和图1(b)中的圆环,再以每个兴趣点为中心展开其周围3×3邻域,然后统计每个圆环内部兴趣点邻域的伪泽尼克矩.伪泽尼克矩是一种正交复数矩,它所利用的正交多项式集是一个在单位圆(x2+y2≤1)内的完备正交集.图像I(x,y)的(n,m)阶伪泽尼克矩定义[8]为

对于数字图像,在极坐标下,式(8)变为

计算图像的伪泽尼克矩时,选图像的兴趣点为极坐标的原点,将单位圆内的像素映射为极坐标,单位圆外的像素在计算时不予考虑.

图1 空间区域划分示意图

3 纹理特征提取

图像纹理反映的是图像的一种局部结构化特征.基于频域的能量分布能够鉴别纹理的基本假设,小波变换方法通过滤波器或滤波器组将纹理转到变换域,然后应用某种能量准则提取纹理特征[9].文中采用Gabor小波变换提取纹理特征,其原因是纹理是窄带信号,不同纹理一般具有不同的中心频率及带宽.

Gabor滤波器将输入纹理图像I(x,y)与Gabor小波进行卷积,可得到不同方向和尺度的子带.设I(x, y)的大小为M×N,则经Gabor分解输出的图像为

其中,ψmn(x,y)是对Gabor小波基函数ψ(x,y)进行尺度伸缩和旋转变换后形成的Gabor小波族,可表示为

其中,x′=a-m(x cosθ+y sinθ),y′=a-m(y cosθ-x sinθ),θ=nπk,k是方向数,a-m是尺度因子.则二维Gabor波的基函数可定义为

其中,ψ(x,y)是经过复数正弦函数调制的Gaussian函数;σx和σy分别为Gabor波基函数沿x轴和y轴方向的方差;ω为中心频率.这里,Gabor波基函数是以(ω,0)为中心频率的带通滤波器.由式(11)计算出的均值μmn和标准方差σmn可以作为图像的纹理特征,其表达式为

Arivazhagan等[10]通过实验给出了方向数和尺度数取值分别为6和4时显著性最高的依据[11],因此,文中不再累述,并分别选取方向数为6、尺度数为4作为参考取值.特征向量可表示为:f(μ00,σ00;μ01,σ01;…;μ35,σ35).

4 相似性度量

设Q为待查询图像,I为图像库中的一副图像,使用加权特征距离度量它们内容的相似度.用Szernike和Stexture分别表示图像Q和I的伪泽尼克矩的特征相似度和纹理特征相似度.图像总的相似度可表示为

其中,ωz和ωt是两个可调整的权值,且满足ωz+ωt=1;fQ和fI分别是图像Q和图像I的纹理特征向量;N为兴趣点总数目;ωk为在第k个圆环兴趣点的数目;P是图像的伪泽尼克矩.S的值越小,则视为越相似.ωz和ωt的选择是依据相应组成部分的贡献度决定的,可利用基于权系数调整,又称之为相似性度量更新的方法,它是根据反馈信息适当调整距离公式中的权系数来达到优化匹配结果的目的的.首先,权重被设置成一些预设值,通过计算出的检索结果,对于符合用户要求的情况,分析它们的各个分量,对贡献度大的权值增大,对贡献度小的就减小权值.经过反馈迭代后,权重便可以接近最优值.由于该相关反馈的问题超出了文中的研究范围,为简单起见,假设每一个部分对相似性判断具有同等的贡献度,因此,取ωz=ωt=0.5.

5 实验结果

为验证文中算法的检索性能,将文中算法与文献[4,8]的算法进行比较,采用的是从Corel图像库中抽取的1 000幅图像(下载网址是http://wang.ist.psu.edu/～jwang/test1.tar),这些图像分属于10个图像类,每类100张.在相同的软硬件环境(软件环境:VC++6.0,WindowsXP;硬件环境:Pentium(R)D CPU 2.8 GHz,1.5 GB内存)下,通过比较查准率来评价检索性能.

表2 文中算法与其他算法的检索性能比较

查准率的定义为:PT=nT,其中,n为1次查询返回的相关图像数目,T为1次查询返回的图像数目.实验时,提取150个兴趣点,兴趣点环形划分数为6.具体实验步骤如下:从每类图像中抽取10幅图像分别作为查询图像,由式(16)分别计算出每幅图像的P10、P20和P30,然后计算每类图像的平均值¯P10、¯P20和¯P30,实验结果如表1所示.从表1可以看出,文中算法较文献[4,8]的算法有明显优势.

图2是上述3种不同算法对马类图像的检索结果比较.图2(a)是文献[4]采用兴趣点匹配和空间分布的检索结果,图2(b)是文献[8]采用兴趣点颜色及空间分布方法的检索结果,图2(c)是文中稳定兴趣点及纹理特征结合算法的检索结果.图2中返回的图像是20幅,左上角第1幅图像为查询图像,其余图像是查询结果,从左到右,从上到下,相似度依次减小.经分析发现,在查询结果中,文中算法查询正确的图像有18幅,准确度为90%;文献[4]查询正确的图像有14幅,准确度为70%;文献[8]查询正确的图像有15幅,准确度为75%.实验结果说明,用稳定兴趣点环形区域伪泽尼克矩和纹理特征有效结合,并将加权特征作为特征向量进行检索后,图像的准确度更高.

图2 3种算法对马类图像的检索结果

查全率的定义为:PR=nR,其中,n为1次查询返回的相关图像数目,R为1次查询返回的查询结果个数.查准率用来评价检索结果的准确性,而查全率用来评价检索结果的全面性.若查准率和查全率越高,则算法的检索性能就越好.但研究表明,查准率和查全率之间成反比关系,随着检索返回结果数的增加,查全率越来越高,查准率则越来越低.查准率(PT)和查全率(PR)是应用最广泛的评价标准.

为进一步说明文中算法的检索性能,从特征提取时间复杂度和图像检索时间复杂度两个方面与文献[4,8]的算法进行比较,如图3所示.具体步骤为:从Corel图像库中任意取100幅图像,分别用文中算法、文献[4]的算法和文献[8]的算法提取特征,提取特征所用的平均时间分别为25.53s、45.65 s和43.58 s;分别用文中算法、文献[4,8]的算法在Corel图像库中检索出与查询图像相似度最大的20幅图像,平均检索时间分别为1.83 s、3.69 s和2.45 s.实验结果表明,文中算法的特征提取时间复杂度和图像检索时间复杂度均小于其他两种算法.算法复杂度包括特征检测、特征匹配、纹理特征提取及图像检索.假设输入图像为E×F个像素,两帧图像分别检测的特征点数为E×F和E×F,得到的一致匹配对为E×F,利用RANSAC方

法筛选的匹配对为E×F,提取的纹理特征大小是E×F,则计算复杂度为O(M×N)+O(A2B2)+ O(p2)+O(E×F).可利用匹配对搜索抑制方法来获得更快的计算速度.同时,特征检测和特征匹配时间约占图像检索时间的20%,当特征匹配的数量较大时,可通过分块计算最优变换模型的办法来减少计算时间.

图3 3种方法的查全率查准率曲线比较

6 结束语

文中算法利用优化Hessian检测器检测出稳定的兴趣点,降低了不稳定兴趣点的影响,通过稳定兴趣点集合划分得到环形区域,并在环形区域中获得稳定兴趣点邻域内的伪泽尼克矩;然后采用Gabor小波变换提取纹理特征;最后使用加权特征向量进行图像检索.从理论分析可知,该算法具备伪泽尼克矩所具备的旋转、平移和缩放不变性.而且实验结果表明,文中算法复杂度小,检索准确度高,具有较好的检索性能,但是没有考虑图像颜色的空间分布信息.在今后的研究中,将把颜色的空间分布信息融入文中算法中.同时,使用种类更全、数量更大的数据库,也是今后研究工作的重点.

[1]Zakariya S M,Ali R,Ahmad N.Combining Visual Features of an Image at Different Precision Value of Unsupervised Content Based Image Retrieval[C]//Proceedings of International Conference on Computational Intelligence and Computing Research.Piscataway:IEEE,2010:110-113.

[2]Jian Muwei,Chen Shi.Image Retrieval Based on Clustering of Salient Points[C]//2nd International Symposium on Intelligent Information Technology Application.Piscataway:IEEE,2008:347-351.

[3]Wol C,Jolion J,Kropatsch W,et al.Content Based Image Retrieval Using Interest Points and Texture Features[C]// Proceedings of 15th International Conference on Pattern Recognition.Los Alamitos:IEEE,2000:234-237.

[4]符祥,曾接贤.基于兴趣点匹配和空间分布的图像检索方法[J].中国激光,2010,37(3):774-778.

Fu Xiang,Zeng Jiexian.A Novel Image Retrieval Method Based on Interest Points Matching and Distribution[J]. Chinese Journal of Lasers,2010,37(3):774-778.

[6]孟繁杰,郭宝龙.使用兴趣点局部分布特征及多示例学习的图像检索方法[J].西安电子科技大学学报,2011,38(2): 47-53.

Meng Fanjie,Guo Baolong.Image Retrieval by Using Local Distribution Features of Interest Points and Multipleinstance Learning[J].Journal of Xidian University,2011,38(2):47-53.

[7]Freeman W T,Adelson E H.The Design and Use of Steerable Filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(9):891-906.

[8]孟繁杰,郭宝龙.一种基于兴趣点颜色及空间分布的图像检索方法[J].西安电子科技大学学报,2005,32(2):256-259.

Meng Fanjie,Guo Baolong.A Novel Image Retrieval Algorithm Based on the Color and Distribution of Interest Points [J].Journal of Xidian University,2005,32(2):256-259.

[9]Mukundan R,Ramakrishnan K R.Moment Functions in Image Analysis—Theory and Applications[M].Singapore: World Scientific Publishing,1998.

[10]Arivazhagan S,Ganesan L,Priyal S P.Texture Classification Using Gabor Wavelets Based Rotation Invariant Features [J].Pattern Recognition Letters,2006,27(16):1976-1982.

[11]Roslan R,Jamil N.Texture Feature Extraction Using 2-D Gabor Filters[C]//IEEE Symposium on Computer Applications and Industrial Electronics.Washington:IEEE Computer Society,2012:173-178.

(编辑:齐淑娟)

简 讯

日前,美国俄亥俄州立大学设计创新与仿真实验室与我校电子装备结构设计教育部重点实验室联合成立了微/纳精度机构设计与控制研究中心.依托该研究中心,双方将致力于微/纳精度机构工作机理动态分析与设计原理、可靠性分析与设计,以及控制领域的基础性问题研究,并开展微/纳精度机构的机电一体化实践和应用.

(摘自《西电科大报》2014.8.14)

Image retrieval using stable interest points and Gabor wavelet

YAN Yunyi,JIANG Shuai,GUO Baolong
(Research Inst.of Intelligent Control&Image Engineering,Xidian Univ.,Xi’an 710071,China)

A new image retrieval method based on stable interest points and texture feature is proposed. Firstly,the optimal Hessian derivative filter is used to detect the stable interest points in the image.After that,pseudo-Zernike moments defined on the neighborhood of stable interest points in the annular region are calculated.Then,the texture feature is extracted by the Gabor wavelet transform.Finally,the difference in pseudo-Zernike moment and texture feature among images is used to depict image similarity. Experimental results show that this method reduces the effects of the unstable points and improves the image retrieval accuracy effectively comparied with other retrieval methods based on interest points.

image retrieval;interest points;Hessian detector;Gabor wavelet transform;texture feature

TP391.4

A

1001-2400(2014)05-0118-06

2013-08-09< class="emphasis_bold">网络出版时间:

时间:2014-01-12

国家自然科学基金资助项目(61305041);中央高校基本科研业务费专项资金资助项目(K5051304024)

闫允一(1979-),男,博士,副教授,E-mail:yyyan@xidian.edu.cn.

http://www.cnki.net/kcms/doi/10.3969/j.issn.1001-2400.2014.05.020.html

10.3969/j.issn.1001-2400.2014.05.020