基于自反馈的动态权值图像检索方法

李 薇，周俏丽，高 徽，郎文静

(1.中国航空综合技术研究所 信息服务与档案管理室，北京 100028；2.沈阳航空航天大学 知识工程研究中心，沈阳 110136；3.百度公司 复合搜索部，北京 100085)

基于内容的图像检索技术[1]是当前信息领域的重要研究热点，得到国内外信息领域科技人员的广泛关注。图像内容指图像中所包含对象的特征(如颜色，形状，纹理等)。基于单一特征的图像检索效果不佳，很多人提出了基于多特征、加权多特征的检索方法。

颜色特征是图像的基本特征之一，也是图像检索中应用最为广泛的视觉特征。与其他视觉特征相比，颜色特征对图像本身的尺寸、方向和视角的依赖性较小，特征的提取也相对容易，因而基于颜色特征的图像检索的研究受到了广泛的研究和应用，已提出了多种性能较好的算法[2]。本文是在对HSV颜色模型量化的基础上，提取颜色直方图作为颜色特征进行图像检索。

形状信息是另一种重要的图像低层特征。形状表示了图像中有意义的区域或相关对象，它不随周围如亮度等环境的变化而变化，是物体稳定的特征。在计算机视觉中，形状特征是描述高层视觉特征的重要手段，而目标对象对获取图像语义尤为重要。因此利用形状检索可以大幅度的提高检索的准确性和效率。但是由于自然图像中的对象和区域的分割比较困难，现有的形状描述方法还不成熟，至今还没有找到与人的视觉特性一致的有关形状的确切数学描述，因此一般情况下图像的形状特征是很难自动提取的。目前有关图像形状的表示方法主要有两类：基于边界的表示方法和基于区域的表示方法。

纹理特征是图像的重要特征之一，其本质是刻画像素的邻域灰度空间分布规律。图像纹理分析是图像分析处理研究中的一个重要组成部分。纹理分析典型的方法有：空间域纹理分析、频率域纹理分析、空间/频率域联合纹理分析和基于分形模型的纹理分析方法。本文采用空间域纹理分析中的基于人眼视觉感受的Tamura[3]纹理特征。

单一特征仅从某一角度描述图像信息，只能表达图像的部分属性，对内容的描述较片面，缺少足够的区分信息。因此，综合利用颜色、纹理、形状和空间关系等特征，全面描述图像内容的检索方法，即多特征检索，受到广泛关注。本文利用多特征融合避免单一特征的局限性，主要讨论在多特征图像检索过程中，如何进行多特征相似度匹配、多特征之间的权值分配，以及如何通过动态确定各特征间权值来达到较好的检索效果，从而构建高效的自反馈检索系统。

1 颜色特征的提取

(1)

确定颜色空间后，下一步的工作就是在该颜色空间上进行颜色特征表达。主要方法包括：颜色直方图、二值颜色集、模糊颜色直方图、颜色关联图(Color Correlogram)[4]、颜色一致性矢量(Color coherence vector)[5]、颜色矩[6]、空间颜色直方图等。以上为均为基于统计的颜色特征描述方法，简单的颜色直方图对图像的平移旋转等空间变换具有不变性，但不能表达图像的空间信息以及图像中的目标物体，空间颜色直方图等的引入增加了颜色特征的空间表达能力。

2 形状特征提取

2.1 边缘检测

图像形状信息的获取依赖于图像的边缘检测[7]。经典的边缘检测方法是对原始图像中像素的某小邻域构造边缘检测算子。常用的边缘检测算法有Roberts算子、Sobel算子、Prewitt算子、Kirsch算子、Laplacian算子、LOG算子、Canny算子等。Canny算子是一个具有滤波、增强和检测的多阶段的优化算子。在进行处理前，Canny算子先利用高斯平滑滤波器来平滑图像以除去噪声(即用高斯平滑滤波器与图像作卷积)。增强边缘是将邻域(或局部)强度值有显著变化的点突出来，一般通过计算梯度幅值来完成。Canny分割算法采用一阶偏导的有限差分来计算梯度的幅值和方向。在处理过程中，Canny算法还将经过一个非极大值抑制的过程，最后采用两个阈值来连接边缘。Canny算子提取出来的边缘具有完整、清晰、噪音少的特点，因此本文采用Canny算子获得图片的边缘信息。

2.2 特征提取

Dengsheng Zhang[8]在傅里叶描述的基础上提出了几何傅里叶变换，该方法具有旋转不变性。对于图像f(x,y)，0

u,v=0,1,…,N-1

(2)

直接利用该傅里叶变换进行图像检索并不能取到良好的检索效果，因为它不支持旋转不变性，当图像旋转后，其傅里叶频谱也相应地旋转了一定角度。为了克服此问题，可以把傅里叶变换运用到极坐标系下，即在极坐标下的傅里叶描述子，其过程如下：

取x=r·cosθ，y=r·sinθ，u=ρ·cosφ，v=ρ·sinφ

dx=cosθdr-rsinθdθ

(3)

dy=sinθdr+rsinθdθ

(4)

将式(4)和(3)带入(2)中，则得到PFT1：

(5)

上式的离散表示形式为：

(6)

其中，rp=p/R,θi=i(2π/T)(0≤i

3 纹理特征提取

Tamura纹理特征的6个分量对应于人眼视觉感受的纹理特征的6种属性，分别是粗糙度、对比度、方向度、线性度、规整度和粗略度，其中前3个分量对于图像检索尤为重要。本文计算图像的粗糙度、对比度和方向度三个属性，并按5：3：2构建30维特征。

4 自反馈的动态权重计算方法

颜色、形状和纹理从不同角度反映图像某方面的特征，单一特征的相似仅能体现两幅图像局部相似，因此将自反馈的动态权重计算方法引入多特征融合过程，避免单一特征图像检索的局限性的同时，优化了权重的计算。融合检索的首要任务是对单一特征的相似性进行特征间归一化，本文采用高斯归一化方法，过程如下：

(1)计算待检索图像与图片库中任意图片i的相似度距离di(本文采用欧式距离)，并计算一次检索过程中得到的待检索图像和图片库中所有图像相似度距离的平均值md和方差δd；

(2)由于图像检索过程中得到的相似性距离的过程是一个随机过程，且可以把距离分布看成是一个正态分布，因此可以对di按下式进行高斯归一化得到dt′：

(7)

由正态分布的性质可以得到归一化后的相似度di′落于[0,1]区间的概率大于99%。

(8)

weithc，weightt，weights将对最终的dilast产生较大的影响，因此如何设置三者的比值是问题的关键。

(3)自反馈动态确定weightc，weightt，weights的值。利用单一特征查询时，距离越小说明两个图片的相似度越高，对于一组图片进行查询，方差越小说明该组图片的相似度也越高，因此本文提出利用单一查询结果的距离均值和方差动态得到该特征在多特征融合过程的权值。

①均值计算：假设图片库中图片总数为N，用户要求检索返回的图片数量为n，一般情况下n远小于N。单一特征距离经过高斯归一化之后近似服从(0,1)正态分布，不同特征的检索距离的平均值基本相等，可以认为各种特征之间处于平等地位，因此在计算总的相似距离时可以对不同特征计算出来的距离进行线性相加，但最后的检索效果由前βn个距离来决定，而不同特征检索返回的此距离的均值差异较大，因此需对前βn个距离进行再次归一化以减少均值差异带来的影响。本文采用的方法是：取每个单一特征检索的前αn个距离最小的图片均值，α为大于1的正整数且αn远小于比N。本文取α=3，可以得到μc，μt，μs，σc，σt，σs。令weightc1=μt*μs，weightt1=μc*μs，weights1=μc*μt。

②方差δ计算：单一特征距离高斯归一化之后，对于前αn个距离的方差δ，其值越小，说明该方法查询出来的这组图片相似度越高，因此在融合多特征查询时应赋予较高的权值。计算方法如下：

(9)

(10)

(11)

考虑到的均值和方差的影响，最终的权重计算方式如下：

(12)

(13)

(14)

5 实验及结果分析

本文构建图像多特征融合检索原型系统，引入了自反馈的动态权值图像检索算法提高检索效果。测试图片由3000幅图像组成，包括人物、鸟类、衣服、鞋子、帽子、脸谱、飞机、烟花、蝴蝶等图像。实验①测试利用单一的颜色特征进行图像检索效果；实验②测试利用单一的纹理特征进行图像检索效果；实验③测试利用形状特征进行基于形状的图像检索效果；实验④测试综合利用三种特征，通过高斯归一化融合检索；实验⑤测试综合利用三种特征，使用自反馈动态权值计算方法。对一副给定的查询示例图像，在返回图像数量N相同的情况下，5次实验的查准率和查全率如表所示：

表1 前N个结果的平均查准率

表2 前N个结果的平均查全率

可见，由于图像特征与图像种类之间有着强对应关系，高斯归一化方法下的多特征融合检索综合要优于单一特征检索，使得图像检索更具有普遍性。自反馈动态权值方法优化了归一化过程，使得各个特征在融合过程中处于平等地位，有效提升了检索效果。利用自反馈动态权值的部分测试图片检索对比图如图1所示：

图1 检索结果对比图

6 结束语

基于内容的图像检索技术广泛应用于各种研究领域，如模式识别、信号处理、计算机视觉等。图像特征与图像种类之间的强对应关系决定了没有一种特征是通用的，基于多特征融合的检索能够融合图像各种特征于一体，细致、全面地体现图像的本质内容，本文采用利用单一特征检索来确定多特征融合时特征间的权重设定，较好避免了多特征融合时特征权值与图像库较强的对应关系实现了动态权值计算，一定程度上解决了通用特征提取的问题，提高了检索系统的准确率与召回率，较好地解决了图像检索算法的通用性问题，减小了大数据量图像集对图像检索系统的干扰。

参考文献(References)：

[1] 孙君顶，原芳.基于内容的图像检索技术[J].计算机系统应用,2011,20(8):240-244.

[2] 马凌蛟.基于颜色和形状特征的图像检索技术及其应用[D].长春：吉林大学,2011.

[3] Hideyuki Tamura,Shun ji Mori,Takashi Yamawaki.Texture features corresponding to visual perception [J].IEEE Trans.On Sys,Man,and Cyb,1978,SMC-8(6):460-473.

[4] Stricker M,Orengo M.Similarity of color images[J].Proc.SPIE Storage and Retrieval for Image and Video Database.San Jose CA USA,1995,1908(2420):381-392.

[5] Pass G,Zabih R,Miller J.Comparing images using color coherence vectors[C].4th ACM Conf.on Multimedia.Boston,ACM,1996.

[6] J.Huang,S.R.Kumar,et al.Image Indexing using color correlograms [C].IEEE Conference on Computer Vision and Pattern Recognition,1997:762-768.

[7] 曾俊.图像边缘检测技术及其应用研究[D].武汉：华中科技大学,2011.

[8] Zhang D S,Lu G.Generic Fourier Descriptors for Shape-based Image Retrieval [C].In Proc of IEEE International Conference on Multimedia and Expo,Lausanne,Switzerland,2002.