融合多种内容特征的图像检索算法

朱凌云，朱征宇，2，齐新勇

(1.重庆大学计算机学院，重庆 400044;2.软件理论与技术重庆市重点实验室，重庆 400044)

0 引言

随着计算机技术、网络技术的迅猛发展以及图像采集设备的日益普及，图像数据的种类和数量与日俱增，如何从海量的图片库中快速、准确地找到满足用户需求的图像成为当前研究的热点。早期的图像检索算法是基于人为对图像所做出的文字化注释，进行关键词搜索的技术，人为的注释具有不充分、主观、费时费力等缺点，无法满足要求［1-3］。近年来，基于内容的图像检索(Contend-Based Image Retrieval，CBIR)方法应运而生。

CBIR 是一种近似匹配技术，融合了模式识别技术、图像处理、数据库管理以及计算机视觉等多个学科的相关技术。它根据图像的颜色、纹理、形状、位置等底层特征提取内容特征向量，并从图像库中找出与查询图像的特征向量最接近的图像集作为检索结果。因此，选用合适的特征表示图像内容是CBIR 检索效果好坏的关键［4-7］。随着对CBIR 研究工作的不断深入，基于不同内容特征的图像检索算法层出不穷，下面是对部分代表性检索算法特点的介绍。

EHD (Edge Histogram Descriptor)［3］与 FCH(Fussy Color Histogram)［4］都是基于图像单个内容特征进行检索的算法代表。其中，EHD 是基于纹理特征，它将图像分为N 个图像块，通过过滤算子确定每个图像块所属的纹理类型，从而生成纹理直方图，计算不同图像间纹理直方图的距离进行图像匹配。

FCH(Fuzzy Color Histogram)是2013 年由Vedran Ljubovic 等人提出的基于颜色的图像检索算法，并在颜色提取过程中结合模糊数学。在传统数学中一个元素x 与集合A 的关系只有2 种:x 属于A 或者x 不属于A，且对于2 个无交集的集合A 和B，x 只可能属于其中之一［8-9］。引申到像素点与颜色区间的关系，任何像素只会属于某一种特定颜色，这会造成很严重的边界问题:某临界值附近的2 个像素点，一个略小于临界值，一个略大于临界值，十分相近却被划分到截然不同的2 种颜色区间内。不同于这种非是则非的关系，模糊数学中则允许元素既属于又不全属于某一模糊集合，亦此亦彼，界限模糊，元素对集合的依附程度用隶属度表示。也就是说，某像素可能在一定程度上属于颜色A，同时在一定程度上也属于颜色B［4］。相对于传统基于颜色特征的算法，结合模糊数学的FCH 检索效果有了明显提升。

2012 年，Ellen 等人提出的FCTH(Fuzzy Color and Texture Histogram)［5］与Chatzichristofis 等 人 于2008 年提出的CEDD(Color and Edge Directivity Descriptor)［6］都是结合了颜色与纹理2 种内容特征的图像检索算法，但两者的融合方式有所不同。它们都在HSV 颜色空间对颜色进行模糊化并作二次转换获取颜色直方图，不同于CEDD 直接用EHD 方法处理纹理信息，FCTH 通过小波变化与模糊关联提取纹理直方图［5-6，10］。

为便于下文论述，先给出如下说明:WANG 和UCID是2 大常用于图像检索实验的图像库，WANG 图像库中有1000 张图像，其中20 张作为查询图像，并提供了对应的期望查询结果集groundTruth。UCID 为一个含有1338张图像的图像库，有262 张查询图像。这2 个图像库将作为本文进行实验对比的基础数据集。

1 融合颜色、纹理和空间位置的检索算法FCTL

1.1 当前检索方法存在问题及解决方法

颜色与纹理是图像检索最基本的特征，历来是CBIR 研究的热点，但单一的特征不足以表达整个图像的信息，基于单个内容特征的检索算法效果也差强人意。融合2 种特征的FCTH 与CEDD 相对于基于单个特征的检索算法效率有所提高，但仔细观察其检索结果发现，在返回结果的靠前位置，经常会出现与查询图像颜色、纹理相近但是意义却完全不同的图像。例如，选择WANG 图像库中的604.jpg(如图1所示)作为查询图像，图内有一朵粉红色点缀的白色花朵，花朵中央有黄色的花蕊，花朵周围有少量较深颜色的绿叶以及黑色背景。图2 显示分别用FCTH和CEDD 算法进行检索返回的结果，集中了前30 张与604.jpg 相似的图像。

图1 图像604.jpg

图2 采用FCTH 与CEDD 算法的检索结果

分析这些搜索结果发现，每张图片基本都带有与白、黄、红、黑色、墨绿色相近的一种或多种颜色，但是大量图片的颜色和纹理的分布情况都与查询图像存在差异，图像反映的实际内容也与花朵大相径庭。如:散布着黄、红色水果的餐桌，有穿带黄、红色衣服的女人，还有灰白色的建筑等。出现这一现象的原因之一在于:FCTH 与CEDD 算法所提取的颜色和纹理特征反应的都是图像的整体信息，并不反映它们的空间分布情况。为弥补这一缺陷，本文提出一种综合颜色、纹理和空间位置的图像检索算法FCTL，它参考了FCH，EHD，CEDD 对颜色和纹理的处理方式，在提取图像的特征直方图时添加了对图像的分块处理，将图像划分为若干个子图像，然后比较对应子图像的颜色和纹理特征，达到更准确的检索效果。

由于图像的不同位置的重要程度不尽相同，且一般情况下图像中心往往比四周所传达的信息更重要。因此，FCTL 采用重叠式划分子图像的方法，增加图像中间位置的权重，以期更贴近图像要表达的含义，获取较佳的检索性能。先将图像划分为4 ×4 个分块，再将左上角、右上角、左下角、右下角、中间部分相邻的4 个小块结合，形成图3 中标注的A，B，C，D，E 的5 个区域。这样既在一定程度上缓解了传统的子块划分过多而带来的计算繁琐，又对图像的中间部分和四角部分分别赋予不同的权值，突出了中间的目标物体，综合考虑了图像信息的分布情况和算法复杂度等多个因素。

图3 图像分块

1.2 FCTL 的图像特征直方图提取过程

图4 FCTL 算法处理流程

FCTL 的整体思路如图4 所示，其具体过程如下:

Step 1用重叠式的划分方法将图像分为5 个子图像;

Step 2将每个子图像分成40 ×40 个大小相等的图像块，当然，最后一行或最后一列可能不能形成完整的图像块，可舍弃多余部分;

Step 3用EHD 算法求得每一个图像块所属的边缘类型，形成子图像的6 柄纹理特征直方图，每一柄反映一种边缘类型;

Step 4根据FCH 算法中的模糊颜色规则，计算每个图像块对10 个颜色空间的隶属度，结合纹理特征生成图像块的6 ×10 柄纹理-颜色特征直方图。如:已求得图像块i 拥有45°斜边e3，且它对颜色空间j0，j1 的隶属度分别为aij0，aij1，则在纹理-颜色直方图的2 ×10+j0 和2 ×10+j1 柄对应值上加aij0，aij1;

Step 5结合5 个子图像的颜色-纹理直方图，生成图像的5 ×6 ×10=300 柄直方图;

Step 6因浮点数在计算机中存储时需要较大空间，将直方图的每一柄的对应值量化为整数。在本文中，将每个值都量化到8 bits，设图像IS量化前的直方图记为H (IS)=[h1，h2，...，h300]，则量化后的任意柄的值为:

在匹配相似图像时，FCTL 中采用了Matsushita距离计算特征直方图间的差距，以衡量图像间的相似度获取检索结果。设任意2 幅图像A 和B，它们的特征直方图分别记为A=［a1，a2，a3，…，a300］和B=［b0，b1，…，b300］，则两者间的Matsushita 距离为:

2 实验效果及对比分析

2.1 FCTL 算法的效果

图5 显示了采用FCTL 检索图像WANG/604.jpg获得的结果，集中在前30 张图像。

图5 FCTL 检索结果示意图

与图2 中的FCTH 和CEDD 检索结果作对比分析，可以看出有如下效果:FCTL 搜索结果的前30 张图像中有15 张为花朵，排在前7 位均为与原图颜色、纹理十分相近的花朵，而FCTH 和CEDD 分别仅有10张和8 张为花朵，且前7 张图像中有的并不是花朵。

2.2 FCTL 算法的评价

ANMRR(Average Normalized Modified Retrieval Rank)［13］是MPEG-7 标准推荐的评价方法，它的评价结果与人对检索精确性的主观评价基本一致［6］。其中，某查询图像的nmrr 值为搜索结果与期望结果之间的差异值，anmrr 值表示图像库中所有查询图像nmrr 值的平均值，反映了当前检索算法的精确度，anmrr 值越小则检索结果越准确。

图6 各算法对应每张查询图像的nmrr 值

用ANMRR 评价方法，在公开数据集上，对FCTL和现有算法的实验效果作对比分析。表1 和表2 分别显示了在WANG 和UCID 2 大图像库中，用各种算法检索查询图像的anmrr 值以及每张查询图像对应的nmrr 值，图6 用折线图直观地反应了表1 的数据内容。

表1 各算法在WANG 图像库上检索的nmrr 值

由表1 给出的数据可知，FCTL 的检索效果相对EHD，FCH，FCTH，CEDD 分别提高了57.072 06%、36.724 63%、12.647 89%、7.000 79%。表1 中标注的灰底nmrr 值最小，即对应算法检索本幅图片效果最佳，斜体加粗的nmrr 值排列第二。可以看出FCTL对WANG 图像库中20 张查询图像的nmrr 值有7 次为最小、9 次第二小;FCTH 有7 次为最小、2 次第二小;而CEDD，FCH 和EHD 分别仅有4 次、2 次和0 次为最小。由图6 也可以观察到，FCTL 的nmrr 值很稳定，对每张查询图像的查询效果都较为理想。FCTL 在UCID 图像库中依旧能保持较好的检索效果，表2 中显示了各检索算法在UCID 图像库中部分实验结果。

表2 各算法在UCID 图像库上检索的nmrr 值(部分)

3 结束语

本文介绍了当前几种有代表性的基于内容的图像检索算法，并针对它们存在的问题进行分析，提出了一种融合模糊颜色、纹理和空间位置的图像检索算法FCTL，实验表明FCTL 的检索效果有所提高。今后笔者将研究如何融合图像的形状特征，并在现有检索系统上添加反馈机制，进一步改善系统的检索效果。

［1］邵虹，崔文成，赵宏.基于内容的图像检索技术研究［J］.小型微型计算机系统，2003，24(10):1845-1848.

［2］罗军，况夯.基于内容的多特征融合图像检索［J］.计算机工程与应用，2009，45(1):153-155.

［3］Manjunath B S，Ohm Jens-Rainer，Vasudevan Vinod V.Color and texture descriptors［J］.IEEE Transactions on Circuits and Systems for Video Technology，2001，11(6):703-715.

［4］Vedran Ljubovic，Haris Supic.A compact color descriptor for image retrieval［C］// International Conference on Information，Communication and Automation Technologies.2013:1-5.

［5］Ellen M Voorhees，Donna Harman.Common evaluation measures［C］// The 20th Text Retrieval Conference (TREC 2011).2012:500-255.

［6］Chatzichristofis S A，Boutalis Y.Cedd:Color and edge directivity descriptor:A compact descriptor for image indexing and retrieval［C］// Proceedings of the 6th International Conference on Computer Vision Systems.2008，5008:312-322.

［7］徐果毅.基于颜色特征旳图像检索研究［D］.长沙:湖南大学，2009.

［8］Michael J Swain，Dana H Ballard.Color indexing［J］.International Journal of Computer Vision，1991，7(1):11-32.

［9］吴晓莉，林哲辉.MATLAB 辅助模糊系统设计［M］.西安:西安电子科技大学出版社，2002.

［10］Han Ju，Ma Kai-Kuang.Fuzzy color histogram and its use in color image retrieval［J］.IEEE Transactions on Image Processing，2002，11(8):944-952.

［11］Mathias Lux，Savvas A Chatzichristofis.LIRe:Lucene image retrieval-An extensible Java CBIR library［C］// Proceedings of the 16th ACM International Conference on Multimedia.2008:1085-1088.

［12］Lehmann T M，Gold M O.Content-based image retrieval in medical applications［J］.Methodsof Information in Medicine，2004，43(4):354-361.

［13］Li Jia，Wang J Z.Automatic linguistic indexing of pictures by a statistical modeling approach［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(9):1075-1088.