一种局部与全局特征结合的图像检索算法

郭兰图，余 芳，陈金凤

(1.中国电波传播研究所，山东 青岛266107;2.中国石油大学（华东），山东 青岛266580）

图像检索的主要目的是从大规模数据库中检索出与查询图像相似的图像。SWAIN M J和BALLARD D H[1]提出利用颜色直方图作为图像颜色特征的表示方法，该方法能够简单描述一幅图像中颜色的全局分布，简单易行，具有旋转不变性。此外，STRICKER和ORENGO提出的累积直方图方法[2]也优于一般基于图像颜色直方图的方法。但是由于颜色对图像或图像区域的方向、大小等变化不敏感，因此颜色特征不能很好地捕捉图像中对象的局部特征。为此,MARR和NISHIHARA H[3]和BRADDY M[4]详细阐述了形状的表示方法和评价标准，然而基于图像形状特征的方法在获得有关目标的形状参数时通常需要对图像进行边界提取或分割操作，因此形状特征的提取会受到图像分割效果的影响。目前大多数基于内容的图像检索系统也是基于上述特征的。

一般图像特征可以分为全局特征和局部特征[5]。基于全局特征的检索系统只能表示图像的整体内容，并不适合部分图像的匹配和具有不同视角的相同目标或场景的图像检索。受参考文献[6]的启发，本文提出一种基于图像的稳定局部区域特征和全局GIST特征相结合的图像检索算法。图像的稳定局部区域不仅具有显著性，并且对旋转以及仿射变换具有不变性，已广泛应用于目标识别等领域。而基于仿射不变区域检测技术也得到很大的发展，例如最大稳定极值区域检测器MSER[7]等方法。参考文献[8]对目前国际上比较流行的6种仿射不变区域检测方法进行了比较，得出最大稳定区域(MSER)检测方法检测效果最好。为了更好地找到图像的稳定局部区域,本文选取目前国际上最流行的MSER检测方法。

1 最大稳定区域检测

1.1 MSER的相关定义

在基于区域的检测方法中，最大稳定极值区域检测方法的检测效果较好，并且已经得到了广泛的应用。MSER利用地形中分水岭的概念检测稳定局部区域，与传统的分水岭算法重要的区别是二者所关心的水位选取是不一样的。MSER寻找图像中的稳定区域，也就是当水位变化时水的体积变化率最小的区域。图像I是区域D到灰度S的映射：D∈Z2→S,且满足下述条件。

(1)S具有自反、非对称和传递的二值关系，S={0,1,…,255}。邻域关系A⊂D×D。

(2)区域Q是D的一个连通子集。

(3)区域Q的边界δQ，δQ={q∈DQ∶p∈Q∶q∈A(p)}。

(4)极值区域Q。极值区域Q属于集合D,对所有p∈Q,q∈δQ∶I(p)>I(q)属于最大极值区域，若I(p)

(5)最大稳定极值区域(MSER)。如果Q1,Q2,…,Qi-1,Qi,…为一系列相互包含的极值区域，当且仅当区域变化率q(i)=|Qi+thQi-th|/|Qi|在i处取得局部极小值。

1.2 MSER区域检测

在利用MSER区域检测方法对其进行检测后,MSER方法检测到的区域中有很多较小的区域,这些区域往往是由于噪声造成的，本文根据面积阈值过滤掉较小的区域。经过多次验证，在检索时所用的最小面积阈值为100。最后把检测到的区域拟合为椭圆。对数据库COIL-100中的图像进行MSER区域检测,部分检索结果如图1所示。

图1 MSER稳定区域检测结果

2 区域的GIST特征提取及匹配

2.1 GIST特征简介

为了精确地描述图像局部区域的内容，本文采用基于GIST特征的区域描述算法。参考文献[9]提出了GIST描述符，其思想就是不用任何形式的图像分割，找到一种图像场景的低维表示。目前，GIST特征被广泛应用于自然图像检索领域，并且取得了较好的效果。

2.2 局部图像区域的GIST特征提取步骤

(1)利用MSER区域检测算法检测到图像的稳定区域；

(2)把最终检测到的区域拟合为椭圆，计算椭圆区域的最小外接矩形；

(3)对最小外接矩形进行方向校正，并提取矩形区域内的GIST特征。

本文的图像检索系统的框架流程如图2所示。

2.3 图像匹配

本文借助于sift关键点匹配与k-d树算法相结合进行图像匹配，其详细步骤如下。

(1)对待查询图像进行局部区域检测并提取特征；

(2)对于查询图像的每一个区域与数据库图像的所有区域利用欧氏距离进行比较，找到距离最小和次小值；

图2 图像检索系统框架流程图

(3)如果距离的最小值除以次小值小于某个预设阈值(本实验中的阈值为0.85)，就认为此区域找到了与其匹配的区域；

(4)找到与查询图像匹配区域数最多的图像作为检索结果。

3 实验结果及分析

为了与参考文献[6]的方法进行对比，数据库也选择哥伦比亚大学的COIL-100数据库[10]。此数据库含有100个类,每个类含有72幅不同视角的图像。本文也同样选取了与参考文献[6]相同的10类作为实验库，每类含有72幅不同视角的图像。

为了验证本文算法的有效性，从每一类中随机地选取5幅图像作为查询图像。对数据库中的所有图像检测到稳定区域并提取区域的特征。

图3展示了一些数据库中的图像实例。在实验中从每一个类中随机选取5幅图像作为查询图像并在最后统计了相应的实验结果。

图3 数据库中的部分图像类别实例

检索的部分结果如图4所示，其中第一幅为待检索图像，后4幅为查询结果中选取的前4幅图像。从实验结果可以看出，该方法能够抵制较强的旋转与光照干扰，这与稳定局部区域和全局内容信息特征的有效选取是分不开的。

本文的一些实验结果统计如表1所示，其中查询图像从每一类中随机选取5幅图像。查准率即检出的相关图像与检出的全部图像的百分比。

图4 部分检索结果示例

表1 图像查准率统计

为测试算法的有效性，与参考文献[6]中提到的方法进行了对比，在相同数据图像库条件下，参考文献[6]的平均查准率为82.46%，而本文的平均查准率为89.6%。由实验结果可知，本文方法的平均查准率远高于参考文献[6]中的平均检索精度，验证了本文方法的有效性。

本文提出了一种基于稳定局部区域和区域全局内容特征相结合的图像检索算法。实验结果表明，两者结合能够达到很好的图像检索效果。与参考文献[6]的方法相比，本文方法不需要设定权值，平均检索精度更优。

[1]SWAIN M J,BALLARD D H.Color indexing[J].International Journal of Computer Vision,1991,7(1)∶11-32.

[2]顾曙辉.基于内容的图像检索技术研究[J].科技资讯,2007(14)∶189.

[3]MARR D,NISHIHARA H K.Representation and recognition of the spatial rganization of three-dimensional shapes[J].Proceedings of Royal Seciety,1978,200(1140)∶269-294.

[4]BRADY M.Criteria for representations and of shape[J].Academic Press,1993∶39-84.

[5]HALAWANI A,TEYNOR A,SETIA L,et al.Fundamentals and applications of image retrieval∶an overview[J].Datenbank Spektrum,2006∶14-23.

[6]VELMURUGAN K,LT D S,BABOO S.Image retrieval using harris corners and histogram of oriented gradients[J].International Journal of Computer Applications,2011,24(7)∶6-10.

[7]MATAS J,CHUM O,URBAN M,et al.Robust widebaseline stereo from maximally stable extremal regions[C].British Machine Vision Conference,2002∶384-393.

[8]MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.A comparision of affine region detectors[J].International Journal of Computer Vision,2005,65(1-2)∶43-72.

[9]OLIVA A,TORRALBA A.Modeling the shape of the scene∶a holistic representation of the spatial envelope[J].International Journal of Computer Vision,2001,42(3)∶145-175.

[10]NENE S A,AYAR S K,MURASE H.Columbia object image library[R].New Yourk∶Deptartment of Competter Science,Columbia University,1996.