基于全局和角点特征的图像检索

姜 雪，邵宝民，王 振，李秋玲

(1.山东理工大学 计算机科学与技术学院，山东 淄博 255049;2.淄博职业学院 信息工程系，山东 淄博 255314)

基于内容的图像检索CBIR(Content Based Image Retrieval)[1]发展到今天已经比较成熟，但随着人工智能的不断发展，CBIR仍然是图像领域研究的热点。CBIR是利用图像的颜色、纹理、形状等视觉特征进行的图像检索。检索中，建立数据库图像和查询图像的特征空间，在特征空间内进行图像间的相似性匹配，从而检索出与查询图像相类似的图像[2]。

基于图像内容信息提取的基本方法常用的有全局特征和局部特征[3]。全局特征是指图像的整体属性，具有良好的不变性、计算简单、表示直观等特点，但这种描述不适用于图像混叠或有遮挡的情况；局部特征则是从图像局部区域中抽取的特征，描述了图像的个性化信息，如边缘、角点、线等区域的特征，具有在图像中蕴含数量丰富、特征间相关度小、遮挡情况下不会因为部分特征的消失而影响其他特征的检测和匹配等特点。如早期IBM的QBIC[4]、MIT的Photobook[5]等是基于全局特征的图像检索方法，Visual SEEK[6]、Blobworld[7]系统等是基于区域的图像检索。近期张丽[8]提出的基于颜色和纹理特征的图像检索技术，提取了图像全局的颜色和纹理特征，取得了较好的检索效果。丁军娣等[9]提出的基于角点特征的图像检索新方法，提取了角点的纹理和形状特征，也进行了有效的图像检索。周东尧等[10]提出的基于全局特征和尺度不变特征转换特征融合的医学图像检索，把全局特征和SIFT特征融合起来进行图像检索，依然较好地优化了检索效果。本文提出融合全局特征和角点特征的图像检索方法，从整幅图像中提取HSV直方图特征和LBP特征，再提取图像角点的Hu矩形状特征和基于GLCM的纹理特征，将这两类特征融合起来并选用相对曼哈顿距离进行相似性度量，以此完成图像检索。

1 图像检索流程

图像检索有两个关键技术：一是要提取恰当的图像特征；二是要采取有效的特征度量算法。本文的图像检索流程如图1所示，首先提取数据库图像的全局特征和角点特征，并将二者融合建立数据库图像的特征数据集；然后提取查询图像的全局特征和角点特征，并融合生成查询图像的特征向量；再设置度量方式和返回数目；最终通过相似性计算输出查询结果。

图1 图像检索流程Fig.1 Image retrieval process

2 图像特征提取

2.1 HSV颜色直方图特征提取

颜色是图像信息表达最直观的特征，对图像本身的尺寸、方向、视角的依赖性较小，具有较高的鲁棒性，是图像检索中应用最为广泛的视觉特征[11]。鉴于HSV(色调、饱和度、亮度)模型更符合描述和解释颜色的方式，本文提取了图像HSV模型的HSV颜色直方图特征[12]。将每个H、S、V分量分别均匀量化为8、2、2个颜色区间，计算颜色落在每个颜色区间内的像素数量，并进行归一化得到图像的HSV颜色直方图特征。一般彩色图像都是RGB模型，图像从RGB模型到HSV模型的转换公式为

(1)

式中，

(2)

(3)

(4)

例如图2为一幅蝴蝶的图像，其提取的HSV颜色直方图特征向量为

hsvCH=0.03430.12100.10280.01300.0248 0.0060 …… 00

图2 原图Fig.2 Original image

2.2 局部二值模式(LBP)特征提取

局部二值模式(Local Binary Pattern，LBP)，是一种有效的图像局部纹理特征的描述，是灰度范围内的纹理度量[13]。由于LBP方法原理相对简单，计算复杂度低，同时又具有旋转不变性和灰度不变性等显著优点，因而该方法被广泛地应用于图像匹配、行人和汽车目标的检测与跟踪等多个领域[14]。

为了更好地反映图像的局部信息，提高图像纹理特征的准确性，本文将图像的LBP特征谱(由旋转不变的LBP算子得到)均等地划分成四个区域，分别计算其统计直方图，得到图像的LBP特征。图3为图2所示蝴蝶图像的LBP图谱。

图3 LBP图谱Fig.3 LBP map

该蝴蝶图像提取的LBP特征向量为

lbp=0.05240.069600.047900.009800.0781……0.0579

2.3 图像的Harris角点检测

取某个像素的一个邻域窗口，当这个窗口在各个方向上滑动时，比较滑动前后窗口中的像素灰度变化程度，如果都有着较大灰度变化，则认为该窗口中存在角点[15]。

Harris角点检测，使用自相关矩阵M表达式度量角点响应为

R=detM-κ(traceM)2

(5)

式中：detM=λ1λ2;traceM=λ1+λ2；κ是常量，一般取值为0.04～0.06，本文取κ=0.04。

图像中某个像素点的响应值R如果比其邻域像素点的都大，则该像素点为图像的一个Harris角点，如此便可以找到图像的所有Harris角点。图4为3幅蝴蝶图像的Harris角点检测结果。

图4 Harris角点检测结果Fig.4 Harris corner detection results

由于每幅图像检测到的Harris角点数目是不同的，选择角点太少会缺少图像信息的重要描述，而选择角点太多又会失去图像信息的个性化描述，这两种情况都不利于图像信息的精确和可区分性描述，本文选取了图像的Harris响应值R较大的前20个角点作为待处理点。

2.4 Harris角点的特征提取

对于图像中检测到的Harris角点，需要提取其邻域的形状特征和纹理特征。

2.4.1 角点的形状特征提取

数字图像的几何矩和几何中心矩可用于描述区域的形状，经过一系列代数恒等变换，提出了7个不变矩(φ1,φ2,φ3,φ4,φ5,φ6,φ7)[16]即Hu矩,它们对于平移、旋转、尺度变化都具有不变性。

本文计算每个角点3×3邻域的7个Hu不变矩，再将其对应相加，得到的7维Hu矩作为该图像的角点形状特征[9]。于是图像的角点形状特征可以表示为一个7维向量：

式中：N表示角点个数;φij(j=1,2,…，7)表示第i个角点的第j个不变矩。

2.4.2 角点的纹理特征提取

图像纹理是由纹理基元按某种确定性的规律或者某种统计规律排列组成的，反映了图像亮度的空间变化情况。本文采用统计纹理分析法对图像灰度共生矩阵(Gray Level Co-occurrence Matrix，GLCM)的特征进行提取[17]。

由于灰度共生矩阵的数据量较大，一般不直接用于区分纹理的特征，而是采用基于它构建的统计量作为纹理特征。本文基于灰度共生矩阵纹理特征的计算步骤如下：

1)生成每幅图像的4个灰度共生矩阵，分别取距离为d=1，角度分别为θ=0°,45°,90°,135°。

2)计算灰度共生矩阵的能量(Asm)、熵(Ent)、对比度(Con)和相关性(Corr)4个参数[18]。

(6)

(7)

(8)

(9)

式中：μi、μj和σi、σj表示如下：

(10)

(11)

(12)

(13)

GLCM大小为k×k，i表示矩阵的行元素，j示矩阵的列元素，P(i,j) 表示矩阵的元素值。

本文计算每个角点5×5邻域的4维灰度共生矩阵纹理特征，再将其对应相加，得到的4维纹理特征作为该图像的角点纹理特征。于是图像的角点纹理特征可以表示为一个4维向量：

其中N表示角点个数，i表示第i个角点。

3 相似性度量

本文选用曼哈顿距离进行相似性度量[19]。将从图像中提取的全局HSV颜色直方图特征和LBP特征，以及基于角点的Hu矩形状特征和GLCM纹理特征，线性融合成图像的特征向量，采用相对曼哈顿距离进行相似性度量，其计算公式为

(14)

式中：D(x,y)为两幅图像的相似度;xi和yi分别是两幅图像的特征向量的分量;n是特征向量分量的个数。

4 实验结果分析

本文的仿真实验环境为Intel(R) Core(TM) i5-4460 CPU @ 3.20GHz，8.00GB RAM，Windows7操作系统，MATLAB R2016a软件。

4.1 数据集及评价标准

实验采用的数据集为Caltech256数据集和Corel1000数据集，前者有256个语义类共30 607张图像，本文从中选择了backpack、bear、binoculars、bonsai、butterfly 5个语义类，每类100幅共500幅图像；后者有Africa、beach、building、bus、dinosaur、elephant、flower、horse、mountain、food等10个语义类，每类100幅共1 000幅图像。

采用查准率(precision)P来衡量图像检索的精度，查准率的计算公式为

(15)

式中：t表示检索到的相关图像个数；m表示检索到的图像数。

4.2 在Caltech256数据集上的表现

以Caltech256数据集butterfly语义类中的一幅图像作为查询图像，图5所示为基于全局的HSV颜色直方图特征和LBP特征的图像检索结果。从结果来看，有5幅bear语义类的图像也被检索出来了，说明此全局特征基本上抓住了图像信息，但是在图像具体细节的区分上准确度还不够。

图5 基于全局的HSV颜色直方图特征和LBP特征的检索结果Fig.5 Retrieval results based on global HSV color histogram and LBP features

基于角点的Hu矩特征和GLCM特征的图像检索结果如图6所示，此时backpack、bear、binoculars、bonsai语义类的图像都被检索到了，检索精度相对较低，可见仅仅采用基于角点的特征亦不能全面和准确地描述图像信息。

图6 基于角点的Hu矩特征和GLCM特征的检索结果Fig.6 Retrieval results of Hu moment feature and GLCM feature based on corner

基于全局的HSV颜色直方图特征、LBP特征和基于角点的Hu矩特征、GLCM特征的图像检索结果如图7所示，从检索精度和相似性排名来看提高了很多。

图7 基于全局的HSV颜色直方图、LBP特征和角点的Hu矩、GLCM特征的检索结果Fig.7 Retrieval results based on global HSV color histogram, LBP feature and corner Hu moment, GLCM feature

从Caltech256数据集选择的5个图像类别中，每类随机抽取5幅共25幅图像作为查询图像，检索结果返回20个图像，计算三种情况下每类图像的平均查准率，实验数据见表1。

表1 平均查准率比较
Tab.1 Comparison of average precision rate

类别HSV-LBPHarris-Hu-GLCMHSV-LBP-Harrisbackpack0.5500.2300.520bear0.4100.3500.440binoculars0.5500.2600.570bonsai0.5600.4800.640butterfly0.6600.3500.680average0.5460.3340.570

从表1可以看出，本文将基于全局的HSV颜色直方图特征和LBP特征与基于角点的Hu矩特征和GLCM特征融合起来作为检索特征，比单独采用二者之一作为检索特征的效果要好。虽然仅采用基于角点的特征作为检索特征时，其检索精度并不高，而且当特征融合时对于最终检索的平均查准率贡献不大，但优化了相似度排名。因此，本文的检索方法以全局的基于HSV颜色直方图特征和LBP特征为主要的检索特征，而以基于角点的Hu矩特征和GLCM特征作为辅助的检索特征，从而对检索结果进行了优化。

4.3 在Corel1000数据集上的表现

从Corel1000数据集的每个类中，随机挑选20幅图像作为查询图像，检索结果返回20个图像，计算每类20幅查询图像的平均查准率。作为对比，文献[8]采用了基于全局的颜色和纹理特征进行图像检索的方法，文献[9]采用了基于角点特征的图像检索方法，实验结果见表2。

表2 平均查准率比较
Tab.2 Comparison of average precision rate

类别本文算法文献[8]算法文献[9]算法平均查准率最高查准率最低查准率平均查准率平均查准率Africa0.8101.0000.1500.6030.200beach0.4000.7000.0500.3750.300building0.7430.9500.3500.3880.400bus0.9301.0000.7000.7000.600dinosaur0.9981.0000.9500.9850.500elephant0.5900.9500.1000.4880.200flower0.9401.0000.2000.9350.725horse0.8801.0000.4000.6530.375mountain0.4530.8000.1000.2900.170food0.8081.0000.4000.4250.100average0.7550.9400.3400.5840.357

由表2可以看出，本文的图像检索方法查准率更高，检索效果更好。

5 结束语

本文将图像的全局特征和角点特征融合起来进行图像检索，使图像信息的描述更加全面、更具有区分性，通过实验结果来看，该算法的检索效果较好。但同时也注意到在Caltech256数据集的bear类及Corel1000数据集的beach和mountain类图像的检索精度相对较低，主要是因为这些图像前景和背景的颜色、大小及方向的变化较大，从而导致提取的特征不能对该类图像进行区分性更好地描述。如何提取更精确的图像特征，如何将特征进行更有效地融合，将作为今后研究工作的重点。