基于内容图像检索的关键技术

左玉龙

（1. 山东大学 计算机科学与技术学院，山东 济南 250100；2. 临沂大学 费县分校，山东 费县 273400）

基于内容图像检索的关键技术

左玉龙1,2

（1. 山东大学 计算机科学与技术学院，山东 济南 250100；2. 临沂大学 费县分校，山东 费县 273400）

基于内容的图像检索（CBIR）系统是目前国内外研究的一个热点问题，简要介绍了CBIR技术的发展历程以及主要的原理，重点论述了基于内容的图像检索的关键技术之一——图像像视觉特征的描述与提取。并且通过具体的例子讨论了图像检索性能评价的准则。

基于内容；图像检索；视觉特征；相关反馈；检索性能

随着多媒体技术及互联网的飞速发展，图像、视频等多媒体的数据层出不穷，图像的应用与传播也越来越广泛，图像已经成为描述和存储信息的一种内容丰富、表现直观的数据形式，各行业都产生了大量的图像数据库，可是图像信息自身的无序化问题也越来越显现出来，怎样从海量的数据中精确的查找出图像的技术显得尤为迫切，对于图像的检索由此成为研究的热点。

1 “图像检索”的发展历程及原理

自从20世纪70年代开始，大量有关图像检索的研究就已开始，早期主要是基于文本的图像检索技术（Text based Image Retrieval，简称TBIR），它是利用文本来描述图像的特征。20世纪90年代以后，才出现了对图像的内容语义，例如对图像的颜色、纹理、形状等进行分析与检索的图像检索技术，也即基于内容的图像检索[1]（Content based Image Retrieval，简称CBIR）。

基于内容图像检索的原理主要包括以下三个方面：（1）首先对用户的需求进行分析和转化，形成可检索索引数据库的提问；（2）进行图像资源的收集与加工，提取图像特征，进行分析并标引，从而建立图像的索引数据库；（3）最后根据相似性度量算法，计算用户和索引数据库中记录的相似度的大小，提取出满足阈值的图像记录作为结果，按照图像相似度大小降序进行输出。由此可知，我们进行图像检索的目的就是为了解决图像数据库和用户需求的匹配与选择问题。

2 基于内容的图像检索的关键技术——图像视觉特征的描述与提取

2.1 图像颜色特征的提取

图像颜色特征是在图像检索中应用最为广泛的视觉特征。面向图像检索的颜色特征的表达涉及到若干问题。第一，要选择合适的图像颜色空间来描述颜色的特征；第二，要通过一定的量化方法将颜色特征表达为向量的形式；第三，还要定义一种相似性度量的标准来衡量图像之间在颜色上的相似性。

图像的颜色内容包括两个一般的概念，一个对应于全局颜色的分布，一个对应于图像局部颜色信息。依据图像全局颜色分布来索引图像，可通过计算每种颜色像素的个数，并构造颜色的灰度直方图来实现，这对检索具有相似的总体颜色内容的图像是一个非常好的途径。图像局部颜色信息是指局部相似的颜色区域，它考虑了图像颜色的分类和一些初级的几何特征。例如Smith与Chang提出了颜色集合（Color Set）方法来抽取空间局部颜色的信息，并提供图像颜色区域的有效索引。

图像颜色特征是图像最直观而明显的特征，一般采用直方图来进行描述。图像颜色直方图[2]是表示图像中颜色分布的一种方法，其横轴表示图像颜色等级，纵轴表示在某一个颜色等级上具有该颜色的像素在整幅图像中所占的比例，直方图颜色空间中的每一个刻度表示了颜色空间中的一种颜色。

2.2 图像纹理特征的提取

图像可以被看成由不同纹理区域的组合，纹理通常被定义为图像的某种局部性质，或是对局部区域中像素之间关系的度量。

纹理[3]是和物体表面材质有关的图像的内在特征，它包括表面结构组织及和周围环境关系。一般说来，图像纹理是在某个给定的区域中局部模式的重复出现，所以可利用对这些局部模式以及它们之间排列规则的描述来进行纹理的分析。通常对纹理图像特征的描述主要有两种[4]：一种是Haralick提出的共生矩阵法，该法从数学角度研究了图像纹理中灰度级的空间依赖关系。另一种是Tamura提出的图像视觉特征法，这种方法更多的是强调视觉效果。表示的所有纹理性质都具有直观的视觉意义。

近年来，有大量的研究集中在应用随机场模型表达图像的纹理特征，Markov的随机场模型取得了很大成功，它的典型应用是自回归纹理模型（Simultaneous Auto_ Regressive，简称SAR）。另外一种常用的纹理分析与分类方法是小波变换（Wavelet Transform）[5]，小波变换表示的是图像的纹理特征，可利用每个波段的每个分解层次上能量分布的均值与标准方差。Gabor过滤法能最大程度地减少空间与频率的不确定性，而且还能够检测出图像中不同方向和角度的边缘与线条。由于图像纹理的描述比较困难，一般对纹理的检索都采用示例查询的方式。用户通过给出示例的全部或部分区域特征，从而查找到类似的图像。

2.3 图像形状特征的提取

图像中物体和区域的形状是图像表达和图像检索中的另一重要特征。图像形状特征的表达必须以对图像中物体或区域的划分作为基础。利用该特征进行图像检索时，用户采用勾勒图像的形状或轮廓，从图像库中检索出形状类似的图像。在通常情况下，图像的形状特征有两种表示的方法，一是轮廓特征表示方法，二是区域特征表示方法。作为前者利用的是物体形状的外边界，后者利用的是整个形状区域。这两类图像形状特征的最为典型方法是傅立叶形状描述符与形状无关矩[6]。傅立叶形状描述符是采用物体边界的傅立叶变换作为其形状的描述；形状无关矩是基于图像区域的物体形状表示法。另外，还有有限元法、旋转函数法和小波描述符等方法。

2.4 相关反馈技术

现在，基于内容的图像检索技术中所提取的图像特征大多是图像的低层视觉特征[7],它们和图像的实际语义是脱节的，图像低层视觉特征目前尚不能辨别出图像中所包含的物体。因此，为了解决这个问题，一方面需要研究出更好且有效的图像表示方法，另一方面可通过人机交互的方式来捕捉与建立低层特征和高层语义间的关联，这就是我们所说的相关反馈技术。相关反馈是提高系统查询效果的一种很好的方法，相关反馈的目标是从用户和查询系统的实际交互过程中进行学习，从而发现并捕捉用户的实际查询意图，以此来修正系统的查询策略，从而得到与用户实际需求尽可能吻合的查询结果。

基于内容的图像检索系统中的相关反馈技术大体可分为4种类型[8]：参数调整方法、概率学习方法、聚类分析方法以及神经网络方法。

3 图像检索性能的评价准则

查准率、查全率和响应时间是几个较好的图像检索算法的评价准则。排除用户主观的因素，基于内容的图像检索的准确率和图像数据库本身具有非常大的关系，同一算法依据相同的评价方法在不同的图像数据库中，计算出的检索准确度也会有较大的不同。

对检索有效性的评价准则我们可利用信息检索中的传统方法，假设测试平台包括：

（1）包含M个图像的图像集；

（2）N个基准查询的样本图像；

（3）图像集合中的每一个图像相对基准查询样本图像的相关值；

（4）若干行之有效的度量方法。

我们对系统发布一个基准查询的样本，图像检索系统列出经过排序的检索结果。对每一个截止值k，计算下面的值：

检索出的相关数目为：

误检的数目为：

漏检的数目为：

未检索出的非相关数目为：

其中m是检索结果排序的序数，Vn是序数为n的图像和基准查询图像的相关值，Vm∈(0,1)。

从以上几个值可计算出两个信息检索度量的主要标准，查准率与查全率。

（1）查准率

查准率指的是返回的结果集中有效图像所占的比值，常用于测量系统排除无关图像的能力。

查准率：

（2）查全率

查全率指返回结果中有效图像所占数据库中所有相似图像的数量的比值，用来测量系统检索相关图像的能力。

查全率：

从大量的检索评价看出，查全率与查准率存在着一定的关系，在某个检索系统中，当查准率与查全率达到特定的程度后，两者将会呈现非线性的反变关系，即我们不可能使两者同时都达到最高。

4 结束语

现代社会，CBIR应用的领域越来越广泛，如：Web的电子商务方面的相关应用、数字图书馆、公安系统领域、医学领域CT、以及国防军事领域等，虽然我们在图像检索领域的诸多研究方面已取得了较大进展，可是基于内容的图像检索系统中很多具有普遍性的问题还远远没有得到很好的解决，仍然有许多问题有待更深入的研究，比如，图像视觉特征的提取、人机交互的方式以及多维索引等等。假若我们能很好地解决这些问题，必将使基于内容图像检索技术得到更好的推广。

[1]姜兰池.基于内容的图像检索关键技术研究[D].杭州:杭州电子科技大学,2009:18-19

[2]梁晶.基于颜色特征的图像检索技术研究[D].厦门大学,2009.

[3]马继红.基于内容的图像检索方法与关键技术研究[D].西安:陕西师范大学,2009:22-23

[4]周明全,耿国华,韦娜.基于内容的图像检索技术[M].北京:清华大学出版社,2007.

[5]黄博士.网络环境下的图像检索技术[J].中国计算机用户,2003(12).

[6]周文昭,夏定元,等.基于内容的图像检索系统的最新进展[J].计算机工程与应用,2003(26).

[7]刘倩.基于内容的图像检索中的相关反馈技术[J].华东交通大学学报,2003(8).

[8]章毓晋.图像处理和分析技术[M].北京:高等教育出版社,2008.

（责任编辑、校对：田敬军）

Content- Based Image Retrieval Key Techniques

ZUO Yu-long1,2
(1. Computer Science and Technology College of Shandong University, Jinan 250100, China; 2. Feixian College of Linyi University, Feixian 273400, China)

Content- based Image Retrieval (CBIR) has been an active research area in recent years. The paper introduced the development and the theory of CBIR briefly, and discussed the important techniques of the representation and extraction of image vision feature. And through specific examples, it discussed the image retrieval performance evaluation criterion.

content-based; image retrieval; vision feature; relevant feedback; retrieval performance

TP391.3

A

1009-9115(2012)05-0047-03

2012-04-01

左玉龙（1981-），男，山东费县人，在职硕士，助教，研究方向为计算机软件与理论。