基于颜色特征和相关反馈的图像检索技术

林丽惠

(武夷学院,福建 武夷山 354300)

基于颜色特征和相关反馈的图像检索技术

林丽惠

(武夷学院,福建 武夷山 354300)

提出了一种基于颜色特征和相关反馈的图像检索方法,该方法融合了图像的整体与分块颜色分布,将图像间的相似度定义为整体相似度与以图像分块为基础的局部相似度的加权和,并采用相关反馈技术通过更新权值的方法来调整图像整体与局部颜色特征系数的权值.实验结果表明该方法具有较好的检索效果.

图像检索;颜色直方图;分块;相关反馈

基于内容的图像检索技术是目前信息检索领域研究的热点.在基于内容的图像检索中,颜色特征作为图像最直观最明显的特征,已经得到广泛的应用.表示图像颜色特征最简单的方法是全局颜色直方图方法[1].但是,以全局颜色直方图作为颜色特征,仅仅表示了图像中各种颜色的统计分布,而无法捕捉颜色组成之间的空间关系.这样的模型无法体现图像中的具体对象及其位置信息.2幅内容完全不同的图像,也可能有相同的颜色直方图.事实上,颜色的不同分布极大地影响了人们对图像的相似性判断.获取图像中颜色的空间分布特性的理想方法之一是将图像分割成为若干子区域,提取每一子区域的颜色特征,然后存储每一区域的颜色特征以支持图像检索.因此,本文考虑了图像整体与分块颜色分布特征,融合了颜色直方图与分块颜色图像检索2种方法,将图像间的相似度定义为整体相似度与以图像分块为基础的局部相似度的加权和,并采用相关反馈技术通过更新权值的方法来调整图像整体与局部颜色特征系数的权值.实验证明,本文的检索方法具有较高的查询精度,能更好地满足用户对图像的认知要求.

1 图像颜色特征检索

1.1 颜色空间的选取及量化

常用的颜色空间有 RGB、HSV等.一般认为,RGB颜色空间与人眼的感知差别很大 ,而 HSV颜色空间直接对应于人眼色彩视觉特征的3个要素:色调(Hue)、饱和度(Saturation)和亮度(Value).在这3个分量中,色调尤其影响着人类的视觉判断.由于HSV空间各轴在视觉上彼此无关,空间距离又符合人眼视觉特征 ,并且从RGB到 HSV的转换[2]是一个简单且快速的非线性变换,因此本文使用 HSV颜色空间作为彩色图像的色彩模型.一幅图像的颜色一般非常多,尤其是真彩色图像,因此直方图的矢量的维数会非常多.为了减少计算量,对 HSV空间进行适当的量化[3],由量化后的颜色分量 H、S、V合成一个72维特征矢量:G=9 H+3S+V,每一幅图像的颜色特征都可以用这个72维的矢量来表示.

1.2 颜色直方图检索

颜色直方图是表示图像中颜色分布的一种统计值,是一种典型的颜色特征提取方法.它的横轴表示颜色值,纵轴表示具有相同颜色值的像素个数在整幅图像中所占的比例.颜色直方图计算简单,同时具有与生俱来的旋转不变性、尺寸不变性和平移不变性,因此它被广泛地应用到图像检索中.

颜色直方图相似性度量方法有很多,目前常用的有曼哈顿距离和欧几里德距离等.欧几里德距离通过特征向量差值的均方差反映了图像之间的差异,和曼哈顿距离相比,缓和了2幅图像的差异程度.因此本文采用欧几里德距离进行颜色直方图相似性度量.用欧几里德距离公式计算图像 X和Y的距离如下:

它的优点是简便易行,有清晰的物理意义,即距离小,匹配好,说明2个特征之间的相似度大.反之,距离大,匹配差,说明2个特征之间的相似度小.

颜色直方图是从全局角度捕获了整幅图像的整体颜色分布的信息,它丢失了许多局部的颜色空间分布信息,不能区分颜色组成相似但是空间分布不同的图像.

1.3 分块颜色图像检索

获取图像中颜色的空间分布特性的理想方法之一是将图像分割成为若干子区域,提取每一子区域的颜色特征,然后存储每一区域的位置和颜色特征以支持图像检索.但是,由于图像分割技术和对象识别技术仍然是相关领域的经典难题,目前还没有一种普遍适用的、可靠的图像区域分割手段.一种比较简单和常用的方法是把整个图像划分为N×N子块,从每一图像子块中提取出各自的特征.这种方法计算简单,充分体现了图像颜色的空间关系,但由于计算的是相应位置的块之间的距离,丢失了图像旋转、平移不变性.因此,本文采用如图1所示的分块策略[4],从而达到一种近似旋转不变性.按图中所示编号,第0块位于图像的中间区域,基本包含主题画面,其余第1、2、3、4块基本属于背景画面,而图像四角的部分由于对图像特征影响不大,可以忽略._____________

图1 分块图像

提取出各子块的颜色直方图,对各子块赋予不同的权值(第0块的权值大于其他块的权值)[4],计算各分块间相似度.将图像的相似度定义为各分块的相似度的加权和,即:

其中:Si为某子块间的相似度;wi为第i块的权值,为以分块为基础的图像相似度.这种分块颜色图像检索考虑了图像的局部颜色的空间分布信息,比较适合于图像画面明显按分块变化的图像检索,如区分主题画面和背景画面的图像.

1.4 融合整体与分块颜色分布的图像检索

颜色直方图检索关注图片中出现的整体颜色,适合图片颜色比较杂乱的情况,不关注颜色组成的空间关系;分块颜色图像检索以如下推断为假设:不同的图像如果在空间相近的位置同时存在颜色相似的大片区域,则这2幅图像具有较大的相似性,它关注颜色的空间分布.

由于人类对图像相似度的认知过程是一个从总体到局部的判断过程,即判定2幅图像是否相似首先取决于其图像中的主要对象在整体上是否相似而忽略其位置信息,然后再考虑图像的各个部分是否相似.出于以上考虑,本文认为图像的相似性判断应同时考虑图像颜色的整体和局部分布2方面的因素,故融合了颜色直方图与分块颜色图像检索2种方法,将2幅图像 X和Y的相似度定义为:

其中:Swhole表示用颜色直方图计算出的整体相似度;wwhole表示整体相似度的权值;Sblock表示用分块颜色图像检索方法计算出的局部相似度;wblock表示局部相似度的权值,并且有wwhole+wblock=1.图像的相似度定义为整体相似度与以图像分块为基础的局部相似度的加权和.两者的加权和可以结合2种方法的综合效果,并为后面的基于权重调整的相关反馈作准备.

2 相关反馈技术

相关反馈的目标就是从用户与查询系统的实际交互过程中进行学习,发现并捕捉用户的实际查询意图,以此修正系统的查询策略,得到与用户实际需求尽可能吻合的查询结果[5].其基本思想是:检索过程以用户为中心,用户可以在检索过程中对前一轮的检索结果进行评价和标记,然后系统对这些反馈信息进行学习,进而调整检索样本(表达为特征向量)以及各种参数,以便指导下一轮的检索.利用这种人机交互,系统能够实时、动态地了解用户的查询意图,给检索系统增加了自适应功能,同时也提供了更多的信息.

经典的相关反馈过程可描述如下:在第一轮,图像检索系统根据固定的相似性度量方法输出检索结果;然后,用户根据自己的喜好对输出结果进行标注,标注的原则是输出图像是否与查询图像相似,与查询图像相似的称为正图像,反之,则称为负图像;接着,根据标注的结果,相关反馈算法将调整相似性度量准则,重新输出检索结果,这样的反馈一直继续直到用户满意.

本文利用用户对图像的反馈信息对wwhole和wblock进行修正,进而调节整体相似度与以图像分块为基础的局部相似度的权值,使用户倾向的特征权重增大,使其描述的图像排列更靠前.wwhole和wblock的修正方法如下:

第一轮检索,取wwhole=wblock=1/2,即认为2种方法在图像检索中起到的作用是一样的,但有些图片适合用颜色直方图法进行检索,有些图片更适合用分块颜色图像检索法进行检索,而 wwhole=wblock=1/2只能保证检索结果是这2种方法的平均.所以,在相关反馈系统中,有必要对这2个系数进行修正,使适合的方法在检索中起到更大的作用.如果系统最后提供给用户 P张图片作为检索结果,设颜色直方图法得到的结果中前 P张图片中有P1张正反馈图片,经过分块颜色图像检索法得到的结果中前 P张图片中有 P2张正反馈图片,则:

利用修正后的wwhole和wblock再次进行检索.用户可以利用相关反馈对 wwhole和 wblock进行多次修正,直到得到用户满意的结果.

3 实验结果及评价

基于上述思想,本文实现了一个原型系统.实验在W indow XP平台上使用Visual C#作为开发工具,后台数据库选用Access 2000.采用2种图像特征来表示图像:全局颜色直方图和分块颜色直方图.实验中所采用的测试图像数据库是从 http://www.mypcera.com/pho to/photo.htm中挑选的,总共800幅图像,包含云海、雪地、水果、动物、风景、建筑、花卉等20个分类,每个分类包含的图像数目从20到50不等.每次检索系统返回20幅相似图像,实验中规定判断2幅图像是否相似的标准是它们是否属于同一类.图2所示为花卉类中随机抽取一幅图像,利用相关反馈的融合整体与分块颜色分布的图像检索方法检索的结果.

目前评价图像检索算法性能的准则主要是查准率和查全率.查准率的含义是在一次查询过程中,系统返回的相关图像数目占所有返回图像数目的比例,如果在检索结果集合中,正确相关图像数目多,则查准率就高.查全率则指系统返回的查询结果中相关图像数目占图像库中所有相关图像数目(包括返回的和没有返回的)的比例.查准率和查全率越高,表明该检索系统的效果越好.

图2 利用相关反馈的融合整体与分块颜色分布的图像检索

表1所示为从花卉类图像中随机抽取5幅图像,分别采用颜色直方图检索、分块颜色图像检索、融合整体与分块颜色分布的图像检索和利用2次相关反馈的融合整体与分块颜色分布的图像检索方法所得的平均查准率和平均查全率.

表1 各种检索方法的检索结果

本文还从动物、云海和建筑子类中分别随机抽取5幅图像采用不同的检索方法进行15次查询,实验结果均表明融合整体与分块颜色分布的图像检索与单独使用颜色直方图检索和单独使用分块颜色图像检索相比都具有更好的检索效果,而利用了相关反馈后检索的查准率更是明显提高了.

4 结 语

本文的检索方法对传统的颜色直方图进行改进,同时考虑图像颜色的整体和局部分布两方面的因素,融合了颜色直方图与分块颜色图像检索2种方法,将图像的相似度定义为整体相似度与以图像分块为基础的局部相似度的加权和,并利用相关反馈技术对两者的权值进行修正,得到了更好的检索效果.

基于内容的图像检索技术是当今学术界的研究热点之一.虽然目前这项技术在研究和商业领域都取得了一定成果,但它也只在个别领域如指纹识别、商标检验获得了成功,要想让这项技术真正为普通用户所接受和使用,还必须解决以下2方面的问题:一是必须完善底层特征的提取方式;二是采用相关反馈技术使底层特征符合高层语义.相关反馈作为提高检索性能的一种有效技术,已成为图像检索系统不可分割的一部分.近年来对相关反馈技术的研究比较活跃,特别是涌现了许多相关反馈算法[6].因此,要将综合检索方法推广开来,今后的主要工作是围绕这2方面进行研究,并考虑再结合其他检索方法.

[1] Swain M J,Ballard D H.Colo r indexing[J].International Journal of Computer Vision,1991,7(1):11-32.

[2] 王冰.基于颜色特征的图像检索方法研究[D].济南:山东大学,2005.

[3] 宋琳琳,王相海.一种基于 HSV加权颜色特征的图像检索算法[J].微电子学与计算机,2008,25(6):57-59.

[4] 林丽惠,杨升.一种基于局部颜色特征的图像检索方法[J].重庆工学院学报(自然科学版),2009,23(7):142-145.

[5] 刘倩.基于内容的图像检索中的相关反馈技术[J].华东交通大学学报,2003,20(4):71-74.

[6] 闫玲博,蔡彬.相关反馈技术在图像检索系统中的应用[J].太原城市职业技术学院学报,2009(3):117-118.

An Method of Image Retrieval Based on Color Featuresand Relevance Feedback

L IN Li-hui
(Wuyi University,Wuyishan 354300,China)

A n image retrieval method based on colo r features and relevance feedback is p roposed.This method has combined the color distribution of the integer and the blocks.Then the similarity of the images is defined as the combination of the similarity of the integer and the similarity of the blocks to reflect the recognition p rocess by peop le.This article uses the correlation feedback technology to adjust the feature coefficient of color of the integer and the blocks.The experimental result indicates that thismethod has the better retrieval effect.

image retrieval;colo r histogram;the blocks;relevance feedback

TP391

A DO I:10.3969/j.issn.1671-6906.2010.02.008

1671-6906(2010)02-0031-04

2010-03-31

福建省教育厅A类科技项目(JA 09239)

林丽惠(1980-),女,福建建瓯人,讲师,硕士.