结合颜色与空间信息的WEB图像检索新方法
2012-05-10林丽惠
林丽惠
(武夷学院,武夷山 354300)
随着数字技术、网络技术的飞速发展,数字图像逐渐应用于各个领域,图像的数量和内容也越来越丰富。如何从庞大的数据库中快速地检索到自己感兴趣的信息,已成为当今研究热点。基于内容的图像检索技术克服了传统文本检索技术在检索速度和检索准确度上的缺点,使得图像检索技术取得了很大的进步和发展。基于内容的图像检索技术需要研究人员确定视觉特征的提取方式,而系统的性能直接受不同的视觉特征的影响。因此早期的研究工作主要关注如何从图像中提取出有效的特征进行检索。随着网络图像信息的日益丰富,对WEB图像检索速度要求更高,而图像检索的速度往往影响到用户对网站的信心。而互联网上,图像索引的性能与图像特征维数是成反比的。图像特征维数越多,其索引性能越低。特别是在特征向量的维数大于102时,其索引性能可能还不如顺序扫描时的性能。而一般情况下,互联网上图像特征向量维数的数量级已经达到了102。这对于WEB图像检索技术而言是一种非常糟糕的情况。因此,如何在保留图像主要特征的情况下,大幅减少图像特征向量的维数以提高检索效率,就成为了WEB图像检索研究的一个重要问题。
本文采用的图像检索方法将利用HSV颜色模型非等量化实现图像主色的提取以达到减少图像特征向量的维数的目的,然后结合颜色与空间信息采用基于颜色对的检索方法进行二次检索。
1 运用HSV颜色模型对图像降维
利用HSV颜色模型提取主色,对图像进行降维,提高检索效率。图像的主色包含图像的主要颜色信息。提取图像主色是为了在保留图像主要颜色信息的同时减少图像特征向量的维数,从而减少运算量,提高检索效率。图像主色主要取决于人的肉眼判断,不同的人可能对同一幅图像主色的认知不同。HSV颜色模型,是一个基于感知的模型。因此,为了使人的视觉感知能更好地匹配理论的颜色值,将主色的选择与HSV颜色模型结合能达到更好的效果。在HSV颜色空间中,考虑到人眼分辨饱和度与亮度的能力比分辨色度的能力较差,我们采用非均匀颜色空间划分[1]。对HSV颜色空间进行非等间隔量化 的 等 级 通 常 有 (12,5,5)、 (16,4,4)、 (18,3,3)、(8,3,3)、(6,2,2) 等, 对应的特征维数分别为 300、256、162、72和 24。而 HSV的量化等级数分别为(8,3,3),即得到72维特征矢量的时候,HSV的量化效果最好[2]。
所得的72维特征矢量中每一维均代表了这种颜色在图像中所占的比例。若某一维上的特征值越大,那么这一维所代表的颜色在图像中所占的比例也越大。 可以说一幅图像的主色其实是由特征值比较大的那些维所决定。我们可以认为,将一幅图像的72维特征值按照从大到小的顺序排列,如果前面m个维数上的特征值之和超过了某一个阈值d,那么这m个维数所代表的颜色就是这幅图像的主色。这时我们可以忽略其他的维数对图像颜色的影响。在此,阈值d取80%。因为人的大脑接收到的来自外部世界的感知信息中,80%以上是通过视觉系统进行加工处理的[3]。所以这个阈值d根据人的视觉误差可以取80%。通过这种方法,我们能够在最大限度保留图像主要颜色信息的情况下将图像的特征维数从72维降下来,只需要计算从大到小排列、特征值之和超过80%的前面m维,实现图像降维的目的。然后将降维后的图像采用直方图的交集作为相似性度量进行检索。这样能大大提高检索的效率。
2 运用颜色对方法进行二次检索
结合颜色与空间信息采用颜色对方法进行二次检索,提高检索精度。上述方法在保留图像主要特征的情况下,大幅减少了图像特征向量的维数,提高了WEB图像检索的效率。但是颜色直方图[4]基于全局方式,容易丢失掉图像颜色的空间分布信息。因此,我们采用上述方法先对WEB图像降维,采用直方图的交集作为相似性度量进行首次检索,得到了检索结果排列比较靠前的一部分在全局颜色分布上相似的图像,之后进一步考虑颜色的空间分布状况,采用颜色对方法对第一次检索得到的图像进行二次检索以提高检索精度。
所谓图像的颜色对,是指图像中各子块与相邻子块之间的颜色灰度值的差额对数量。基于颜色对的颜色直方图,需要借助图像子块之间的相邻关系,通过颜色对统计数据来表达图像中颜色的空间分布信息。如果两幅图像的总体颜色相似而且颜色对相同,那么这两幅图像是非常相似的。
下面我们将用图例的方式来说明颜色对的工作原理。假设一幅图像A被平均分成3×3个子块,如图1所示。每一个子块上的数字表示本子块的颜色灰度平均值。将图像A向左移动一格,即第二个子块被移到第一个子块,第三个子块被移到第二个子块,………,则图A中第一个子块被移出;此时将这个子块放到最后一个子块,得到新图像作为图像B,如图2所示。用颜色对表格分别记录图像A和图像B中各个左右相邻子块的距离(见表1和表 2)。
图1 图像A各子块颜色灰度
图2 图像B各子块颜色灰度
表1 图像A的颜色对
表2 图像B的颜色对
图像B是图像A向左移动后得到的图像。相对图像A而言,图像B中各个子块的空间位置发生了变化。如果用颜色直方图度量图像A和图像B,则认为图像A和B是相同的图像。所以,颜色直方图没有反映出图像中颜色的空间分布信息。如果对第一次利用颜色直方图检索得到的图像再次利用颜色对进行检索,将提高检索的精度。
3 检索方法的实现过程
检索过程大概分7个步骤来实现:
(1)将图像由RGB颜色空间转换到HSV颜色空间,转换后,H∈[0,360];S∈[0,1];
(2)采用非等间隔量化方法将HSV量化到72维,将HSV三个颜色分量合成一维特征向量L,L=9H+3S+V,0≤L≤71;
(3)将L维按特征值大小从大到小排列,取特征值之和超过80%的前面m维,忽略其他维的颜色特征,用直方图的交集作为相似性度量进行第一次图像检索;
(4)将第一次图像检索得到的检索结果排列在前50的图像文件分成3×3子图像Pmn(m,n=1,2,3),采取“八方向相邻技术”计算每个子块的颜色对表,将表按颜色对值从大到小排序,形成特征库。
(5)计算检索图像I的3×3子块颜色直方图,选择用户感兴趣的x个图像子块,采取“八方向相邻技术”计算这些子块与相邻子块的颜色对表;以x个颜色对表中所有颜色对的平均值的3%为阈值,进行去噪处理,将x个颜色对表中剩余的颜色对按其值从大到小排序,作为检索图像I的代表特征。
(6)计算特征库中每个图像子块Pmn(m,n=1,2,3)的颜色对表和检索图像I的颜色对表的局部匹配值,其中M表示检索图像I中所有颜色对数,px和ix分别表示检索图像I和图像库中相应图像的第x个颜色对值,从而计算
(7)给定阈值 β(0<β<1),将 S(P,I)>β 的图片 P 作为检索结果。
4 实验结果及分析
为了检验本文检索方法的可行性和有效性,本文在 Windows XP、Visual C++6.0环境下进行实验。实验用到的图像数据集来源于baidu图像搜索引擎。实验中用查准率和查全率对结果进行评价。第一次利用HSV颜色模型降维,并以直方图相交距离作为相似性度量进行检索,然后对返回的前50幅图像再次利用颜色对特征进行二次检索。
为了检测本文降维方法的性能,本实验对第一次检索过程中采用降维方法与72维不降维方法的检索性能进行了对比(见表3)。可以看出,用HSV颜色模型降维保留了图像的主要信息,但图像的检索时间得到了大大的改善。
第一次检索后对返回的前50幅图像再次利用颜色对特征进行二次检索,二次检索在返回图像为10、20和30时统计的查全率和查准率见表4。从数据看二次检索比第一次检索的查准率提高了。由此,验证了本方法能从效率上和准确度上有效地提高WEB图像检索的性能。
表3 第一次检索过程中采用降维方法与72维不降维方法的检索性能比较
表4 二次检索在返回图像为10、20和30时统计的查全率和查准率
5 结 语
网络的迅速发展为基于内容的图像检索技术提供了一个新的应用领域,而基于内容WEB图像检索技术在这个新的应用领域还有很多工作要做。例如优化图像的存储、图像的索引;将基于语义的图像检索和相关反馈机制引入WEB图像检索等。
[1]姜兰池,沈国强,张国煊.基于HSV分块颜色直方图的图像检索算法[J].机电工程,2009,26(11):54-57.
[2]刘为.基于内容图像检索关键技术的研究[D].长春:吉林大学,2010
[3]李清勇.视觉感知的稀疏编码理论及其应用研究 [D].北京:中国科学院研究生院(计算机技术研究所),2006.
[4]李冬梅.基于颜色直方图的图像检索技术应用研究[D].天津:河海大学,2004.