基于概率密度和ASIFT的彩色图像检索方法

孙晋

（辽宁师范大学 计算机与信息技术学院，辽宁 大连 116029）

随着多媒体技术的发展及互联网的不断普及，数字图像作为一种内容丰富、表现力强的信息储存形式被大量应用，而海量的数字图像也因此产生。如何快速准确地从数据库中找到用户所需要的图像逐渐成为一个难题并被研究者重视。传统的基于文本的图像检索技术主要依靠人工标记，在大量消耗人力资源的同时，还存在着用户对图像内容的理解不同，标记的信息不全面等问题。因此，基于内容的图像检索技术 （Content-Based Image Retrieval）随之产生，该方法是利用图像的视觉特征（如颜色、形状、纹理以及空间分布等底层特征）进行检索[1]。相对于人工标记，这种方法所提取的特征更具有通用性，从而有效地解决了基于文本的图像检索技术的不足。

在基于内容的图像检索中，传统的方法一般使用全局特征进行检索[2]，不但计算量大，而且在提取特征的过程当中掺杂了很多并不被用户所关注的信息。因此，基于局部特征的图像检索方法被学者们提出，目前常见的方法大致分为基于图像分割的方法和基于兴趣点的方法两类。其中，基于图像分割的方法由于图像分割技术本身尚未成熟，在受到光照影响、背景相对复杂等因素的干扰下，很难找到一种相对通用的方法将目标与背景完整地分离开。因此，更具稳定性和通用性的基于兴趣点的方法受到了更多的关注。WOL C等人[3]提出了一种通过提取特征点局部Gabor特征的方法，进行图像的检索。根据不同尺度不同方向的最大幅值，构造出不同直方图描述图像。Zheng Xia等人[4]首先将图像分成不同区域，分别对每个区域检测进行兴趣点的检测，然后利用兴趣点的边缘类型的直方图进行检索。Jian Mumei等人[5]利用密度聚类的算法实现图像检索。该算法首先对兴趣点进行分类，然后利用颜色矩和Gabor特征对每类兴趣点进行处理，通过构建出图像的特征向量进行检索。符祥等人[6]基于局部兴趣点的灰度信息，利用Zernike矩相关理论计算Zernike矩值作为图像特征，然后通过计算欧氏距离的方法对不同特征间的距离进行排序，从而滤除不匹配的兴趣点，最后利用兴趣点的空间离散度作为不同图像间的相似度来实现图像的检索操作。

以上检索方法充分考虑到了兴趣点的分布信息，并且不同程度地提高了检索精度，但终究不能达到理想的效果。为了进一步提高检索的准确性，本文提出一种新的基于兴趣点的图像检索方法，该方法在仿射-尺度不变特征转换（ASIFT）[7]算法基础上，利用亮度的概率密度梯度来完成对兴趣点的检测。该算法不仅能有效地继承ASIFT算法的优点，并且使兴趣点更好地聚集在图像的关键区域上，从而更加充分地表达出图像的语义。最后通过计算兴趣点颜色直方图的相似度进行图像的检索。

1 图像的兴趣点检测

图像中的角点、边缘点等具有很好的稳定性，常被研究者们作为兴趣点来描述图像特征。Harris[8]基于Moravec的检测算法中，利用亮度函数的自相关矩阵检测兴趣点，但是该算法存在对纹理很敏感，容易产生噪声的不足。因此，本文用各点亮度的概率密度梯度代替亮度梯度，通过ASIFT算子进行兴趣点的提取。

1.1 概率密度梯度估计

目前，主要的兴趣点检测算法都将研究重心集中在几何不变性上，而对于图像检索技术，兴趣点的数量、分布程度同样也很重要。只有将兴趣点集中在图像的关键区域上，才能有效地表达出图像内容的语义信息；只有在兴趣点数量足够多时，才能保证对图像内容信息描述足够详细，从而得到理想的检索结果。参考文献[9]提出了一种基于概率密度的检测算法，该算法在Harris角点检测算法的基础上，将亮度梯度替换为亮度的概率密度梯度，进而建立二阶矩矩阵，最终实现对兴趣点的提取。该算法可以有效地降低纹理中的“噪声”兴趣点，并且兴趣点的分布比基于亮度算法更加均匀。在此基础上，本文使用ASIFT算子代替原文献使用的Harris算子，继承了ASIFT算子提取的兴趣点多的优点，并且使兴趣点更好地聚集在图像边缘等关键区域上，从而更加充分地表达出图像的语义。

图像中每个像素的概率密度都可以通过核函数估计得到。图像中的任意一点 X（x，y）处的概率密度 P（X）的估计值为：

其中，pw是每一点概率密度的观测窗口，Xj是以X为中心的窗口 pw的一点，cj是图像中 Xj点的亮度，k1、k2是高斯核函数，hs是图像空间中的带宽，hr是亮度空间中的带宽。通过式（1）可以推导出各像素概率密度梯度的估计公式为：

1.2 ASIFT算子介绍

兴趣点的提取方法有很多，如SIFT算法、SURF算法、Harris算法等，这些方法虽然各有优点，但都不具备完全的仿射不变性。而ASIFT算法实现了真正意义上的仿射不变。

图1阐明了仿射变换的参数[10]，分别是：u0是一个平面图像，角度θ和Φ分别表示摄像机光轴的经度，角度Φ表示摄像机光轴的纬度，角度Ψ代表摄像机的旋转角度，λ是缩放参数。这些参数中，SIFT算法和SURF算法对所有参数都进行了归一化，而ASIFT算子则归一化了仿射变换中的平移、旋转、倾斜3个参数，模拟了经度角、纬度角、尺度缩放3个参数。

图1 摄像机仿射模型

由于相机光轴的变化带来的图像扭曲，可以使用仿射平面的改变进行局部的建模操作，其中，目标边界必须光滑或者是分段光滑的。此时摄像机运动由于光轴变换所带来的图像的扭曲模型为：

u（x，y）→u（ax+by+e，cx+dy+f），将其改写成矩阵的形式为：

ASIFT算法步骤如下：

（1）充分考虑所有相机可能拍摄到该图片的角度，模拟出由相机光轴的经度和纬度变化所带来的所有可能的仿射变换。

（2）仿射扭曲的变换由光轴的倾斜参数和旋转角度决定，而旋转和倾斜由经度角和纬度角表示，对这些参数进行间隔采样，采样间隔要确保模拟出尽可能多的由于相机光轴变化所导致的图像扭曲。

（3）利用SIFT算子对所有模拟出的图像进行处理，提取兴趣点。

2 特征构造和相似度计算

颜色是彩色图像最直观的特征。在提取图像颜色特征的众多方法中，颜色直方图由于具有对旋转、平移和尺度变化不敏感的特点，并且计算简单，已成为图像检索中应用最多的特征提取方法。

2.1 RGB颜色空间

RGB颜色空间是是最常见的颜色空间，广泛用于手机、数码相机和计算机等设备。它是由红、绿、蓝3种基色混合构成的直角坐标系中的一个单位正方体，坐标系中的原点即3种颜色的亮度都等于零为黑色，当3种颜色的亮度都达到1时表示白色，如图2所示。

图2 RGB颜色空间示意图

2.2 颜色直方图

图像的颜色直方图采用统计学的方法，分别计算各个颜色通道兴趣点的颜色值的出现频数。通常情况下，其定义为：

其中，R、G、B分别代表了红、绿、蓝 3个颜色通道，N代表了图像中像素点的个数。本文算法分别统计了红、绿、蓝3个颜色通道中兴趣点的颜色直方图，构成一个三维特征向量，并将其作为图像的特征进像检索。

2.3 相似度计算

相似度计算采用欧氏距离计算，目标图像和图像库中的图像特征向量间的相似度计算公式为：

其中，Q和 I表示目标图像和图像库中的图像，SR、SG、SB分别表示R、G、B 3个颜色通道的欧式距离。

3 仿真实验结果

兴趣点的提取方法是否能够满足图像检索的要求，主要在于两个方面：（1）必须有足够多的兴趣点，这样才能尽可能充分表达出图像的内容信息；（2）兴趣点必须尽可能多地聚焦在图像的主要语义信息上，从而准确表达图像内容。为了验证本文算法的有效性，进行了如下仿真实验。实验中所采用的软硬件环境为：Intel Xeon E5-1603 2.8 GHz处理器，4 GB内存，Windows 7 64位操作系统和MATLAB 2011b。

图3显示了本文算法与全局颜色直方图检索算法[2]、参考文献[11]算法的对比检索结果，其中第一幅图为待检图像。

图3 3种方法对比结果

为进一步证明本文算法的有效性，将本文算法与全局颜色直方图算法、参考文献[11]算法的平均查准率、平均查全率进行对比。实验选用了著名的Corel图像库，该图像数据库包括非洲人、马、大象、恐龙、风景、沙滩、公交车、夕阳等各类图片3 000张（包含30个种类，每个种类包含100幅相关图片）。实验中从图像库中任意挑选了10类图像，每类图像随机抽取10幅作为待检图像，共构成100次查询。每次查询从检索结果中截取前20幅相似程度最高的图像作为检索结果。对于每类图像分别计算其查询结果的查准率平均值、查全率平均值，其中：

表1和表2分别给出了3种方法的对比实验结果。

表1 3种方法平均查全率

表2 3种方法平均查准率

基于内容的图像检索是一门飞速发展中的跨学科、综合性的高新技术，该技术的研究与发展涉及多个学科和领域。本文以兴趣点为基础，提出了一种概率密度和ASIFT的彩色图像检索方法。该方法能够充分提取图像中的兴趣点，并能有效地刻画出图像的特征，降低了图像检索的歧义性。仿真实验表明，该方法能够准确和高效地查找出用户所需内容的彩色图像，在图像检索领域有较广阔的应用前景。

[1]REDDY P V N，SATYA PRASAD K.Color and texture features for content based image retrieval[J].International Journal of Computer Technology and Applications， 2011，2（4）：1016-1020.

[2]SWAIN M J， BALLARD D H.ColorIndexing[J].International Journal of Computer Vision， 1991，7（1）：11-32.

[3]WOL C， JOLION J， KROPATSCH W， et a.l Content based image retrievalusing interestpointsand texture features[C].Proceedings of 15th International Conference on Pattern Recognition， Barcelona， IAPR， 2000： 234-237.

[4]Zheng Xia， Zhou Mingquan， Wang Xingce.Interest point based medical image retrieval[C].Lecture Notes in Computer Science， Beijing：Springer Verlag， 2008：118-124.

[5]Jian Muwei，Chen Shi.Image retrieval based on clustering of salient points[C].Proceedings of 2008 2nd International Symposium on Intelligent Information Technology Application，Shanghai， 2008，1： 347-351.

[6]符祥，曾接贤.基于兴趣点匹配和空间分布的图像检索方法[J].中国激光，2010，37（3）：774-778.

[7]MOREL J M，Yu Guoshen.A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Science， 2009，2（2）：438-469.

[8]HARRIS C，STEPHENS M.A combined corner and edge detector[C].proceedings of 4th Alevy Vision Conference，1988：147-151.

[9]孙达，唐降龙，刘家锋，等.基于概率密度的兴趣点检测算法[J].自动化学报，2008，34（8），854-860.

[10]Yu Guoshen，MOREL J M.A fully affine invariant image comparison method[C].IEEE International Conference on Acoustics Speech and SignalProcessing， Taipei，2009：1597-1600.

[11]YAP P T，PARAMESRAN R.Content-basedimage retrieval using Legendre chromaticity distribution moments[J].IEEE Proceedings of Vision Image and Signal Processing，2006，153（1）：17-24.