基于多特征融合的HSV空间彩色纹理图像检索*

徐 佳 曲怀敬 张志升 王纪委 魏亚南 张汉元

（山东建筑大学信息与电气工程学院 济南 250101）

1 引言

基于内容的图像检索（Content-based Image Retrieval，CBIR）近些年来被广泛地应用于计算机视觉、医学、教育、交通和安全等领域。通常，CBIR通过匹配目标图像与数据库中的图像来进行图像查询，它由特征提取和相似性测度两个重要部分组成［1］。对于特征提取部分，所提取的图像特征包括颜色［2］、纹理［3］、形状［4］等可视特征，以及人类不易直观的、反映图像像素分布的统计特征［5］、空间特征［6］等。另一方面，检索系统的性能还取决于与特征相匹配的、并能有效地反映人类视觉感知的相似性测度。通过相似性测度将得到的特征进行一定规则的排序，并得到候选的图像，进而筛选出所需要的图像，最终完成图像的检索过程。CBIR系统的性能主要取决于所提取的特征。早期的CBIR系统使用单一的特征表示图像，但这往往不能充分地刻画图像的信息，因而检索的效果不佳。后来，研究者将颜色、纹理、形状等低层特征融合成新的特征用于图像检索，并因其能较全面地表示图像而得到较好的检索性能［7］。

对于颜色特征，2018年Mistry等［2］将空间信息与颜色直方图相结合的颜色自相关图用作颜色特征进行图像检索。2020年Bedi等［3］、Singh等［4］分别采用级联和组合的方式量化不同通道的数据，最后将颜色直方图作为特征。通常，人类对于色调的视觉感知具有不均匀性，这说明均匀量化方案存在特征表示自适应性差的不足，因此需要采用非均匀量化的方式进行颜色特征的提取。

图像的纹理特征是一种难以描述、但又十分重要的图像描述符，在CBIR研究领域得到了广泛的应用。其中，在全局纹理特征方面，2010年Kwitt等［8］使 用 双 树 复 小 波 变 换（Dual-Dree Complex Wavelet Transform，DTCWT）分析纹理图像，并使用广义高斯分布、Gamma分布和Weibull分布对其子带进行建模，在纹理图像检索中取得了较好的效果。2020年Qu等［9］在该变换域提出新的全局特征，较Kwitt等人的方法有更好的检索效果。此外，在局部纹理特征方面，2010年Ojala等［10］提出用于纹理分类的局部二值模式（Local Binary Pattern，LBP），并在纹理图像检索方面也有着优良的表现。2017年Manisha等［11］提出局部邻域差异模式（Local neighborhood difference pattern，LNDP），并与LBP相结合，从而能够更加充分地提取局部纹理特征用于纹理图像检索。上述这些方法都是使用单个纹理特征，并未融合全局纹理特征与局部纹理特征以充分利用它们之间的互补性。受Wang等［12］方法的启发，本文将全局纹理特征与局部纹理特征进行有机结合，并有效地用于彩色纹理图像的检索。

针对上述问题，同时考虑到目前在彩色纹理图像检索系统中主要存在结构复杂且时间成本高的问题，在本文中提出一种新的结合颜色特征和纹理特征的彩色纹理图像检索方法。

2 相关工作

2.1 颜色空间

在基于内容的彩色纹理图像检索系统中，选择一个合适的颜色空间往往有利于提高系统的检索性能。通常，在HSV颜色空间中获得的彩色特征相对于RGB颜色空间更有效［4］。在HSV空间中，H用来表示一幅图像的色调，S用来表示一幅图像的饱和度，V用来表示一幅图像的亮度，同时V分量可以视为该彩色图像的灰度图像［2］。

2.2 Gabor滤波器

在空域中，二维Gabor滤波器是复正弦平面波调制的高斯核函数［13］，其定义如式（1）～（3）所示。

式中，f是正弦波的频率；θ代表法线相对Gabor函数平行条纹的方向；φ是相位偏移；σ是高斯包络的标准偏差；γ是空间纵横比，用来决定Gabor函数形状的椭圆度。

2.3 LNDP

在LBP的基础上，Manisha等结合LBP的计算方式，提出了LNDP［11］。LNDP描述如下，首先，在3×3窗口中，计算中心像素的邻域像素之间的大小关系，然后，为每一个邻域像素分配一个二进制数，最后，赋予邻域位置的不同的二进制数相应的权重，从而获得局部纹理信息。

对于大小为M*N的图像，其LNDP直方图计算方式可由式（4）～（5）表示。即

式中，P为邻域像素的数量，对于3×3窗口，P=8。

3 提出的检索系统框架

本文基于符合人类视觉感知的HSV颜色空间和Gabor滤波器组，提出一个融合颜色特征、全局纹理特征和局部纹理特征的彩色纹理图像检索系统。所提出的系统包括特征提取和相似性测度两个主要部分。在本文中，所提出的特征提取框架如图1 所示。下面针对各部分特征的提取方法进行详细的描述。

图1 特征提取框架

3.1 颜色特征提取

在HSV颜色空间，H、S、V三个通道的量化方式如式（6）～（8）所示。

量化后，采用如下映射方法进行直方图量化：

式中，LS、LV分别为S、V通道数据量化的级别数。此时，Vec可以改写为

结合式（6）～（10）可知，HSV颜色直方图的均匀采样区间为［0，71］，它是长度为72bin的一维特征向量。

同时，V通道未量化的数据可以视为彩色纹理图像对应的灰度图像。在下文中，如无特别说明，所述的灰度图像均指V通道未量化的数据，并被用于全局和局部纹理特征的提取。

3.2 全局纹理特征提取

经过Gabor滤波器处理的图像共有24个（3尺度×8方向）复值子带，对每一个复值子带可以用广义高斯分布、Gamma分布以及Von Mises分布分别进行建模。对于幅值子带的Gamma分布［8］，其概率密度函数为

式中，子带系数x的取值范围为(0，∞)，α>0为形状参数，β>0为尺度参数。

对于相位子带系数θ，可由两参数的Von Mis⁃es分布［14］进行统计建模，其概率密度函数为

式中，θ为子带系数，μ为平均方向参数，v为集中程度参数，I0是第一类零阶修正贝塞尔函数，且

在本文中，使用最大似然估计得到的两种模型参数作为全局纹理特征。同时使用熵差率Re对估计得到的参数进行评估［9］，Re的值越小，说明估计得到的参数越接近于真实分布参数，对模型的估计也越准确［8］。本文选取了VisTex库中第161幅纹理图像，对其子带分布进行拟合实验，实验结果如图2所示。从实际熵差率Re可以看出，采用上述模型进行统计建模可以很好地符合子带系数的真实分布。

图2 三种分布用于子带建模的拟合图及熵差率

3.3 局部纹理特征提取

通常，LNDP可以更为全面地捕捉局部窗口内中心像素与邻域像素之间的纹理信息。因此，本文将整幅图像的LNDP直方图作为局部纹理特征。

3.4 相似性测度

Manhattan距离［11］用于计算两个颜色直方图或者两个LNDP直方图之间的距离。

式中，Idb和Iq分别为数据库中的备选图像与查询图像（下文各式中相同符号含义相同，不再赘述），Fdb和Fq分别为特征数据库中的备选特征向量以及查询图像的特征向量，L、M为特征向量的长度。

具有闭式形式的Kullback-Leibler（K-L）距离通常用于比较两个统计分布的相似性［8］。对于Gamma分布，其闭式K-L距离为［8］

式中，ψ()·表示Digamma函数，αdb、βdb和αq、βq分别为备选特征数据库和查询图像Gamma分布模型的两个参数特征。

对于Von Mises分布，其K-L距离为［14］

式中，μ1、v1和μ2、v2分别为备选特征数据库和查询图像Von Mises分布模型的两个参数特征；I1是第一类一阶修正贝塞尔函数，且

在本文中，由于图像的特征是由不同的特征融合而成，因此在计算两个融合特征之间的相似性测度时需要对不同类型的特征按不同的距离分别计算，然后将各个距离通过采用凸线性优化组合的方式得到一个总的距离。对于两个融合特征之间的距离，使用式（17）进行计算。

3.5 检索算法

本文所提出的彩色纹理图像检索算法如下。

4 实验与讨论

4.1 实验数据库

为了验证本文所提出的彩色纹理图像检索方法的有效性，使用了VisTex中的40幅图像［15］以及包含476幅图像的STex彩色纹理图像库［16］作为实验所使用的彩色纹理图像库。

对于VisTex库和STex库中的图像，首先将每一幅512×512像素的RGB彩色原图像分割成无重叠的16幅128×128像素的RGB子图像。这样VisTex库（后称DB1）与STex库（后称DB1）分别包含640幅和7616幅实验图像。

4.2 性能评价指标

在本文的检索实验中，检索的性能采用平均检索率（Average Retrieval Rate，ARR）来评价［12］，ARR的计算如式（18）所示。

式中，N为数据库中图像的总数，si为第i次检索得到的正确图像数，M为每次检索返回图像的数量，在本文的相关实验中取M=16。

4.3 实验方案的选取

考虑到由Gabor滤波器产生的一组3尺度、8方向的24个复值子带间具有较高的信息冗余；同时，不同的HSV组合直方图的量化数量可能对实验结果产生不同的影响，因此对比了几种不同方案的实验结果以选取最优的方案进行实验。

本文使用了四种不同的Gabor子带选择方案：方案1，所有尺度的所有子带；方案2，每个尺度的奇数子带；方案3，每个尺度的偶数子带；方案4，奇数尺度的奇数子带与偶数尺度的偶数子带。同时，在DB1与DB2两个数据库上进行实验，得到的结果如图3所示。

由图3可以看出，在不同的数据库上，使用不同的Gabor子带方案得到不同的检索结果。其中，方案2在DB1数据库上的表现最好，而使用方案1在DB2数据库上的表现最好。

图3 不同的实验方案在DB1、DB2数据库上的表现

4.4 不同方法检索性能的比较

为了验证本文所提出方法（PM）的有效性和可行性，在检索性能上对比了近年来所提出的用于彩色纹理图像检索的典型方法。对于DB1数据库，本文方法分别与Li等使用的GC+GW（Gaussian Cop⁃ula+Gabor Wavelet）［15］、Guo等使用 的DDBTC［16］、EDBTC［17］、Madhumanti提出的LEPVP+CH［18］以及Manisha等 提 出 的LECoP［19］等 方 法 进 行 了 包 括ARR、特征维度以及时间成本等不同方面的检索性能比较。首先，图4（a）给出了本文方法与上述方法在DB1上的ARR比较。

图4 本文方法与现有典型方法的ARR比较

从图4（a）可以看出，本文所提出方法较现有典型方法的ARR有着不同程度的提高，说明了本文所提出方法的有效性。为了进一步验证本文提出方法的有效性，在DB2数据库上，与一些现有典型方法的ARR进行比较，实验结果如图4（b）所示。由图4（b）中的数据可以看出，本文提出方法分别较现有典型方法在检索准确性方面具有不同程度的提升，这说明本文的检索方法在大型彩色纹理图像数据库DB2上也是一种有效的方法。

此外，本文和一些重要文献中所提方法的特征长度进行了对比，如表1所示。从表1中的数据可以看出，本文所提方法的特征长度在所有的方法中是较长的，这是因为本文所提方法的特征中包含直方图特征（长度328）。然而，这种特征虽然长度较长，但在相似性测度方面耗时却不多。

表1 不同方法的特征长度比较

最后，本文方法还和一些典型方法进行了耗时情况的比较，实验结果如表2所示。从表2中的数据可以看出，本文提出的方法在特征提取（FE）和相似性测度（SM）方面的耗时上具有较为明显的优势。因此，综合考量ARR、特征长度与时间成本三个方面，本文所提方法较现有典型方法具有一定的优势，验证了本文方法的有效性和可行性。

表2 单幅图像特征提取（FE）与相似性测度（SM）时间（t）消耗比较（S）

需要说明的是，上述实验是在搭配16G RAM的具有六个核心的英特尔I5处理器的系统平台、以及Matlab 2016b软件平台上完成。通过与现有方法在ARR、特征长度以及时间成本三个指标上的综合对比，实验结果表明，本文提出的方法取得了较好的检索性能。

5 结语

本文针对目前的彩色纹理图像检索系统复杂度高、时间消耗大等问题提出了一种新的检索系统。该系统结合颜色特征和纹理特征用于彩色纹理图像检索。首先，将图像转换到HSV颜色空间，同时分别将三个通道的数据进行量化，并对H、S、V通道的量化数据构建组合直方图作为颜色特征。然后，在V通道的灰度图像中进行基于Gabor复变换域的全局统计特征与基于空域的局部特征的提取，同时结合颜色特征构成最终的特征向量。最后，采用凸线性优化组合的相似性测度完成检索任务。分别在VisTex和STex两个彩色纹理图像数据库上的实验结果表明，本文所提出的检索系统的平均检索率较现有典型方法有一定的提升，并且检索时间的消耗更低，从而验证了本文所提出的检索方法的有效性和可行性。