纹理融合新空间关系下颜色的刑侦图像检索

兰 蓉, 母保洋

(1.西安邮电大学 通信与信息工程学院，西安 710121；2.电子信息现场勘验应用技术公安部重点实验室，西安 710121；3.陕西省无线通信与信息处理技术国际合作研究中心，西安 7101212)

随着多媒体技术的高速发展，通过现场拍摄获取的用于存储犯罪证据的刑侦图像数量急剧增加，研究并提出高效、准确的刑侦图像检索算法对提高办案效率，节约人力资源具有重要的实际意义。

基于内容的图像检索(content-based image retrieval，CBIR)通过提取图像特征来描述图像，采用图像特征向量间的距离作为相似度，实现图像检索[1]。由于刑侦图像库中的轮胎、作案工具等类别的图像具有特定纹理与特殊的形状，使其有别于自然图像库。因此，适用于自然图像库的检索算法在刑侦图像库中往往效果欠佳[2]。目前，基于CBIR的刑侦图像库检索算法的研究尚处于初步阶段[3]。在现存的刑侦图像检索算法中，一种是基于8方向6参数灰度共生矩阵融合颜色距的检索算法[4-6]。也有另一种基于小波变换融合HSV颜色直方图[7-9]的检索算法。但是，上述两种文献算法主要针对图像的全局特征进行研究，不能描述局部纹理特征，颜色特征均缺乏对空间结构信息[10]的表达。

针对上述两种文献算法对图像颜色、纹理特征提取的不足，考虑到图像颜色的空间结构信息与局部纹理特征的描述，本文在将图像均匀划分成64块的基础上提取图像块的颜色自相关图特征，并通过计算块与块之间的L1距离反映颜色特征的空间结构。同时以RILBP算子提取图像的局部纹理特征，选取L1距离作为相似性度量方式，提出一种纹理融合新空间关系下颜色的刑侦图像检索算法。

1 新空间关系的颜色特征

1.1 颜色自相关图

颜色特征是刑侦图像中的重要信息之一，由于颜色直方图仅表示图像中不同颜色在整幅图像中所占的比例，缺乏对像素点颜色空间分布的描述。为此，应该考虑像素点的颜色与空间位置信息结合起来，利用能够描述图像颜色空间分布信息的颜色相关图(color correlogram, CC)和颜色自相关图(color auto-correlogram, CAC)[11]。

设o1,o2表示图像I中的两个像素点，o1∈Tci,o2∈Tcj等价于o1,o2∈I，其中Tci,Tcj分别表示颜色为ci与cj的像素集合，则颜色相关图的定义如下

(1)

上式表示图像中颜色为ci的像素与颜色为cj的像素之间的距离为k的概率。

由于颜色相关图统计图像中所有像素点颜色间的相关性，因此计算量大、复杂度高。一种简化后的颜色相关图-颜色自相关图定义为

(2)

1.2 基于新空间关系的颜色自相关图特征

改进方法采用先将图像均匀划分成块，然后通过建立块与块颜色自相关图特征之间的关系，以改善颜色自相关图在检索时，图像背景区域对图像检索结果的影响。

设图像的大小为M×N,图像块的大小为m×n，则图像与子块的关系为

M=2m,N=2n。

(3)

K=4Ω。

(4)

新空间关系的颜色自相关图特征构建过程如下。

(1) 将图像三级分区划分成8×8=64块，并依次提取各个图像块的颜色自相关图特征,提取后的各个图像块的特征维度为A。提取后的图像块特征向量构成特征矩阵[f(Tz,x)]可表示为

(5)

其中f(Tz,x)表示第z行第x列图像块的颜色自相关图特征向量，矩阵大小为8×8A。

虽然这种特征提取方式加入了空间信息，但是各图像块的特征之间相互独立，不具有相关性。

(2) 考虑到L1距离具有较好的鲁棒性[13]，因此，选择L1距离来建立块与块之间的空间关系。由式(5)可得，任意两个图像块的颜色自相关图特征向量f(Tz,x)与f(Tα,β)之间的L1距离为

(6)

(7)

其中FZ,X表示的是第Z行第X列的矩阵元素。由上述构建过程可知，运算后的矩阵为64×64的对角线元素全为0的对称矩阵。式(6)所表示的对称特征矩阵为新空间关系下的颜色自相关图特征矩阵，式(7)中的上三角矩阵元素所构成的特征向量为新空间关系的颜色特征(new spatial relationship color, NSRC)。考虑到这种新空间关系的颜色特征不仅包含图像局部颜色信息，而且在提取图像空间结构信息的同时，通过建立图像块之间的联系进一步丰富对颜色信息的刻画。因此，将NSRC作为改进算法的颜色特征。

2 RILBP纹理特征

由于刑侦图像中如鞋印，指纹等具有丰富的纹理特征。因此，改进算法选择具有旋转不变特性(rotation invariant local binary patterns，RILBP)的局部二值模式[14]提取刑侦图像的纹理特征。

局部二值模式[15](local binary patterns, LBP)是一种描述图像局部纹理特征的算子。经典的LBP算子是定义在3×3的窗口内，通过比较中心像素点与邻域像素点灰度值的差异而产生一系列编码，由此获得LBP纹理图。其编码过程如下如图1所示。

图1 LBP编码过程

针对像素点灰度值，当邻域像素点的值大于中心像素点的值时，编码为1，否则，编码为0。由于这种纹理描述方法对于不同尺度与频率纹理的提取有局限性。因此，文献[14]对经典的LBP进行两点改进，其一是用圆形邻域代替方形邻域；其二是3×3 领域扩展成任意大小邻域。若定义中心像素点的灰度值为gc，邻域像素点的灰度值为gp，则中心像素点的LBP具体计算值为

(8)

式中的P,R分别是采样点数和邻域半径。

改进后的LBP即RILBP描述算子对纹理描述具有不同尺度和不同采样点的能力，能够完整有效的描述纹理特征，且计算简单，对光照变化不敏感，具有较好的纹理表达能力[16]。因此，可选取RILBP算子描述刑侦图像的纹理信息。

3 相似性度量

相似性度量主要通过度量函数计算查询图像和候选图像之间的相似程度。实验结果表明L1距离即街区距离在刑侦图像检索准确性上表现优良[7]，同时L1距离比欧式距离在返回的图像排序方面表现更好[17]。基于图像检索的准确性和排序这两方面的考虑，因此，本文算法选择L1距离作为相似性度量方式。

为了获得图像之间更加合理的相似性度量值，在计算相似度时，考虑颜色相似度与纹理相似度的权重。设两图像之间的颜色相似度与纹理相似度分别用dis(H,L)C,dis(H,L)Φ分别表示为

(9)

(10)

Dis(H,L)=ω1dis(H,L)C+ω2dis(H,L)Φ。

(11)

其中，ω1,ω2为颜色相似度与纹理相似度的权重参数，ω1+ω2=1，ω1,ω2∈[0,1]。

4 算法步骤

基于上述表述和计算过程，改进后纹理融合新空间关系下颜色的刑侦图像检索算法步骤如下。

步骤1提取图像的NSRC颜色特征Tc。

步骤2使用RILBP算子提取图像的纹理特征TΦ。

步骤3采用高斯归一化方式分别对TC、TΦ归一化处理，其过程如下所述。

(1) 提取图像库所有图像的特征，得到特征矩阵S。

(2) 计算矩阵S中任意一列数据的均值μ和方差σ2，针对任意一列归一化后列数据

(12)

式中fij表示矩阵S中第i行第j列的元素。

步骤4将步骤1提取的颜色特征与步骤2提取纹理特征按步骤3归一化处理后，以相似度加权的方式融合，计算目标图像与刑侦图像库中的图像之间的相似度，从而实现检索。

5 实验结果与分析

算法采用Matlab R2016a编程实现。实验图库选取300幅的刑侦图像库[18]，均来自真实案发现场，分为轮胎、汽车、现场、鞋印、作案工具、指纹等共6类，每类各50幅。

5.1 评价指标

使用常用的查准率(precision)与查全率(recall)作为算法的评价指标。设R1为检索返回的相似图像数，R2为检索返回的图像数，R3为图库中相似图像数，则查准率(precision)与查全率(recall)分别定义为

每确定一次R2值，所有图像均检索一次，选取平均查准率与平均查全率作为实验结果。

实验中的CAC的距离个数以及k均取1，RILBP算子中的P取8，R取1。

5.2 新空间关系的颜色特征实验结果

在构建NSRC过程中，实验结果受分块级别的影响较大。基于算法复杂度和时效性的考虑，只比较前4级，实验结果如表1。

表1 不同分区实验结果

表中结果显示，当检索返回前10幅最相似的图像时，3级分块的平均查准率高于1、2、4级分块，达到85.33%。其原因是当分级数较小时，划分之后的图像块较大，而过大的图像块不能有效区分目标与背景；同时，当分级数较大时，划分之后的图像块较小，而过小的图像块又不足以表达图像的目标信息，因此，NSRC选择3级分块作为图像的划分方式。

为直观显示NSRC的检索效果，选取图库中图像的目标容易受背景影响的汽车类图像进行检索，比较CAC、分块颜色自相关图(Block Color Auto-correlogram, BCAC)、NSRC检索结果如图2—4所示。图2中BCAC是式(5)所构成的分块后的颜色自相关图特征。

图2 CAC检索结果

图3 BCAC检索结果

图4 NSRC检索结果

由图2—4可知，返回的10幅图像中，CAC检索出3幅相似图像，BCAC检索出1幅相似图像，而NSRC检索出10幅，均属于同一类，具有良好的检索效果。

为验证NSRC特征的有效性，采用CAC、BCAC以及NSRC在刑侦图像上的检索结果作对比，其查准率和查全率比较结果分别表2—3所示。

可以看出，针对平均查准率，比较NSRC与CAC得出，加入空间结构信息对颜色自相关图的检索查准率上有21.5%的提升，这表明NSRC能够有效的消除背景区域对图像目标检索的影响。比较NSRC与BCAC得出，建立块与块之间的联系有利于提升分块后的颜色自相关图特征在刑侦图像上的检索效果。

表2 新空间关系颜色特征相关实验查准率对比/(%)

表3 新空间关系颜色特征相关实验查全率对比/(%)

5.3 算法实验结果

5.3.1 相似度权值的选取

为选取合适的ω1,ω2，本文通过大量测试实验以0.05的步长逐渐增加颜色特征的相似度权值ω1进行检索，确定ω1的最优取值区间，然后在最优取值区间内确定最优权值，平均查准率结果图5所示。可见，ω1=0.02,ω2=0.98时，检索结果最佳。

图5 pricision-曲线图

5.3.2 算法对比

为直观显示本文算法的检索效果，选取包含丰富的颜色信息与纹理信息的多目标现场类的一幅图像进行检索，分别与相关文献方法比较，其检索结果分别如图6—8所示。

图6 文献[4]算法检索结果

图7 文献[7]算法检索结果

图8 本文算法检索结果

可以看出，返回的10幅图像中，文献[4]检索出5幅相似图像，文献[7]检索出6幅相似图像，本文算法检索出10幅图像。三种算法检索结果相比，本文算法检索效果最优。

为客观评价本文算法的性能，选取文献[4]算法、文献[7]算法、不加权以及本文算法进行检索实验结果对比，平均查准率与查全率对比曲线图如图9—10所示。图中的“不加权”，是NSRC融合RILBP纹理描述子的检索算法曲线。

图9 precision-曲线图

由图9—10可见，针对平均查准率与查全率，比较不加权与文献[4]、文献[7]得出，将NSRC与局部纹理特征融合对刑侦图像检索的准确性有了一定程度的提升。其原因文献[4]与文献[7]方法缺乏对图像颜色空间信息与局部纹理特征的提取，对图像表达能力有限。比较本文算法与不加权算法得出，以相似度加权的方式融合图像的颜色与纹理特征，对刑侦图像的检索准确率有较大的提升，这一结果也表明，在刑侦图像检索中颜色特征相似性与纹理特征相似性各自具有不同的重要性，合理赋权有助于改善检索效果。

图10 recall-曲线图

6 结语

针对现存的刑侦图像检索算法对图像颜色空间和局部纹理描述不足的缺陷，提出一种纹理融合新空间关系下颜色的刑侦图像检索算法。并通过与相关文献算法检索结果对比，验证其有效性。新算法通过图像块之间的距离来建立颜色自相关图的新空间结构信息改善图像背景对目标检索的影响。同时，采用新空间关系下的颜色自相关图进行特征提取可以获得刑侦图像更为丰富的颜色信息。此外，新算法在特征融合时，充分考虑到不同特征相似性的重要性程度，采用加权相似度的方式将新空间关系的颜色特征相似性与纹理特征相似性进行融合，可用效改善刑侦图像检索性能。