GIST结合图像结构细节特征的现勘图像检索算法

兰 蓉，马 威

(1.西安邮电大学 通信与信息工程学院，陕西 西安 710121； 2.电子信息现场勘验应用技术公安部重点实验室，陕西 西安 710121；3.陕西省无线通信与信息处理技术国际合作研究中心，陕西 西安 710121)

现场勘验(现勘)图像检索是进行证据图像比对以获取证物信息的重要手段之一[1]。现勘图像源于真实的案发现场，图像的局部纹理信息丰富并且不同类型图像的边缘信息各自具有不同特点[2]，如指纹类图像的局部纹理基本呈椭圆形分布，轮胎类图像的局部纹理呈边块形和线条形分布，鞋印类图像多数呈边块形、交织形、点状、圆形、波折形和线条形分布，窗口类图像多呈边块形、线条形分布等，这给现勘图像识别与检索带来了挑战。

在针对现勘图像的纹理特征提取算法中，文献[3]利用灰度共生矩阵提取现勘图像的纹理特征，其使用的灰度共生矩阵是描述图像亮度变化的二阶统计量，不仅反映了亮度的分布特性，也反映了具有同样亮度或接近亮度的像素之间的位置分布特性[4]，这种方法与人类视觉模型脱节，并缺少图像纹理结构细节的描述，其应用于现勘图像检索时，检索的准确率有待提高。文献[5]利用双树复小波变换方法结合灰度共生矩阵提取现勘图像的纹理特征，双树复小波变换虽然能弥补统计法与人类视觉模型脱节的不足，能够更具体地从多方向分析图像的纹理特征，但是，其仍未有效地刻画图像的结构细节。文献[6]利用改进双树复小波结合灰度-梯度共生矩阵提取图像的纹理特征，该算法对图像进行非均匀分块，使得当图像纹理分布不明显、不均匀以及图像包含大块的平滑区域时，不能有效地反映图像的纹理信息，进而影响算法的检索准确率。文献[7]使用旋转不变局部二值模式(rotation invariant local binary patterns,RILBP)方法提取现勘图像的纹理特征，该方法利用局部二值模式(local binary patterns,LBP)编码后的特征图会出现边缘细节损失的情况，并且该算法也未有效地刻画图像的整体结构，导致其应用于现勘图像检索时检索精度仍然有待提高。

针对上述算法对现勘图像纹理结构细节描述不足的问题，拟提出一种通用搜索树(generalized search trees,GIST)结合图像结构细节特征的现勘图像纹理特征提取算法。首先，对图像进行均匀分块，利用多级区域局部二值模式(multi-block local binary patterns,MB-LBP)[8]提取图像的纹理结构细节，考虑到局部二值模式对图像进行特征编码时会出现图像边缘细节损失，采用梯度计算方法对图像的边缘细节进行补充描述；其次，利用GIST描述子提取图像的场景分布特征；最后，将图像的纹理结构细节特征与场景分布特征相结合，并根据图像的纹理结构复杂度对刻画的图像特征进行优选，以期算法应用于现勘图像检索时能够取得较好的检索结果。

1 基于MB-LBP的图像细节特征描述

基于MB-LBP的图像细节特征描述，主要包括图像分区、使用MB-LBP算子提取图像特征信息以及对图像的边缘细节信息的处理。

1.1 MB-LBP

在提取图像的MB-LBP特征时，为了包含图像纹理结构，提出一种基于9×9矩形区域划分的MB-LBP特征提取方法，图像结构区域划分示意图如图1所示。通过这样的区域划分，然后分别提取每个区域的MB-LBP特征，能够有效地刻画图像纹理结构特征。

图1 图像结构区域划分示意

图2 示例图像处理效果图

1.2 图像的边缘细节特征

图像的梯度[13]是对在一个特定方向上不同像素之间差异的描述，其平均梯度则能反映图像的细节反差和纹理变化。假设用f(x,y)表示一幅图像，则图像在点(x,y)处的梯度(即一阶微分)可以表示为

其中，Gx与Gy分别表示沿图像x方向和y方向的梯度，则f(x,y)的幅度可以表示为

其方向角度可以表示为

θ(

现勘图像的纹理边缘复杂而特殊，该类图像的边缘区域往往具有较丰富的梯度信息。构造图像9个区域像素简化模型示意图如图3所示。分别使用黑色圆点和白色圆点表示图像9个区域的像素，其中，白色圆点表示图像中心区域的像素，黑色圆点表示图像边缘区域的像素，分别求出黑色圆点区域以x方向、y方向的平均梯度及其均值，然后按图1中区域1-区域9顺序级联，以此作为图像的边缘细节信息。

图3 图像9区域像素简化模型

2 GIST特征的提取

采用全局GIST描述子[14-15]来量化图像的场景分布特征，以此来刻画图像的场景分布内容。GIST描述子常用一系列统计属性来描述图像，如粗糙度、自然度，开放度、膨胀度和险峻度等，多用于场景分类。

假设一幅灰度图像f(x,y)的大小为h×w。使用卷积尺度为m，方向数为n的滤波器组，组成nc个通道的滤波器对图像进行卷积滤波，将滤波后的图像划分为4×4规格的小块，对每个小块的灰度取平均得到一个特征，将特征级联可得图像的GIST特征，即

(1)

3 利用特征优选的图像检索

提取基于MB-LBP的图像结构细节特征，然后与GIST特征结合，并通过对图像的检索特征进行优选的方式进一步提高现勘图像检索算法的检索精度。

3.1 特征归一化

将图像的结构细节特征和GIST特征简单地联合在一起，会因为使用多特征提取算法带来多个特征之间量纲级别不同的问题。为此，需要对提取的两个部分的图像特征进行线性归一化处理[16]，将原始数据转换为界于某一特定范围的数据，消除量纲和数量级的影响。设一幅图像可提取出L个特征值，归一化操作有以下3个步骤。

首先，将提取的图像特征组成矩阵形式。假设提取的数据特征形成的矩阵为

其中：N表示数据库中图像的总数；L表示提取的每幅图像特征的维数。

其次，选取特征矩阵每列的最大值，记为矩阵FG=(fG1,fG2,…,fGL)；选取特征矩阵每列最小值记为矩阵FM=(fM1,fM2,…,fML)。

最后，进行特征归一化，组成归一化矩阵。归一化矩阵的计算公式为

其中：fij为图像特征矩阵F中的元素，i=1,2,…,N，j=1,2,…,L；fMj和fGj分别为矩阵FM和FG中的元素。

3.2 特征优选

为进一步提高检索算法的检索精度，提出一种可以根据图像的纹理结构复杂度对待表达图像特征进行优选的纹理特征提取算法，基于特征优选的图像检索算法原理示意图如图4所示。

图4 基于特征优选的图像检索原理

1)提取数据库图像纹理特征，并建立图像纹理特征库。

对图像进行检索时，按照如下步骤提取数据库图像纹理特征，并建立图像的纹理特征库1和特征库2。

步骤1将所有图像转换为灰度图像，然后对图像进行均匀分块，将图像统一规范成大小为255×255的规格，使得行、列均能被3整除。

步骤2根据本文第一部分的原理，忽略边缘区域的梯度特征，提取图像的结构细节信息，提取单幅图像特征维数为531维，建立纹理特征库1。

步骤3根据本文第一部分的原理，提取图像的结构细节特征，根据式(1)提取原灰度图像的GIST特征，并进行级联操作。

步骤4对级联特征进行线性归一化操作，完成联合特征的提取。提取单幅图像的特征维数为1 067维，建立图像的纹理特征库2。

2)优选待查询图像特征。

按照如下步骤对待查询图像的特征进行优选，用于现勘图像检索。

步骤1计算图像各个区域所有方向梯度值的均值，然后求出这9个均值的方差，记为图像的结构复杂度α。

步骤2根据图像库自身的特点设定复杂度阈值k。

步骤3若α≤k，则提取图像的纹理结构细节信息作为图像的检索特征，然后进入步骤4检索待查询图像；若α>k，则说明图像纹理结构分布复杂，并含有丰富的场景特征，则提取图像的联合特征作为图像的检索特征，然后进入步骤4检索待查询图像。

步骤4使用街区距离度量待查询图像与数据库图像纹理特征的相似性[17]，返回与查询图像相关的图像。

设Vdata、Vquery分别表示数据库图像和待查询图像，按照所提算法提取数据库图像和待查询图像的纹理特征向量可以分别表示为

Vdata=(d1,d2,…,di,…dL)，Vquery=(q1,q2,…,qi,…qL)

其中：di表示提取数据库图像特征的第i个分量；qi表示提取查询图像特征的第i个分量；L为特征向量的维数。

则街区距离D(Vdata,Vquery)的计算表达式为

距离D(Vdata,Vquery)的值越小，表明两幅图像越相似。

4 实验结果及分析

实验所用计算机的处理器为Intel(R) Core(TM) i5-3230M，内存4 GB，使用的操作系统是 Windows10 Professional 64位版本，程序仿真环境为Matlab 2018a-64位。实验所用的测试数据库为现勘图库和Outex_TC_00010-r纹理数据库。其中，现勘图库的所有图像均来自真实案发现场。由于保密要求，实验所使用的图像与原始图像相比略有改动[5]。实验使用的现堪图像共包括轮胎、汽车、现场、鞋印、指纹、窗口、枪和刀具8类，每类共有50幅图像，现勘图库中部分示例图像如图5所示。

图5 现勘图库中部分示例图像

纹理数据库Outex_TC_00010-r是Outex数据库中纹理分类算法常用的测试库之一，可以用于评估算法对纹理图像旋转不变性的有效性。该图库有24类纹理图像，每类共有180种，分别包括0°、5°、10°、15°、30°、45°、60°、75°和90°等9个不同旋转角度的图像[18]。将该图库用于算法的测试图库，以整个图库的平均检索准确率评估所提算法对纹理图像旋转不变性的有效性。

以准确率和检索率[19]作为评价算法性能的指标。设经过检索返回的Nreturn幅图像中有Na幅图像是相关的，图库中与待检索图像相关的图像共有Ndata幅，则准确率P与检索率R的计算表达式分别为

使用准确率-检索率(P-R)曲线及检索准确率曲线来检验算法的性能。

图6 现勘库中不同k值对应的检索准确率

图7 Outex_TC_00010-r库中不同k值对应的检索准确率

从图6可以看出，刑侦现勘图像库中不同k值对应的检索准确率不同。当k=0时，提取的仅为图像的联合特征，未进行特征优选，此时检索准确率为85.48%；当k=4时，检索准确率达到了86.13%，提高了0.65%。

从图7可以看出Outex_TC_00010-r数据库中阈值k对检索准确率的影响。当k=0时，提取的仅为联合特征，此时检索准确率达到了95.67%，但是当k=1时，检索准确率达到了97.03%，相比较提高了1.36%。

由此可见，算法复杂度阈值k对表达图像的特征并进行优选有一定的影响。根据实验结果，在刑侦图像库中取k=4，在Outex_TC_00010-r数据库中取k=1时，算法的准确率最高，此时对于相关数据库图像纹理的分辨性能最佳。

为了验证算法的旋转不变性，使用Outex_TC_00010-r数据库进行实验。由于Outex_TC_00010-r数据库图像的种类和数量较多，选择返回前20和前30幅图像的平均检索准确率作为有效数据进行测量。GIST算法[15]、MB-LBP算法[8]和所提算法在Outex_TC_00010-r数据库的平均检索准确率结果如表1所示。可以看出，本文算法返回前20和前30幅图像的平均检索准确率，相比GIST算法分别提高了4.23%和8.85%，相比MB-LBP算法分别提高了1.36%和0.59%。可见，所提算法的旋转不变性较高。

表1 3种算法Outex_TC_00010-r图库的检索准确率

为检验算法对图像纹理特征的刻画性能，特将基于MB-LBP特征、GIST特征、纹理结构细节特征1(所提的纹理结构细节特征提取方法，记为9MBLBP-8G)、纹理结构细节特征2(所提的纹理结构细节信息提取方法，但不级联边缘区域的梯度信息，记为9MBLBP)、GIST结合MB-LBP特征(记为GIST-MB LBP)和所提算法检索现勘图像库，并对得到的图像检索结果进行对比分析，6种不同算法的P-R曲线如图8所示。

图8 6种算法的P-R曲线

从图8可以看出，相比于其他5种算法，所提算法的检索性能较好，说明所提算法对现勘图像纹理特征的刻画能力更强。另外，对比图8中的MB-LBP和9MBLBP算法的P-R曲线可以看出，对图像进行分块，然后提取每个块的MB-LBP特征并级联的做法行之有效，使得提取的特征具备图像的结构信息，增强了MB-LBP描述子对图像纹理特征的描述性能，从而提高了检索率和检索的准确率。对比图8中的9MBLBP与9MBLBP-8G算法的P-R曲线可以看出，提取图像边缘区域梯度信息弥补MB-LBP描述子提取图像纹理特征造成边缘信息损失的做法是有效的，能够提高图像检索的准确率和检索率。从图8中的基于MB-LBP特征、GIST特征和GIST-MBLBP特征检索算法的P-R曲线可以看出，单独使用MB-LBP特征和GIST特征算法提取图像纹理特征对现勘图像的检索能力要弱于联合使用两个特征的GIST-MBLBP算法。

所提算法与基于灰度共生矩阵结合颜色特征(gray-level co-occurrence matrix and HSV,GLCM-HSV)[3]、灰度共生矩阵与双树复小波变换结合形状特征(dual-tree complex wavelet transform and gray-level co-occurrence matrix and Hu,DT-GLCM-Hu)[5]和改进双数复小波结合灰度-梯度共生矩阵特征(dual-tree complex wavelet transform and gray-gradient co-occurrence matrix,DTCW-GGCM)[6]对现勘图库的图像进行检索，4种算法的P-R曲线如图9所示。从图9可以看出，所提算法的检索率与准确率高于GLCM-HSV、DT-GLCM-Hu和DTCW-GGCM算法。这是因为，现勘图像本身存在较为明显的纹理特征，所提算法能够分析并挖掘现勘图像的纹理特征，能够在一定程度上实现对现勘图像内容的有效描述，从而对现勘图像检索的性能较好。

图9 4种算法的P-R曲线

进一步比较所提算法和旋转不变局部二值模式结合新空间关系下的颜色特征(rotation invariant local binary patterns combining with color under new space relationship,RILBP-CNSR)算法[7]对现勘图库的图像进行检索时，提取单幅图像特征的维度数以及返回前10幅图像的F1测度值。其中，维度指提取单幅图像的特征维度，F1测度值指返回前10幅图像的检索率与查准率的综合结果值，F1测度值越高，说明方法的检索性能越好[20]。RILBP-CNSR与所提算法的维度及F1测度值对比如表2所示。

表2 RILBP-CNSR与本文算法的维度及F1测度值

可以看出，相较于RILBP-CNSR算法，一方面，所提算法的F1测度值大于RILBP-CNSR算法，说明所提算法能够更加有效地描述图像的纹理分布情况，检索性能较优。另一方面，RILBP-CNSR算法提取单幅图像的底层特征维度为2 075维，而所提算法的特征维度为1 067维，所提算法仅涉及现勘图像的纹理特征，提取方法简单，检索效率较高。

5 结语

考虑到现勘图像纹理结构细节丰富，提出一种可以根据图像结构复杂度对表达图像的特征进行优选的纹理特征提取算法。该算法首先通过对图像进行均匀分块，利用多级区域局部二值模式和图像梯度对图像的纹理结构细节特征进行刻画;然后，将图像的结构细节特征与图像的场景分布特征相结合，使得提取的现堪图像纹理特征具备图像的结构细节信息；最后，为了进一步提高算法对图像纹理特征的刻画能力，利用图像的结构复杂度对表达图像的特征进行优选，使得算法的纹理分辨性能进一步提高。实验结果表明，所提算法的纹理图像旋转不变性较好，现堪图像检索效果较好。