现场勘验刀具图像特征描述与识别

2020-12-17公衍超林庆帆王富平

西安邮电大学学报 2020年1期

刘颖，李钊，公衍超，林庆帆,3，王富平

(1.西安邮电大学通信与信息工程学院,陕西西安 710121；2.西安邮电大学电子信息现场勘验应用技术公安部重点实验室，陕西西安 710121； 3.新加坡Siliconvision公司，新加坡 787820)

在我国的刑事案件中，由于枪支严格管控，刀具已成为最为常见且杀伤力较大的作案工具，刑侦现勘刀具图像的准确识别与分类直接关系到后续通过串并案侦破案件的效率[1]。目前，现勘人员仍主要采用人工方式录入现勘图像，耗时耗力，且准确率易受人为因素影响，因此，高效、自动识别并录入现勘刀具图像的方法已成为研究热点。

从技术角度考虑，准确识别刀具图像的关键步骤是能够构造反映刀具特征的低层描述，但是图像纹理特征、颜色特征等并不适用于刀具图像[2-4]。考虑到金属刀具及人体温度的不同，针对红外图像，基于卷积神经网络[5]将主动外观模型(active appearance model,AAM)应用于X射线图像的刀具识别,可有效识别藏匿刀具，并可得到较低的假阳性检出率[6]。但是,上述两种方法没有考虑到场景变化带来的准确定位目标区域问题，难以应用于实际复杂多变的场景。

针对普通监控视频，利用动态图像专家组(moving picture experts group-7，MPEG-7)视觉描述符中的同质纹理描述符(homogenous texture descriptors，HTD)[7]和边缘直方图描述符(edge histogram descriptors，EHD)[8]衡量目标物体的内容特性，基于构建的模糊分类模型(fuzzy classification model,FCM)实现对静态监控图像中刀具目标的识别[9]；在充分考虑现实监控视频质量差、包含小目标较多的特点基础上，选用HTD与EHD反映刀具目标的内容特征，实现实时监控视频的刀具识别[10]；考虑不同手持刀姿势及刀具旋转的影响，利用Hu不变矩和小波特征衡量目标的内容特性，可实现刀具目标识别[11]。但是，上述方法仅适用于背景简单的视频图像中的刀具定位与识别，并不能直接应用于现勘刀具图像识别。现勘刀具图像的背景多变复杂，将一阶边缘检测算子、Sobel边缘检测算子和Canny边缘检测算子等边缘检测算法[12]应用到现勘刀具图像时，经常会出现提取的边缘不闭合，噪声边缘过多等问题，很难在复杂背景中提取出有效的刀具轮廓。

针对刀具目标区域在复杂背景中的定位与识别问题，本文提出一种基于目标形状特征的现勘刀具图像识别(recognition of crime scene investigation knife images,RCSIKI)算法。利用基于结构森林的边缘提取算法将边缘检测问题转化为给定输入图像块信息下的局部分割掩码预测问题，快速检测图像中主要目标的边缘；基于现勘刀具图像的内容特性，对边缘图像进行形态学滤波和聚类，准确提取复杂背景图像中的刀具区域；根据刀具最显著的形状特征，结合目标轮廓最小外接矩形给出刀尖角度的计算方法，并与长宽比、矩形度、圆形度构建描述刀具的形状特征向量组。最后利用支持向量机(support vector machine,SVM)训练得到现勘刀具图像的二分类模型，实现对现勘刀具图像的识别。

1 算法框架

采集的现勘图像需准确具体地反映和证明物证的外部特征、物质属性、所处位置及状态[13]。现勘刀具图像在内容上具有两个明显特点：1)作为主要的拍摄目标，刀通常处于图像中近似中间位置且刀是图像中较大的物体之一；2)勘验人员通常以垂直俯视角度拍摄图像，刀的影像通常是正面且完整的，其形状信息全面。结合现勘刀具图像的内容特点，对输入的现勘图像先进行目标区域定位，然后依次经过高斯滤波、边缘检测、形态学滤波和二值化等操作，获得图像中所有物体区域的边界轮廓，结合区域的位置及大小信息，运用聚类定位目标区域；计算目标区域的最小外接矩形，结合最小外接矩形信息计算目标区域的长宽比、矩形度、圆形度和尖角度等4个形状特征，将4个特征融合成多维的形状特征描述，并将其输入SVM模型中，最终实现现勘刀具图像的识别。RCSIKI算法框架如图1所示。

2 目标区域定位

对高斯滤波后的图像使用边缘检测算法得到图像中物体区域的轮廓，运用聚类[14]的方法最终定位图像中的目标区域。

2.1 高斯滤波

为了降低噪声对于后续操作的影响，对现勘图像使用3×3大小的高斯卷积核，进行高斯平滑滤波操作。高斯核函数[15]可表示为

其中：(x,y)表示像素的坐标，也是高斯卷积核的中心位置，高斯核与现勘图像做卷积运算得到滤波后的图像；σ表示正态分布的标准差，将σ设置为0.8可达到最好的主观平滑效果。

2.2 边缘检测与形态学滤波

利用基于结构森林的快速边缘检测算法[16]，对高斯滤波后的图像使用结构标签进行决策树的学习。通过训练结构森林边缘检测模型，向已完成训练的模型输入图像信息得到对应的边缘检测结果，提取到的噪声边缘明显少于Canny和Sobel等边缘检测算子，但仍然存在得到的边缘不闭合的问题，因此，需对处理后的图像进行形态学滤波操作。形态学滤波[17]可表示为

I·F=(I⊕F)ΘF

。

其中：I表示处理后的图像；F表示结构因子；“·、⊕、Θ”分别是闭运算、膨胀运算、腐蚀运算符号。选择5×5像素大小的结构因元素，可最大程度的滤除噪声边缘并连接断裂的刀具轮廓[10]。

形态学滤波之后再进行自适应阈值的二值化处理得到二值图像。为了使轮廓图像更加直观，设定阈值为90，将像素亮度值二值化为255和0，使整个灰度图像呈现出黑白效果，便于后续的聚类和特征提取。

2.3 聚类

考虑现勘刀具图像中刀具处在近似中间位置且体型相对较大的特点，运用聚类定位图像最终的目标区域。聚类具体操作步骤如下。

步骤2取集合D2中的第1个像素d1作为聚类核，依次查看D2中有没有像素位于d1的八邻域位置，八邻域位置如图2所示。如果有像素满足条件，则将这个像素与d1组成新的子集合D2.1，并将该像素作为新的聚类核重复以上操作，直到D2中没有满足条件的像素为止。

图2 八邻域位置

步骤3去除D2中同时属于D2及D2.1的像素，并将其余的像素按照其欧氏距离降序排列，并取重新排列后的第1个像素作为聚类核，重新步骤2的操作，得到子集合D2.2。

步骤4重复步骤3，直到D2Ø，即D2中所有的像素都属于任意子集合D2.1,D2.2,…,D2.S，S表示子集合的数目。将所有子集合按照包含的像素个数降序排列。如果第1个子集合包含的像素数大于等于D2集合像素数的75%，则第1个子集合边缘像素对应的区域即为定位的目标区域。否则取前3个子集合进入步骤5。

步骤5计算集合中所有像素与图像中心点像素欧式距离的均值，均值最小集合的边缘像素对应的区域即为定位的目标区域。

3 形状特征描述

考虑在现勘图像中刀具影像是完整且正面的，其形状信息丰富，因此，根据目标区域轮廓的最小外接矩形，构造长宽比、矩形度、圆形度和尖角度等4个形状特征用于刀具的识别。

3.1 获取最小外接矩形

在二维坐标系中，外接矩形是以cxmax-cxmin和cymax-cymin为两条边的矩形。其中cxmax和cxmin分别表示处于区域轮廓上像素的最大横坐标和最小横坐标；cymax和cymin分别表示处于区域轮廓上像素的最大纵坐标和最小纵坐标。而最小外接矩形则是将区域轮廓以任意角度旋转后得到的面积最小的外接矩形，如图3所示。

图3 最小外接矩形计算图示

结合图3，最小外接矩形的获取步骤具体如下。

步骤1假设区域轮廓如矩形R1内的椭圆所示，其外接矩形如R1所示，并计算其面积aR1。

步骤2设定固定旋转角度θ，并将区域轮廓逆时针旋转θ度后，获取其外接矩形如矩形框R2所示，并计算外接矩形的面积aR2。

3.2 形状特征

通过观察刀具的形状内容特性，发现刀具普遍呈细长的条状，并通常拥有一个锋利的刀尖。这就使得其长宽比与矩形度较大而圆形度较小，且尖角度通常为锐角，属于区别于其他物体的显著形状特征。

3.2.1 长宽比

长宽比是从最小外接矩形的角度反映目标区域的形状信息。长宽比的计算公式为

l=wR/hR

。

其中,wR和hR分别表示最小外接矩形的长与宽，R为轮廓最小外接矩形围成的区域。l越大说明目标区域的轮廓越接近长条形，而刀具的轮廓通常接近于细长的条形。

3.2.2 矩形度

矩形度是进一步结合目标区域的边缘轮廓反映目标区域的形状信息。矩形度的计算公式为

r=aC/aR

。

其中：aC表示边缘轮廓围成的区域的面积，C表示边缘轮廓围成的区域；aR是其最小外接矩形围成区域的面积。r越大说明目标区域越相似于矩形，特别当r=1时，目标区域为矩形区域。

3.2.3 圆形度

圆形度反映了目标区域与圆形的相似度。圆形度的计算公式为

其中,pC是边缘轮廓的周长。当c=1时，说明目标区域为圆形区域。

3.2.4 尖角度

长宽比、矩形度和圆形度可以反映目标区域是近似长条形还是圆形。但仅有这些特征是不够的，例如棍棒类作案工具也属于长条形。刀具的典型形状特征是其通常具有锋利的刀尖，结合最小外接矩形计算目标区域尖角度的具体步骤如下。

步骤1处于目标区域边缘轮廓的M个像素的坐标组成集合E2M，其中像素的横、纵坐标分别构成集合的第一行及第二行元素。分别计算M个像素距最小外接矩形两条宽边的最短距离

其中：A、B和C是最小外接矩形宽边所在直线的一般式方程的系数；e1m和e1m分别表示E2M中第一行及第二行元素。将分别据两条宽边最小距离对应的两个像素点标记为尖点p1、p2，如图4所示。

图4 两个尖点像素图示

步骤2以任意尖点为坐标中心点，平行于最小外接矩形的长边及宽边方向为x轴及y轴建立二维坐标系。计算p1及p2对应的尖角度的过程类似，因此，以p1为坐标中心点且以计算p1对应的尖角度为例说明后续计算过程。

步骤3计算目标区域边缘轮廓的M个像素与尖点像素p1之间的欧式距离，将欧式距离小于50的N个像素的坐标组成集合F2N，像素点横、纵坐标分别构成集合的第一行元素f1n及第二行元素f2n，1≤n≤N。

步骤4根据p1的坐标值及F2N中的元素值判定p1点处尖角的开口朝向情况，共有如图5所示的6种情况。1)当f1n>0，且f2n正负值都存在时，尖角的开口朝向如图5(a)所示；2)当f1n>0，且f2n<0时，尖角的开口朝向如图5(b)所示；(3)当f1n>0，且f2n>0时，尖角的开口朝向如图5(c)所示；(4)当f1n<0，且f2n正负值都存在时，尖角的开口朝向如图5(d)所示；(5)当f1n<0，且f2n<0时，尖角的开口朝向如图5(e)所示；(6)当f1n<0，且f2n>0时，尖角的开口朝向如图5(f)所示。

步骤5根据尖角开口朝向，确定两个端点像素e1和e2。以图5(a)为例，e1和e2分别为最大f2n和最小f2n对应的像素点，其他开口朝向确定端点像素方法类似。分别计算e1和e2到p1的直线向量，做向量加法之后得到尖角的角平分线向量。

图5 尖角朝向的6种情况

步骤6根据角平分线向量将p1欧式距离小于50的N个像素分成两组像素集。分别使用最小二乘法对两组像素集拟合得到两条直线，得到两条直线的方向向量L1和L2。计算得到向量夹角的余旋值

cosθ=L1·L2/|L1||L2|

然后用反三角函数可求得p1点处对应的尖角度c1。

步骤7按照步骤3至步骤4的操作，得到p2点处对应的尖角度c2。比较c1与c2的大小并取其最小值为最终的尖角度c。

3.3 特征融合

对4个特征值进行l2范数归一化，将不同的特征取值映射到相同大小的值空间下。

设特征向量Gi=[gi,j|i∈(1,2,3,4),1≤j≤J]T,i为特征编号，j为训练样本序号，J为训练样本数目。将每个训练样本的特征值进行l2范数归一化，归一化的公式为

归一化后，将4个特征向量串联为J×4维的形状特征向量用于后续的支持向量机训练与识别。所得到的归一化向量为

G=[G1,G2,G3,G4]

。

4 实验与分析

在Matlab 2014a进行仿真实验。SVM的核函数选择常用且性能良好的径向基(radial basis function,RBF)核函数以及线性核函数,使用训练集图像训练得到SVM模型。

选取现勘图像数据库[18]中涵盖手、足、工、枪和特等5个大类的970幅现勘图像进行训练。其中指纹图像50幅，鞋印图像50幅，工具图像577幅(包括刀具图像260幅，锤子、斧头、棍棒图像317幅)，枪支图像100幅，特殊图像193幅(包括血迹图像50幅，犯罪嫌疑人皮肤及纹身图像82幅，其他图像61幅)。将现勘图像以近似7∶1的比例分配给训练集和测试集。训练集包括200幅刀具图像(正样本)和640幅其他现勘图像(负样本)。测试集包括60幅刀具图像(正样本)和70幅其他类现勘图像(负样本)，示例分别如图6和图7所示。测试集负样本中包括与刀具内容特性比较接近的锤子、斧头、棍棒图像56幅，其他类别图像14幅。

图6 正类图像

图7 负类图像

根据评价指标召回率、精准率、F1-score和准确率，分别将RCSIKI算法与HSV颜色直方图特征、Gabor小波纹理特征[19]、方向梯度直方图(histogram of oriented gradient,HOG)特征[20]、分层梯度方向直方图(pyramid histogram of oriented gradient,PHOG)特征[21]、Zernike不变矩[22]、Hu不变矩、HTD特征和EHD特征[7,8]及基于迁移学习的VGG16网络模型[23,24]等10种特征提取算法的性能进行比较，结果如表1所示。

由表1可以看出，基于HSV颜色直方图特征和基于Gabor小波纹理特征提取算法的性能最差，识别准确率最高只能分别达到30.77%和34.62%，进一步验证了颜色特征和纹理特征不适用于现勘刀具图像的识别。HOG特征、PHOG特征、Zernike不变矩和Hu不变矩对于现勘刀具图像的识别效率也不够理想，对应的最高识别准确率分别为56.92%，75.38%，58.83%，54.61%。另外，EHD特征和HTD特征虽然对于监控视频中的刀具识别比较有效，但对于现勘刀具图像的识别准确率并不是很高。使用微调之后的预训练VGG16网络模型提取的特征最高识别准确率达到了84.61%，其性能也没有表现的十分出色。而RCSIKI算法在使用线性核函数和RBF核函数时识别准确率分别能够达到93.07%和94.61%，性能明显优于其他特征提取算法。

表1 不同特征算法的性能比较

将构建的4个特征进行不同的组合，进行SVM训练与测试，进一步分析不同特征对于RCSIKI算法性能的贡献。特别地，因为矩形度与圆形度能够反映的信息近似，所以将这两个特征结合在一起进行测试，不同组合特征识别效果对比结果如表2所示。

表2 不同组合特征识别效果比较

如表2所示，长宽比、矩形度+圆形度、尖角度等3种组合特征识别准确率分别为75.38%、73.07%、61.53%。从单个特征角度看，长宽比可以获得更好的性能。在长宽比基础上添加尖角度，识别准确率可以提升13.08%。最后将所有特征融合，识别准确率达到最高的94.61%，表明针对刀具图像特点所提取的低层特征能有效表征刀具图像的内容。