基于深度卷积神经网络的工具痕迹识别研究

杨 敏， 牟 丽， 付一鸣

(1.中南财经政法大学刑事司法学院， 湖北武汉 430073; 2.司法鉴定技术应用与社会治理学科创新基地， 湖北武汉 430073)

0 引言

工具痕迹常出现在不同类型的犯罪现场上，具有明显稳定、不容易被破坏和容易提取等特点，在提供侦查方向和线索以及法庭科学证据方面有着不可忽视的作用。一直以来，工具痕迹的检验鉴定主要依赖于检验人员的经验，无法对痕迹检验鉴定过程作定量描述，检验过程和结果缺乏稳定性和可靠性[1]。工具痕迹定量化检验是一个国际化问题，其检验结果的可靠性和稳定性是相关从业人员追求的目标[2]。国内外一些学者针对工具痕迹定量化、自动化检验技术做了较多有益研究。在这些研究中，其核心任务是痕迹特征的定量化表示[3]，然后使用传统的机器学习技术对定量化的痕迹特征进行学习和识别[4]。

近年来，基于深度卷积神经网络的深度学习技术在大规模图像分类、自然语言处理等领域的应用获得显著成果，引发了全球对基于深度学习的人工智能技术的研究热潮。深度卷积神经网络是从神经网络技术的基础上发展起来的，它具有比神经网络更多数量和更深程度的层，能够直接从数据中自动学习数据，不需要预先对数据进行特征规划。深度学习已超出神经网络的大脑的学习机制，而更多的是从信息论、概率论、线性代数和数值优化等领域获得灵感。

深度卷积神经网络对图像数据进行学习识别时，不必要做图像特征工程，直接把图像输入到网络，由网络对图像数据进行学习并提取图像特征，可以达到优秀的学习效果。从工具痕迹图像提取有效的特征表示是一件比较困难的工作，然而使用深度学习技术处理工具痕迹图像，可让深度学习的网络模型自动提取痕迹图像的特征并进行学习，不需要在学习之前预先设计特征提取算法提取痕迹图像特征，从而能够提升工作效率和降低工作难度。

本文利用迁移学习的思想，对深度卷积神经网络VGG16经典模型进行微调后对断线钳、钢丝钳和螺丝刀三类工具制作的2 800个样本进行学习和识别，获得较好的实验效果。

1 基于迁移学习的深度学习模型

一般来讲，深度学习的网络模型的层越“深”，即网络的层数越多，所需要的训练数据量就越大。小数据训练集不足以把深度学习网络训练得完全收敛，只有大数据训练集才能够训练好深度学习网络，使之具有较好的收敛性和泛化能力，如2012年获得ILSVRC比赛冠军的深度卷积神经网络模型AlexNet使用了ImageNet项目提供的1 500万张共22 000类的标注过的大图像数据集进行训练[5]。目前国内外，在工具痕迹检验鉴定研究和应用中，无法收集到如此大量的痕迹图像样本，已经标注的工具痕迹样本更是有限，即使通过数据增强方法如重复的K折验证也根本不足以驱动深度卷积网络的训练。一个经典的深度卷积网络被一个小数据训练集来训练，会产生严重的过拟合问题，因此，直接使用一个较小的工具痕迹数据集来训练一个深度学习网络是一件没有实际意义的工作。

在计算机视觉领域，对于不同的识别任务，深度卷积神经网络模型的底层学习都是相同的，因为在底层学习的都是泛化能力很强的低级语义特征如边缘和颜色信息。深度卷积神经网络不管是学习动物图像还是医疗影像，底层处理的特征都是一样的。也就是说，使用动物图像数据训练好的深度神经网络可以用来处理医疗影像，这种能力称为迁移学习[6]。因此，可以使用通过ImageNet数据集训练好的深度卷积神经网络模型对工具痕迹图像进行分类。

本文选择深度卷积神经网络VGG16经典模型，对该模型进行微调后再对工具痕迹图像数据集进行识别分类实验。VGG16是在AlexNet模型的基础上发展而来，在2014年的ILSVRC比赛中其学习能力和识别分类成绩表现优异。该模型由5个卷积块和3个全连接层构成，其中每个卷积块包含2～3个卷积层和一个最大池化层，而全连接层与AlexNet一致。VGG16模型所有的卷积核均为3×3的窗口尺寸，参数总量比AlexNet小很多，如此，通过减小卷积核尺寸大小和增加卷积层数量能够提取图像中更为抽象、精细的特征。

VGG16深度卷积网络是由巨大的训练数据样本训练完成，具有相当高的泛化能力，可以识别1 000个动物类别。为了能够让VGG16模型应用到工具痕迹，需要对该模型进行修改以适应当前的目标任务。VGG16模型识别1 000个类别时，其全连接层特别大，而使之应用到工具痕迹识别中，如需要识别10类工具，则需要对VGG16模型中的全连接层进行替换和修改，修改后的VGG16模型如图1所示。

图1 修改后的VGG16模型示意图

把VGG16模型应用到工具痕迹识别时，需要使用工具痕迹图像数据集训练修改后的VGG16模型。模型只修改了全连接层，因此训练修改后的模型只须训练全连接层，而卷积层不需要重新训练。因此，在训练修改后的模型时，务必对预训练好的卷积层进行冻结，以防破坏了VGG16之前学到的全部参数。本文处理工具痕迹图像的算法分两步：第一步使用预训练的VGG16卷积层提取具有很强泛化能力的工具痕迹特征；第二步训练新的全连接层，然后对同一类别不同个体的工具痕迹进行识别分类，以及对不同类别不同个体的工具痕迹进行识别分类。

2 材料与方法

2.1 工具痕迹样本制作

选择10个没使用过的刀口宽为6 mm的同型螺丝刀、刃口长25 mm的同型钢丝钳和8个刃口长30 mm的同型断线钳作为实验工具(如图2)。铅是一种延展性好、硬度低的金属材料，对工具痕迹特征具有较好的反映性，在实验中常用来作为制作工具痕迹的承痕客体。本文选用铅片和直径为5 mm的铅丝作为制作痕迹的实验客体材料。

图2 3种实验工具

在自制的螺丝刀线条痕迹制作装置(如图3)上完成螺丝刀线条痕迹样本制作。螺丝刀固定在装置的夹具上，可以通过装置调节螺丝刀口与铅片之间的距离和接触角度，所有螺丝刀制作痕迹样本时的接触前角设定为45度。每个螺丝刀制作100个痕迹样本，10个螺丝刀共制作1 000个样本。在自制的剪切痕迹制作定位装置(如图4)上完成钢丝钳剪切痕迹样本制作，钢丝钳的剪切刃口位置由装置进行精确定位。每个钢丝钳制作100个痕迹样本，十个钢丝钳共制作1 000个样本。断线钳具有2级杠杆结构，在制作痕迹样本时，其刃口在2级杠杆带动下产生位移，会造成剪切刃定位误差，实验中刃口剪切位置定位精度误差在1.5 mm以内。每个断线钳制作100个痕迹样本，8个断线钳共制作800个样本。所有制作的剪切痕迹样本中，选择同个刃侧面对应的剪切坡面作为实验痕迹样本。

图3 自制的痕迹制作装置

图4 自制的剪切痕迹制作定位装置

2.2 痕迹图像采集

所有实验痕迹样本由一位经验丰富的痕迹检验人员使用视频显微镜进行2D图像数据采集。图像采集的放大倍率为15倍，分辨率为1 024×768像素，光源的强度和照射角度无特别要求，只需保证采集的图像清晰即可。

使用 Photoshop CS5对采集的图像进行裁切。对于螺丝刀线条痕迹，靠近痕迹起始部位沿着痕迹整个宽度方向裁切图像，把裁切的图像保存大小为250×720(像素)；对于剪切痕迹，只保留痕迹半圆形坡面区域，把裁切的图像保存大小为250×720 (像素)。裁切的图像均按照工具类型和类别进行标记，保存到实验数据集。

3 实验与结果

上文所述的螺丝刀、钢丝钳和断线钳制作的痕迹所构建的实验数据集大小的70%作为训练数据集，30%作为交叉验证数据集。使用微调后的VGG16模型在训练数据集上进行训练学习，再使用训练后的模型对交叉验证数据集进行痕迹识别。在训练中，设置批量梯度下降参数batch_size=20，对于单个类别工具的数据集完整训练一个轮次(epoch)需要35次迭代，共完成50个轮次的计算。螺丝刀线条痕迹、钢丝钳剪切痕迹和断线钳剪切痕迹数据集的训练和验证测试的准确率曲线分别如图5～图7所示，三类工具痕迹综合数据集的训练和验证测试准确率曲线如图8所示。4个实验(4个数据集)的验证测试最大识别准确率如表1所示。

图5 螺丝刀线条痕迹数据集的识别率

图6 钢丝钳剪切痕迹数据集的识别率

图7 断线钳剪切痕迹数据集的识别率

图8 3种工具痕迹综合数据集的识别率

表1 4个数据集上的最大识别率

从图5～图8的训练和测试曲线可看出，训练集的曲线在收敛域中的识别准确率比较高，说明微调后的VGG16模型在数据集上欠拟合风险小，验证集的曲线整体处于训练曲线之上，验证集的识别准确率高于训练集，说明模型的泛化性好，过拟合风险小。

4 讨论

从实验结果可知，本文方法对螺丝刀线条痕迹的最大识别准确率为98.6%，对钢丝钳剪切痕迹的最大识别准确率为99.6%，对断线钳剪切痕迹的最大识别准确率为88.3%。螺丝刀线条痕迹和钢丝钳剪切痕迹的识别准确率均达到98%以上，而断线钳剪切痕迹的识别准确率不足90%，说明工具痕迹制作时的定位误差对痕迹特征变化有一定影响。螺丝刀和钢丝钳在制作痕迹样本时都由装置固定和精确定位，所有制作的样本均由工具的同一部位制作形成，制作的样本痕迹具有较高的一致性。断线钳制作痕迹时没有使用定位装置，其二级杠杆结构在痕迹制作时给工具定位带来一定误差，制作的样本痕迹具有较差的一致性。本方法对螺丝刀线条痕迹、钢丝钳剪切痕迹和断线钳剪切痕迹综合数据集的最大识别准确率为95.5%，该实验效果相比较单独的螺丝刀痕迹和钢丝钳痕迹分类实验的效果略差，但远远好于断线钳痕迹的实验效果，这说明3种痕迹的类间差别较大具有可分性。

本文使用了与文献[4]相同的实验数据集，但本文方法的实验结果总体好于文献[4]的实验结果，可见深度卷积神经网络模型的识别能力更强且不需要做特征工程。

5 结论

本文运用了迁移学习的思想，对深度卷积神经网络VGG16经典模型进行微调后，用于工具痕迹的比对检验。完成了2 000个精确定位条件下制作的螺丝刀线条痕迹和钢丝钳剪切痕迹以及800个非精确定位条件下制作的断线钳剪切痕迹数据集的4组实验。实验结果表明，本方法对工具精确定位条件下形成的线条痕迹(螺丝刀线条痕迹)和类线条痕迹(钢丝钳剪切痕迹)，均有较好的识别能力，对具有一定定位误差的痕迹(断线钳剪切痕迹)也有不错的识别效果。使用深度卷积神经网络对数据进行识别分类的最显著的优点即不必对痕迹数据做特征工程，对痕迹图像数据采集时的光照条件要求也不高。本方法对工具痕迹定量化检验鉴定具有一定借鉴意义，要想将其应用到实际工作中，还需要使用更大的工具痕迹数据集对深度卷积神经网络模型进行训练，降低模型的过拟合风险和增强其泛化能力。