基于改进LeNet-5的落足阶段步态特征自动分类方法研究

罗鑫，郭威，唐云祁

（中国人民公安大学侦查学院，北京100038）

0 引言

在人们行走运动过程中通常会留下足迹，足迹在犯罪现场有很高的发现率、提取率，能稳定且全面地反映出遗留人的行走姿态、体态特征等个人信息，这为分析案件性质、确定侦查方向提供了重要基础。立体足迹步态特征经过国内外学者多年的研究，已形成较为成熟的理论基础，为公安工作做出巨大贡献。然而，如今的公安工作繁重、基层警力匮乏，面对巨大的工作量及数据量[1]，传统的足迹检验技术已无法满足，卷积神经网络等机器学习不断发展，已成功应用于众多领域，将足迹检验与卷积神经网络相结合成为当今足迹检验的发展趋势。卷积神经网络通过卷积操作提取图像特征，实现了图像识别与分类的目的，并具有自学习和自适应的能力，在图像识别和分类领域取得很大成功[2]。卷积神经网络在公安工作领域常用来进行人脸自动识别[3]，将卷积神经网络运用在立体足迹落足阶段步态特征的自动分类，通过对用于手写数字识别的经典网络模型LeNet-5进行改进，实现落足阶段步态特征分类的准确性和自动性。

1 立体足迹步态特征理论

步态特征存在于单个立体足迹中，是人们在行走运动过程中，赤足或鞋等造痕体作用于地面等承痕体，形成的能够反映个人行走动作特征或体态特征的足迹特征[4]。步态特征分为：①主体特征，主体特征是指在正常的行走运动中每一次足底与地面接触必然要出现的特征；②伴生特征，伴生特征是指在足底与地面的接触过程中伴随着一定的主、客观条件而出现的特征，它不是必然出现的特征，当其他形成条件具备时就出现，形成条件不具备时就不出现。本文的研究对象为落足阶段的步态特征。

落足特征是指在行走运动的落足阶段，摆动足向前下方踩踏地面，并缓冲人体向前运动的惯性，在这一阶段所形成的足迹步法特征反映[5]。落足特征的主体特征为踏痕，伴生特征有擦痕、磕痕和推痕。踏痕人们行走在泥土、沙土等可塑性地面上必然会留下的痕迹，是摆动足的足跟部位撞击地面而形成的痕迹，此时摆动足的跟区以一定的速度和角度作用于地面，经过短暂的与地面的相对运动过程后完成能量的释放，形成痕迹，如图1（a）所示。踏痕位于足迹中跟区的后缘附近，由于不同的人行走习惯不同，踏痕有的在足迹中跟区后缘附近偏外的部位，有的在足迹中跟区的正后方，也有少数的出现在足迹中跟区的偏内侧。擦痕位于足迹跟后缘的后面，是由于落足较低在足跟或鞋跟与地面接触后，仍继续向前运动而在承痕体上形成的痕迹，如图1（b）所示。根据落足部位擦痕分为偏内擦、正擦、偏外擦。磕痕位于足迹跟后缘的后面，由于落足时臀肌和大腿后侧肌群用力，使足跟或鞋跟后边缘向后下方作用于承痕体而形成痕迹，如图1（c）所示。磕痕的反映是在足迹后缘有明显的堆土或喷土现象。根据落脚的部位不同，磕痕分为偏内磕、正磕、偏外磕。推痕位于足迹后跟的内侧，是由于落足时足跟落地后向内前方推挤在地面上留下的痕迹，如图1（d）所示。在立体足迹的后跟内侧有推土痕迹，正常人行走不会出现推痕，所以推痕是反映个人特点的较稳定的特征。

图1 落足阶段步态特征

2 基于改进LeNet-5的落足阶段步态特征自动分类

LeNet-5模型是为识别手写体数字而设计的[6]，其输入图像为归一化到大小为32×32的图像，C1、C3为卷积层，卷积核大小均为5×5，移动步长均为1；S2、S4为池化层，均采用最大池化（maxpool），池化窗口大小均为2×2，滑动窗口步长均为2；F6层是全连接层；最后一层是输出层。LeNet-5最初的用途是识别手写数字[7]，其特征较简单，而落足阶段的步态特征相比于手写体数字特征更复杂，因此适当增加网络层数，加入更多功能的网络结构，有利于进一步提高识别的准确率。LeNet-5网络中只有两个卷积层、两个池化层、两个全连接层并在倒数第二个全连接层后连有一个Re⁃LU激活函数，因此本实验在对LeNet-5的改进时增加了一个卷积层、一个池化层、一个全连接层以及激活函数层、归一化层和Dropout层。

改进后的网络结构包括三个卷积层、三个池化层和三个全连接层，并在每一个卷积层后连有激活函数层和归一化层，在前两个全连接层后连有激活函数层和Dropout层。卷积层的卷积核大小均为3×3、步长均为1；池化层均采用最大池化操作，池化窗口大小均为2×2、步长均为2；Dropout率均为0.5。在激活函数层方面，实验分别探究了ReLU激活函数和PReLU激活函数对自动分类的性能。ReLU函数其实是分段线性函数，所有的负值都变为0，正值不变，这种操作被称为单侧抑制。因为有了单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性[8]。稀疏激活性使神经网络能更好的提取具有区分性的特征，而忽视不具有区分性的特征，提高网络模型提取特征的性能[9]。PReLU为参数化线性修正函数，其可以自适应地从数据中学习参数，能够在几乎不增加计算量的情况下提高识别的准确率[10]。在归一化层方面，本实验分别探究了局部响应归一化（LRN）和批量归一化（BN）对自动分类的性能。局部响应归一化借鉴神经生物学上“侧抑制（lateral inhibitio）”概念，即被激活的神经元抑制相邻的神经元[11]。基于此，LRN实现了局部抑制，尤其在使用ReLU的时候，这种“侧抑制”很有效。批量归一化（BN）的实质属于预处理操作，即在卷积神经网络结构中，对其上一层的特征输出做归一化处理，之后作为下一层的输入。其优点在于可以有效的防止参数过拟合现象，加快神经网络的训练速度[12]。在Caffe环境中，BN层常与Scale层一起使用[13]，原因在于对归一化后的特征值进行比例缩放和位移则是由Scale层完成的，故在网络结构中的排列顺序通常为卷积层-BN层-Scale层-激活函数层。故本实验基于LeNet-5共设计了4种改进的网络结构，分别命名为Bttz1、Bttz2、Bttz3和Bttz4，其结构如图2所示。

3 实验及其结果分析

3.1 数据采集及数据库建立

在立体足迹的采集上，本实验使用的相机为Nikon D7200单镜头反光照相机，光照条件为室内灯光。首先请测试者穿着制式皮鞋在平整沙地上自然走过，在沙地上留下立体足迹。放置比例尺，使用单反相机，对留下的每一枚足迹进行拍照提取。然后使用工具平整沙地，再让其他测试者在沙地上走过。将收集到的足迹照片去除模糊、变形等低质量照片后，观察足迹的落足特征，按照踏痕、磕痕、擦痕、推痕分为四类，每类2000张，共8000张足迹照片。

图2 Bttz1、Bttz2、Bttz3、Bttz4网络结构图

为防止足迹其他部位对卷积神经网络自动分类的影响，本实验将每张足迹照片足跟部分落足阶段步态特征裁剪下来作为实验的数据集。利用Photoshop软件选取长300像素、宽为240像素的长方形选框，裁剪每一张足迹照片足跟处的痕迹部分。如图8所示，为四类立体足迹落足阶段步态特征照片。实验数据共8000张裁剪后的立体足迹落足阶段步态特征照片，其中训练集6500张，测试集1500张。

图3 裁剪后的落足阶段步态特征照片

3.2 实验坏境及参数设定

本实验中使用的处理器为Intel Core i7-7700HQ四核处理器，操作系统为64位的Win10系统，显卡为NVIDIA GTX1050Ti 4G GDDR5独立显卡。基于Caffe框架，并使用CUDA进行加速。实验的参数设定如表1所示。

表1 参数设定

3.3 实验结果及分析

本文模型的构造基于LeNet-5网络，训练集迭代500次测试一次准确率，最大迭代次数为10000次，即训练集测试20次准确率。测试集设置为测试50次。训练结果如图4所示，基于LeNet-5的落足阶段步态特征自动分类在迭代1500次时收敛，其训练集准确率为92%，损失函数为0.21；测试集准确率为92%，损失函数为0.14。

图4 LeNet-5训练准确率和损失函数曲线图

如图5所示，基于Bttz1的落足阶段步态特征自动分类在迭代1500次时收敛，其训练集准确率为96%，损失函数为0.10。测试集准确率为96%，损失函数为0.16。

图5 Bttz1训练准确率和损失函数曲线图

如图6所示，基于Bttz2的落足阶段步态特征自动分类在迭代1000次时收敛，其训练集准确率为97%，损失函数为0.12。测试集准确率为98%，损失函数为0.06。

图6 Bttz2训练准确率和损失函数曲线图

如图7所示，基于Bttz3的落足阶段步态特征自动分类在迭代500次时收敛，其训练集准确率为94%，损失函数为0.23。测试集准确率为94%，损失函数为0.26。

图7 Bttz3训练准确率和损失函数曲线图

如图8所示，基于Bttz4的落足阶段步态特征自动分类在迭代1000次时收敛，其训练集准确率为96%，损失函数为0.14。测试集准确率为96%，损失函数为0.16。

图8 Bttz4训练准确率和损失函数曲线图

实验在LeNet-5经典网络结构基础上进行改进，加入了一层卷积层、一层池化一层全连接层以及激活函数层、归一化层和Dropout层，其中激活函数层包括ReLU和PReLU、归一化层包括局部响应归一化（LRN）和批量归一化层（BN），共提出了四种网络结构，分别命名为Bttz1、Bttz2、Bttz3和Bttz4。表2罗列了LeNet-5和Bttz1、Bttz2、Bttz3、Bttz4对于立体足迹落足阶段步态特征自动分类的结果。

表2 实验结果汇总表

从表2可以得出，相比于LeNet-5，四种对于LeNet-5改进的网络结构用于立体足迹落足阶段步态特征自动分类都可以获得较高的准确率，其中加入了PReLU激活函数层和局部响应归一化层（LRN）的Bttz2网络的训练准确率可以达到97%，测试的准确率可以达到98%，较大地提高了网络的精度。同时，通过比较四种网络的实验结果可以得出，在选择激活函数上，PReLU比ReLU更有利于提高落足阶段步态特征自动分类的准确率；在选择归一化层上，局部响应归一化（LRN）比批量归一化（BN）更有利于提高落足阶段步态特征自动分类的准确率。

表3 各网络收敛时的迭代次数汇总表

表3 汇总了LeNet-5和四种改进网络在收敛时的迭代次数，相比于LeNet-5，Bttz2、Bttz3、Bttz4都加快了收敛速度，且Bttz3在迭代500次时就能够收敛，极大地提高了收敛速度，由此可得，ReLU激活函数层和批量归一化层（BN）能够有效地提高网络的收敛速度。

4 结语

建立立体足迹落足阶段步态特征数据集，在LeNet-5经典网络模型的基础上进行改进，增加一个卷积层、一个池化层和一个全连接层，并加入激活函数层、归一化层和Dropout层，共设计了四种网络结构，分别命名为Bttz1、Bttz2、Bttz3和Bttz4。实验结果表明：①四种网络都可以提高落足阶段步态特征自动分类训练和测试的准确率，其中Bttz2的准确率最高，训练集准确率达到97%，测试集准确率达到98%；②Bttz2、Bttz3和Bttz4三种网络结构能有效地加快网络的收敛速度，其中Bttz3的收敛速度最快，在迭代500次时就能收敛。同时，本实验还探究了激活函数（ReLU和PReLU）、归一化（局部响应归一化和批量归一化）对立体足迹落足阶段步态特征的影响，实验结果表明，PRe⁃LU比ReLU更有利于提高分类的效果，局部响应归一化（LRN）比批量归一化（BN）更有利于提高网络的收敛速度。

卷积神经网络具有快速性、自动性的特点，将其运用到公安工作中，可以有效地缓解公安人员工作压力。目前，在人脸识别领域，卷积神经网络已有很大的发展，随着计算机硬件功能的不断强大，网络结构的不断加深以及算法的不断更新换代，卷积神经网络技术会慢慢渗透到公安工作的各方面，在公安领域发挥越来越大的作用。