联合足迹识别与监控视频分析的智能刑侦系统

2020-11-07陶一宁苏峰袁培江王田苗钟涛郝静如

北京航空航天大学学报 2020年9期

陶一宁，苏峰，袁培江，*，王田苗，钟涛，郝静如

（1.北京航空航天大学机械工程及自动化学院，北京 100083；2.北京市公安局刑事侦查总队，北京 100006）

随着科技的发展，犯罪活动智能化、系列化、团伙化的趋势逐渐出现，作案人员反侦察能力越来越强，刻意破坏现场的情况时有发生，被称为“证据之王”的指纹在犯罪现场中提取获得的难度显著提高，而在犯罪现场提取到的作案人员所留足迹越来越多，世界各国的刑侦机关都非常重视对犯罪现场遗留足迹的研究与利用［1］。

足迹是在犯罪现场上遗留率最髙的一类痕迹，所以足迹检验技术是现代刑事技术领域中重要的组成部分。因为每个人的身高、体重、职业、习惯都不一样，所以每个人的步态持征也不相同；步态特征是经过长期习惯后形成的，所以由步态特征形成的足迹具有相对的稳定性。此外，足迹具有一定的指向性，通过对足迹的分析检验可以推测一个人的身高、体重、年龄、走路姿态等，也可以分析遗留时间、作案路线等，充分利用足迹信息可以实现快速高效地定位嫌疑人。

除犯罪现场以外，周边的监控视频对于刑侦破案也起着至关重要的作用。视频监控是公共安全的重要基础设施，基于深度学习的监控视频分析技术在维护社会安定和打击违法犯罪等方面已经取得了长足的进步，并在很多地区得到了落地应用。在刑侦破案方面，将犯罪现场的足迹信息与周边监控视频中的信息进行联合分析，能够大幅提升破案的效率，形成高效准确的侦查体系，对未来基层民警在相关犯罪现场的刑侦鉴定和破案追凶中起到积极作用。目前在刑侦破案过程中使用的足迹特征识别以及视频图像处理技术存在以下问题：①足迹识别主要依赖经验，缺乏稳定的可推广到基层的智能分析系统；②缺乏根据犯罪现场足迹信息和周边监控视频信息进行目标关联的方法和研究。

为解决这些问题，本文提出了一种联合足迹识别与监控视频分析的智能刑侦系统，该系统基于深度学习方法根据足迹信息准确预测嫌疑人个人特征，同时联合周边监控视频大数据进行智能筛选，迅速缩减刑侦排查范围，提高系统可靠性和实用程度。

本文创新点如下：

1）通过足迹信息预测嫌疑人个人特点，主要是身高信息。

2）从监控视频中识别行人的个人特点，并与足迹识别结果匹配，实现刑侦筛查。

1 相关工作

1.1 国内外研究现状

由于足迹特征与人体行为特征的关系十分密切，各国都非常重视对于足迹的研究和利用。西澳大利亚大学的Ishak［2-3］、Hemy［4］等提出根据足迹和人体测量学推断性别的理论方法，并基于澳洲西部的人口进行了测试。英国学者Reel等［5］对二维足迹测量可靠性的方法进行了研究。印度学者Krishan［6］针对北印度地区内的人口足迹，进行了足迹个人特征方面的探索。印度学者Moorthy等［7］针对印度泰米尔地区人口足迹，对足迹测量推测身髙的可行性进行了验证［7］。比利时RSscan International公司研制了Footscan足迹压力测量分析系统［8］，主要针对立体足迹的压力面测量和分析。

而中国是从1960年左右开始对足迹信息预测个人特征的相关技术进行研究，当时公安部组织进行相关方向研究的专家学者［9］对内蒙古自治区步法跟踪专家马玉林的丰富足迹鉴定经验进行了讨论和学习，总结了步法跟踪理论，扩大了足迹检验的应用范围。在此之后，苗春青、葛有忠根据马玉林的研究基础，进一步提出了“单足迹步法检验”［10］。此方法使用角度描述足迹起落脚特征，然后进行定量分析，以单足迹的起落脚角度为基础进行计算并推断另一对应足迹的起落脚角度，从而认识成趟足迹。最后结合足迹反映出的特征，分析犯罪嫌疑人的个人习惯和关键信息，并对个体的身份做同一认定。河北省雄县公安局刘树权等［11］提出了一种足迹动力形态检验方法，该方法使用正交设计将影响人体行走特征的主要因素提取出来，由此确认相应的特征量，然后进行分析处理，获取关键参数，实现足迹检验。河南周口市公安局与解放军信息工程大学等单位联合研制了“立体足迹计算机自动识别系统”［12］，利用足迹高程测量仪采集足迹特征数据，通过计算机进行三维曲面拟合与造型，对比现场足迹和嫌疑人足迹的相似度来综合鉴定足迹同一性。山东科技大学的闫旭琴［13］设计的足迹对比系统采用二维图像对比足迹图像中的纹理特征，但实际操作时采集的足迹样本信息往往并不完整。王永栋等［14］研发的“基于重压面形状的立体足迹造型与识别系统”，该系统对立体足迹的基准面选取和变化比较敏感。蒋晓玲［15］、董菲菲［16］研发和设计了“足迹三维比对系统”，通过对足迹纹理立体信息分析，进行足迹相似度比对，该方法虽然能够更客观地反映足迹的信息，但是对足迹特征参数的提取不够明显。

1.2 卷积神经网络

卷积神经网络是一种高使用率的深度学习结构，其组成包括输入层、卷积层、池化层、全连接层以及输出层。

卷积层使用多个卷积核对输入图像进行特征提取，获得特征图。卷积层为了表达复杂特征，还包含激励函数，通常选择线性整流函数，可以在不改变卷积层的前提下，增强神经网络整体的非线性特性。池化层位于卷积层之后，输入图像通过卷积层提取出特征图，然后需要通过池化层进行特征选择和信息过滤。目前使用较多的池化函数是最大池化函数，有效缩减参数的数量和计算量，控制过拟合的出现，还可以降低卷积层对边缘的敏感性。全连接层一般位于输出层之前，其作用是对卷积层和池化层提取出的特征进行非线性组合，从而得到输出结果。

卷积神经网络相比于其他前馈神经网络，需要考量更少的参数，且输出结果表现良好，所以广泛应用于图像处理和语音识别领域，是深度学习的代表算法之一。

1.3 大数据分析

当前时代是一个信息爆炸的时代，为了处理海量的信息数据，大数据分析技术在各个行业的使用频率不断增加。

大数据是指大量的复杂的巨型数据集，远远超出传统数据处理技术的能力范围，为了处理这些数据集，大数据分析方法应运而生。大数据分析方法包括可视化分析、数据挖掘算法、预测性分析能力以及数据质量和数据管理等。可视化分析是将数据可视化，更加直观地展示数据，确保用户更高效地获取数据信息。数据挖掘算法，包括集群、分割、孤立点分析等算法，可以更细致地分析数据，挖掘更多有效信息。预测性分析能力是在现有数据分析结果的基础上进行预测性判断。数据质量和数据处理是指为了得到高质量分析结果，需要在数据处理时使用高质量的标准化流程和工具。

2 基于足迹识别和监控视频的刑侦系统

2.1 系统技术路线

本文系统以足迹识别为基础，结合监控视频大数据分析和虚拟现实仿真技术，在刑侦过程中实现智能快速破案，过程如图1所示。

图1 基于深度学习的足迹识别技术路线Fig.1 Footprint recognition technology route based on deep learning

足迹特征中包含静态特征和动态特征，由此提取关键信息，分析嫌疑人个人特点；运用大数据分析技术处理周边监控视频，案发现场周边视频中含有大量数据资料，利用大数据技术可以快速处理其中的信息，分析预测视频中行人的个人特点；虚拟现实仿真技术运用于足部压力和鞋底受力分析有限元模型，利用模型获得各种复杂场景下的仿真足迹。

运用大规模针对复杂对象的哈希方法，将足迹特征、监控大数据和足迹仿真有机结合起来。三大模块相互交融，相互印证，有利于快速筛选刑侦对象，缩小排查范围，并辅助进行嫌疑人身份认定。本文主要研究了足迹特征模块和监控大数据模块。

2.2 足迹识别预测个人特征

足迹特征是地面、鞋和嫌疑人三者中多个因素相互作用的结果，犯罪现场以及实验环境下采样的足迹图像如图2所示。该系统使用深度学习模型确定足迹特征与嫌疑人个人特点之间的映射关系。因为足迹特征的波动往往较大，利用深度学习技术训练的卷积神经网络进行预测，具有很强的容错性，可以有效提高预测结果准确性；而且与传统预测方法相比，使用深度学习方法实现足迹识别能够完善足迹学理论。现有的足迹特征分析方法只是计算人为选择的一些特征值，如静态的鞋印长度、宽度和动态的步长、步角等，这些特征往往难以捕捉到完备的足迹信息；深度学习是特征无关的分析方法，能够更好地捕捉到足迹动态特征。神经网络通过将低维的足迹特征转化成更高维的状态向量，更容易完成足迹与个人特点之间的映射。由此建立基于深度卷积神经网络的身高预测模型，配合图像增广技术，在保证模型准确率和泛化能力的前提下进行预测。本文选择使用的卷积神经网络是VGG-16图像分类网络。VGG-16结构去除池化层与回归层以后包含16个隐藏层，即13个卷积层和3个全连接层。VGG-16采用连续的多个3×3的卷积核代替较大的卷积核，增加网络深度，提高神经网络的效果，而且代价小，参数更少。整个网络使用的都是3×3的卷积核和2×2的最大池化尺寸，结构非常简洁。

图2 足迹图像采样Fig.2 Sampling of shoeprints

此外，通过虚拟现实仿真技术，建立足部压力和鞋底受力分析有限元模型；在犯罪现场采集地面相关参数，如地面硬度、弹性、时间周期等，并设置嫌疑人的相关参数，如体重、身高、脚型等；结合有限元模型，得到仿真足迹；对比仿真足迹和实际采样足迹之间的差异，优化嫌疑人相关预测参数，得到与采样足迹最匹配的仿真足迹，从而锁定嫌疑人的身高、体重等个人特点。

2.3 监控视频预测个人特征

提取足迹特征之后，使用深度学习技术训练卷积神经网络，使其利用计算机视觉从周边监控视频中提取行人的个人特点，预测个人特征，并建立人像图片库。

利用监控视频预测行人特征，首先需要进行图像预处理，使用高斯滤波进行图像去噪，提高目标提取效果。其次使用前景提取算法进行运动行人的提取，减少视频中其他物体产生的干扰。目前使用较多的前景提取方法包括帧差法、平均法、高斯建模法等，考虑到视频图像处理速度快，算法操作简洁的特点，本文选择使用帧差法，该方法是将相邻帧图像做差运算，得到运动物体的大致轮廓，可以快速获得计算结果。最后进行行人的个人特征预测，本文系统着重于行人身高信息的预测。现有的通过监控视频获取人体身高信息的测量方法主要包括2种：未标定测量和标定测量［17］。标定测量获得的结果精度很高，但是测量过程需要高精度的特殊标定块，以此获得监控拍摄的畸变系数，过程十分繁锁，需要耗费大量的时间。未标定测量精度稍差，但更加灵活，成本更低，不需要借助标定块，会主动根据拍摄场景中存在的实际固定物体（比如垃圾桶、消防栓等）或运动物体（比如车辆等）本身的结构化信息进行测量。本文系统选择使用未标定测量方法，根据透视学原理，以下测量公式成立：

式中：h1为实际行人身高；h2为视频图像中行人身高；l1为实际物体尺寸信息；l2为视频图像中物体尺寸信息。

利用数据集训练卷积神经网络，使其能够识别常见物体的长度、高度信息，比如各种车辆、消防栓、楼层高度、垃圾桶等。而后利用上述原理进行行人身高预测。

将监控视频中提取出的行人的个人特点与从犯罪现场足迹信息中获得的嫌疑人个人特点进行联合分析，进一步确定嫌疑人关键信息，从而快速筛选刑侦对象，缩小刑侦排查的范围。

3 实验过程与结果分析

3.1 足迹图像数据集建立

对每一例数据集，收集鞋印信息和对应的身高信息。如图3所示，将筛选出的2350张清晰图片，从75 pixel/cm下采样至5 pixel/cm，降低数据维度。然后进行归一化处理（见图4），去除标度尺，将鞋印居中，统一图像尺寸为256×128 dpi，并增广30倍（见图5）。对数据中的所有身高信息做统计分析，身高分布结果如图6所示。从所有足迹图像中，随机选择261张图像作为测试数据集，测试数据集约占数据总量的1/9，测试数据集中鞋印长度和身高信息的对应关系如图7所示。

图3 降低数据维度过程Fig.3 Data dimension reduction process

图4 归一化处理结果Fig.4 Results after normalization

图5 增广30倍结果Fig.5 Results after augmented 30 times

图6 所有数据中身高的分布Fig.6 Distribution of height in dataset

图7 测试数据中身高与鞋印长度的关系Fig.7 Correlation between height and length of shoeprint in test data

3.2 足迹识别预测身高

目前刑侦机关利用足迹长度预测身高主要依靠经验公式，预测结果与实际身高差值集中于10～20 cm。该方法误差大，准确性低，在嫌疑人身份确认的主要特征数据提取方面尚存缺陷，对于实际刑侦工作帮助十分有限。

为解决上述问题，本文采用卷积神经网络技术建立足迹识别系统。该系统考虑到同一待测人员穿戴不同鞋型时，鞋的结构变化会使得足迹图像发生变动，改变图像参数。所以加入不同鞋型的选项，减小误差。为了提高预测结果的准确性和泛用性，加入数据增广选项，开启后会对输入的足迹图像进行平移和旋转的变换实现增广30倍。

系统界面如图8所示，打开足迹图像后，原始图像显示于左侧窗口；设置分辨率，进行图像预处理，处理后的足迹图像在右侧窗口显示；而后选择是否区分鞋型和是否增广，点击“预测”按钮即可输出身高预测结果。

图8 各种处理条件下的预测结果Fig.8 Prediction results under various processing conditions

由图8所示结果可以发现，图像分辨率的改变对身高预测影响为0～1 cm，是否增广与鞋型变动对身高预测值的改变约为1～3 cm。

3.3 足迹识别性能分析

本文设计的足迹识别系统在不同条件下的误差范围如图9所示。可以发现随着误差阈值的提高，模型准确率增长趋于平缓，在误差阈值为8 cm时可以满足准确率大于80%。模型对于身高160～180 cm之间的数据预测准确性高，可以保证90%的预测结果误差值在10 cm以下，且对身高170 cm左右的数据预测结果最稳定，误差值更小；而身高低于160 cm和高于180 cm的数据预测性一般，误差值集中在10～20 cm。

图9 模型拟合结果、准确率和误差Fig.9 Model fitting results，accuracy and deviation

比较训练误差和验证误差可得，相同误差阈值下，训练准确性稍高于测试准确性；测试误差值相比于训练误差值更加集中于0～8 cm，误差值为10～20 cm的测试结果明显减少。

经验公式和最小二乘法对于数据的预测结果如图10所示。两者预测准确率随误差阈值上升而增加；预测结果误差值集中于0～10 cm。

图10 线性拟合结果、准确率和误差Fig.10 Linear fitting results，accuracy and deviation

最小二乘法拟合得到的直线（y=2.14x+114）斜率为2.14，相比于直线（y=7x-11.33）斜率为7的经验公式，更加贴合数据分布，误差有所降低。

比较足迹识别模型、经验公式和最小二乘法预测结果的准确率，得到如表1所示结果。从表1中可以看出，本文提出的足迹识别系统对于身高的预测准确率在3种方法中位居首位，与传统经验公式预测方法相比，可信度大幅提升。

表1 三种方法预测结果准确率Table 1 Accuracy of three m ethods for predicting results

3.4 足迹和监控身高预测联合筛查

利用卷积神经网络进行足迹识别预测，得到嫌疑人的身高特点，首先以此为基础，比对周边视频监控分析处理结果，筛查出具有相似身高特点的行人；其次以监控中筛查出的重点嫌疑人的个人特点为基础，最后确定足迹预测身高特点的准确性和可靠性，并进行修正（见图11）。经过实验验证，确定了两者结合进行刑侦筛查的可行性。在将来实际使用中，两者可以相互印证，缩小可疑目标范围，协助刑侦工作高效准确进行。