基于鞋印图像的性别预测方法

张 涛，朱振东，王 慧，刘禹辰，王新年

（1.辽宁师范大学 物理与电子技术学院，辽宁 大连 116029；2.大连海事大学 信息科学技术学院，辽宁 大连 116026）

0 概述

性别信息可以有效缩小嫌疑人范围，对刑事案件的侦破起着至关重要的作用。性别预测方法主要包括基于人脸的性别预测、基于步态的性别预测和基于鞋印的性别预测。在基于人脸的性别预测方法中，通过多人脸区域融合［1］、空域与时域结合［2］、高斯差分空间提取多尺度局部二值特征［3］，具有较优的预测效果，但缺点是对于人脸图像的质量和拍摄角度有一定要求。基于步态的性别预测方法具有隐蔽性强、可远距离捕捉的优点［4］，在预测过程中无需被观察对象配合，以适用于大流量人群场景或远距离场景。其中，步态主成分图像［5］、形态学运算［4］和步态能量图像投影模型［6］等方法取得了较优的性别预测效果。尽管基于人脸或步态的性别预测方法取得了较优的预测效果，但是在刑事案件中，大多数嫌疑人是蓄谋作案。现有预测方法难以通过监控系统获得完整有效的人脸信息和步态信息，而在案发现场，鞋印的遗留率却非常高。因此，基于鞋印的性别预测对于案件侦破有着重要作用。

在刑事侦查过程中，刑侦人员通过现场遗留鞋印、脚印或遗留鞋样进行性别预测，主要方法有特征分析法和参数预测法。

特征分析法是基于刑侦专家多年积累的案件经验根据特征差异进行性别预测，特征差异主要包括静态特征差异和动态特征差异［7-8］。其中静态特征差异是指男性足长足弓高、鞋较宽大、鞋底花纹较深，而女性足小足弓低、鞋较短小、鞋底花纹细浅且无花纹较多，动态特征差异是指男性行走时偏外落足偏内起足或正起足的比例大，步长大、步角大、步宽窄、重心高，在行走过程中遗留痕迹较重且不均匀，常出现挖、蹬动作痕迹，脚前掌和脚后跟压力大。女性行走时正落足正起足的比例远高于男性，部分女性会出现偏内落足、偏外起足的现象，步长较短、步角较小、步宽较宽、重心较低，在行走过程中遗留痕迹较轻且均匀，不出现挖、蹬动作痕迹，脚前掌和脚后跟压力较轻且程度均匀。虽然男女脚印和鞋印在结构特征和运动特征上有所区别，但是根据这些特征差异准确地预测性别，需要大量的领域知识和多年的破案经验。

参数预测法是根据现场测量的鞋印或脚印的长、宽等相关参数进行回归预测。文献［9］使用Logistic 回归分析对足部测量数据（足长、足宽）进行性别预测，右足判断准确率为95.6%，左足判断准确率为96.4%。文献［10］对足部测量数据和鞋测量数据（鞋长、鞋宽）进行回归分析，发现足长鞋长比足宽鞋宽对于性别预测更有帮助。文献［11］利用由鞋测量数据（鞋长、鞋宽）、鞋码和足长组成的四变量模型进行性别预测，准确率为96%。文献［12］提出根据脚印测量数据进行性别预测，从脚印提取7 个维度的特征，包括每个脚趾前点到后跟中点长度、脚底宽度和脚跟宽度，使用判别函数分析，性别预测准确率为69.8%～80.3%。文献［13］将足部和脚印测量数据作为特征，交叉验证的性别预测准确率为71%～91%，为西澳大利亚人群的性别预测提供了可行方案。文献［14］提出足部指数结合足长、足宽进行性别预测的方法，使用多元回归模型取得了84%的性别预测准确率。文献［15］使用分类和回归树（Classification And Regression Tree，CART）算法对足部测量数据和手部测量数据进行性别预测，最优模型的性别预测准确率为95.83%。文献［16］在提取鞋长、鞋宽和鞋码特征的基础上引入步长特征，使用多元线性回归算法得到的性别预测准确率为93.5%。上述方法不仅需要人工提取特征、依赖领域知识，而且在参数测量时可能产生误差，影响预测结果。文献［17］将深度学习方法引入到足迹分析领域中，使用AlexNet 卷积神经网络对赤足图像的性别进行预测，准确率为92.2%，但仅对赤足图像进行简单预处理，存在样本比例不均衡、预测准确率较低的问题。

本文提出一种基于注意力机制的性别预测方法，实现对鞋印图像特征的自动提取。构建基于注意力机制和卷积神经网络的性别预测网络，主要包括特征提取模块、通道注意力模块和性别预测模块。根据男性与女性之间的特征差异，采用合成鞋印步态能量图表达被采集者的运动特征，通过旋转、翻转、随机遮挡和随机弹性形变的方式对鞋印图像数据集进行增广，提高模型预测准确率和泛化能力。

1 数据集与预处理

目前尚没有公开的用于人身属性预估的鞋印图像数据集，为了验证所提算法的有效性，本文分别构建单枚鞋印图像数据集（SiSIS）和序列鞋印图像数据集（SeSIS）。

SiSIS 共包含5 652 幅单枚鞋印图像。在采集鞋印时，男志愿者1 157 人，女志愿者256 人。为保证鞋印花纹的随机性和数据集的丰富性，每位志愿者各穿自己具有两种花纹的鞋，每种花纹左右脚各踩一枚鞋印，男性和女性鞋印图像分别为4 628 幅和1 024 幅。

SeSIS 共包含686 幅序列鞋印图像。男志愿者28 人，提供序列鞋印图像484 幅，女志愿者10 人，提供序列鞋印图像202 幅。为避免因花纹不同所产生特异性对实验造成的影响，所有志愿者均穿统一提供的新鞋，每人至少穿8 类花纹鞋进行鞋印采集。

1.1 鞋印步态能量图

受承痕体材质、随机干扰等因素的影响，在人走路时的每幅鞋印都存在差异。为提取稳定的特征，本文采用加权平均的方法合成鞋印步态能量图［18］（Tread Energy Map，TEM）。以左右脚为依据划分左右步态能量图，左步态能量图（LTEM）和右步态能量图（RTEM）的计算如式（1）和式（2）所示：

其中：T表示参与运算的行走周期数；t表示行走周期；TL（x，y，t）表示标准化后的第t个行走周期内的左鞋印图像，标准化是指对从鞋印序列中截取包含单枚鞋印的矩形区域进行补零，将单枚鞋印图像标准化到相同大小；w（TL（x，y，t））表示其对应的权重系数；TR（x，y，t）表示标准化后的第t个行走周期内的右鞋印图像；w（TR（x，y，t））表示其对应的权重系数。

为降低鞋印残缺和外来噪声对能量图的影响，本文在计算过程中对权重系数做出限制：若鞋印图像中的一点在t时刻的灰度值极小或极大，则该时刻的灰度值不参与计算。以w（TR（x，y，t））为例给出权重系数的定义，如式（3）和式（4）所示：

其中：thR（α，x，y）和thH（α，x，y）分别表示对［TR（x，y，t），t=1，2，…，T］进行升序排列，取排在第α位和第T-α位对应的值。w（TL（x，y，t））采用相同的方法计算。图1 所示为不同人穿两种相同鞋底花纹鞋行走得到的左右步态能量图（为便于观看，对鞋印图像进行了反向），对比被采集者A 和被采集者B 的步态能量图。从图1 可以看出：不同人行走得到的步态能量图有所差异，而同一人穿不同鞋底花纹鞋行走得到的能量图相对稳定，明显区别于其他人。

图1 不同被采集者的左右步态能量图Fig.1 Left and right tread energy maps among different gatherers

1.2 数据增广

由于采集的鞋印图像较少，因此为了避免网络过拟合，同时提升模型的泛化能力，本文根据案发现场鞋印可能出现的情形设计3 种数据增广方式。

1.2.1 鞋印方向差异

本文主要模拟因行走方向和习惯差异造成的鞋印差别。设输入图像为I，对其进行方向差异增广的操作包括以下2 个：

1）对图像I旋转180°得到图像Ir，相当于案发现场遗留的同侧脚从相反方向行走得到鞋印图像，如式（5）所示：

2）对图像I和图像Ir进行180°水平翻转，得到翻转后的图像If和Irf，相当于案发现场遗留的异侧脚从相同方向行走得到的鞋印图像，如式（6）和式（7）所示：

经以上操作，鞋印图像数量扩增为原图像数量的4 倍，原图像与旋转、翻转后的图像如图2 所示。

图2 原图像与旋转、翻转增广后的图像Fig.2 The original image and the augmented images after rotation and flip

1.2.2 鞋印残缺

本文主要模拟因承痕体和外界因素造成的鞋印残缺。设输入图像I、Ir、If和Irf，对其进行模拟残缺增广的操作包括：使用固定图形进行随机遮挡，即在鞋印图像中随机生成10 个大小为400×20 像素且像素值为0 的矩形块，再将鞋印划分为3 部分，分别在每部分中随机生成10 个大小为50×50 像素且像素值为0 的矩形块和10 个半径为30 像素且像素值为0 的圆形，生成遮挡后的鞋印图像Ie、Ire、Ife和Irfe，相当于案发现场因承痕体不均匀、外力破坏和现场保护不到位等原因导致鞋印图像残缺破损。使用固定图形随机遮挡后，图像数量扩大为原图像的8 倍，随机遮挡后的图像如图3 所示。

图3 随机遮挡后的图像Fig.3 Images after random occlusions

1.2.3 承痕体材质与非均匀性对鞋印图像的影响

本文主要模拟因泥地、雪地等承痕体形变造成的鞋印差异。设输入图像I、Ir、If和Irf，对其进行承痕体形变增广的操作包括：将图像分割为M×N个相同区域，每个区域大小为20×20 像素，随机生成Δx和Δy2 个平移矩阵；根据平移矩阵对各区域进行平移变换，得到随机弹性形变的鞋印图像，计算过程如式（8）～式（10）所示：

其中：rand（M，N）表示生成大小为M×N元素值在［-1，1］之间的随机均匀分布的矩阵；Xmax和Ymax分别表示x和y方向的最大位移量；（i，j）表示点（x，y）所在区域对应的块编号；Δx（i，j）表示点（x，y）所在区域对应的x方向随机位移量；Δy（i，j）表示点（x，y）所在区域对应的y方向随机位移量；f（x，y）表示输入图像I、Ir、If和Irf；g（x，y）表示随机弹性形变后的鞋印图像Id、Ird、Ifd和Irfd。本文模拟承痕体形变后，鞋印图像数量扩大为原图像的16倍，其中部分示例如图4 所示。

图4 随机弹性形变后的图像Fig.4 Images after random elastic distortions

本文分别对图像进行旋转、翻转操作，模拟了同侧脚从相反方向行走的遗留鞋印和异侧脚从相同方向行走的遗留鞋印，使用固定图形对鞋印图像进行随机遮挡，模拟了在案发现场中鞋印被部分破坏的情况，对鞋印图像进行随机弹性形变，模拟了承痕体材质与非均匀性对鞋印图像的影响。本文在训练集中加入这部分数据，提升了模型的鲁棒性并扩大了实践中的适用性。

2 本文方法

本文提出的网络由特征提取模块、通道注意力模块和性别预测模块组成。本文网络的参数设置如表1 所示。

表1 本文网络参数设置Table 1 Parameter settings of the proposed network

本文网络结构如图5 所示，首先，通过特征提取模块得到鞋印特征图，然后，利用通道注意力模块重新分配每个特征图的特征权重，最后，使用性别预测模块得到性别预测结果。

图5 本文网络结构Fig.5 Structure of the proposed network

2.1 特征提取模块

鞋印图像具有种类丰富、花纹复杂、存在磨损和残缺等特点，其主要通过形象特征和步法特征进行描述。形象特征主要包括鞋印尺寸、种类和花纹等；步法特征包括在多周期行走过程中的运动特征，如步幅、步宽、步角等。传统的特征提取方法主要是针对鞋印尺寸提出的，采用鞋长、鞋宽等长度特征作为鞋印图像的量化特征，仅表达了静态特征差异，无法表达因行走习惯不同而造成的动态特征差异。卷积神经网络模拟人类视觉神经细胞的感受野，以提取鞋印图像的局部和细节信息，通过增大感受野进一步提取更复杂、更抽象的信息，最终得到鞋印图像在不同尺度的抽象表达。

本文选用Inception V3［19］作为基础框架来提取特征，其原因在于：1）方便训练，采用批量标准化（Batch Normalization，BN）正则化方法，解决过拟合与梯度消失问题；2）提取丰富的特征，使用3 个不同结构的初始模块，利用不同大小卷积核组成的模块提取不同尺度的图像特征，同时将所有提取的特征进行拼接和合并，以挖掘鞋印图像中更深层的信息，从而提取鞋印图像的多尺度特征；3）计算量低且表达能力更强，将较大的二维卷积拆成2 个较小的一维卷积，在增加特征表达能力的同时减少了模型的计算量，例如，使用2 个3×3 卷积串联代替1 个5×5 卷积来提取鞋印图像特征，在第1 个卷积层后添加Relu 激活函数，有效改善了线性性能，在卷积层后加入卷积填充层使模块大小加倍，2 个卷积串联后的感受野不变，表达能力却优于单个卷积，与单独使用5×5的卷积相比，减少了28%的参数量。

2.2 通道注意力模块

注意力机制被广泛应用在计算机视觉领域，如图像分类［20-21］、语义生成［22］、图像着色［23］等，其主要目的是学习人类观察物体的行为方式。当人类观察物体时会有选择地重点观察物体的显著部分，从而对物体进行识别和分析，得到更准确的视觉信息。通道注意力模块［24］通过对每个特征的权重进行重新分配，结合特征图间的关系，建立特征通道间的相互依赖关系，在一定程度上还原了人类对物体的观察过程，使算法更加高效。

在处理鞋印图像时，通道注意力模块根据每个特征图对应特征通道的重要程度来改变特征的权重，实现了根据全局信息进行特征通道的增强或抑制，达到了特征通道自适应校准的效果，相当于重点观察鞋印图像中对性别起显著作用的部分，适当忽视非重点部分。同时，该模块在不同深度网络中发挥的作用是不同的。当把该模块添加到较浅层网络时，不同类间共享特征通道的权重，它所激发的特征与类别无关；当把该模块添加到较深层网络时，特征则表现出更高的特异性。因此，在本文的性别预测任务中，通道注意力模块放置在网络末端，此时，点积大小和输入类别呈强相关关系，进一步增强了分类效果。

通道注意力模块的结构如图6 所示，主要包括压缩、激励和点积3 个重要操作。本文输入大小为H×W×C的特征图，首先，经过全局平均池化层（Global Average Pooling，GAP）进行特征压缩，输出大小为1×1×C的向量；然后，经过2 层全连接层和相应的激活函数进行特征激励，生成每个通道的权重；最后，输入特征图中的每个通道分别乘以对应通道的权重值，通过点积操作，输出特征图中的不同通道被赋予不同的权重，用于表示该通道对性别预测的重要性。

图6 通道注意力模块结构Fig.6 Structure of channel attention module

2.3 性别预测模块

该模块由全局平均池化层、全连接层和激活函数组成。通道注意力模块最终输出经全局平均池化层整合的全局空间信息，同时避免了过拟合现象的发生，由激活函数Softmax 对鞋印图像进行性别预测。性别预测是二分类问题，使用二分类交叉熵损失函数，如式（11）所示：

其中：n表示样本个数；yi∈｛0，1｝表示样本i的标签；yi=1 表示样本i为男性鞋印；Pi∈［0，1］表示样本i预测为男性的概率。

3 实验与结果分析

3.1 实验方法与评价标准

针对案发现场遗留鞋印的不同情况，本文分别构建了适用于现场遗留单枚鞋印场景的SiSIS 数据集和适用于遗留多枚鞋印场景的SeSIS 数据集。

SiSIS 数据集具有被采集者多、图像数量大且鞋印花纹种类丰富的特点，缺点是单枚鞋印图像不能稳定表达不同性别个体的特征。本文采用随机划分的方式设置实验数据，验证所提方法在SiSIS 数据集上的性别预测能力。

SeSIS 数据集的男女占比更加均衡，采集的多周期内鞋印可以稳定表达不同性别个体的特征。根据该数据集的特点，本文共设置3 组对照实验，分别为不同花纹对照组、不同个体对照组和随机划分对照组。

1）不同花纹对照组，由于被采集者均穿统一提供的新鞋，因此本文采集不同个体的鞋印图像具有相同的花纹。为了避免花纹特异性对实验结果产生影响，在该对照组的数据集划分中，确保训练集和测试集不出现相同花纹的鞋印，以验证训练出的模型对陌生花纹鞋印图像的性别预测能力。

2）不同个体对照组，由于人的行走过程是通过全身多器官和骨骼协调配合完成的，因此不同个体间的落脚形态存在一定差异。为了避免个体落脚形态对实验结果产生影响，在该对照组的数据集划分中，确保训练集和测试集中不出现同一个体的鞋印，以验证训练出的模型对陌生个体鞋印图像的性别预测能力。

3）随机划分对照组，在现实生活中，不同个体有可能穿相同花纹的鞋出现在案发现场，同一个体也有可能穿不同花纹的鞋出现在案发现场。为了尽可能模拟现实生活中的情况，在该对照组的数据集划分中，训练集和测试集均为随机划分，以验证训练出的模型对随机鞋印图像的性别预测能力。

在性别预测问题中，准确率（Accuracy）是评价模型性能的主要指标。准确率的计算如式（12）所示：

其中：TTP表示预测为男性的男性鞋印数目；TTN表示预测为女性的女性鞋印数目；FFP表示预测为男性的女性鞋印数目；FFN表示预测为女性的男性鞋印数目。

3.2 实验环境与参数设置

在Keras 库中，本文调用基于ImageNet 数据集预先训练的Inception V3 模型，去掉全连接层，加入通道注意力模块，输出层节点数为2，使用Softmax激活函数。输入图像大小为256×256×3，采用Adam优化器［25］，初始学习率设置为0.000 2，Batch Size 设置为16，迭代次数为100。使用ReduceLROnPlateau函数自适应调整学习率，使用ModelCheckpoint 函数对训练过程进行监测并自动保存最优模型，使用TensorBoard 函数记录模型的训练过程及相关参数。

3.3 对比实验

为验证本文所提方法的有效性，与文献［9-11，15-17］所提的方法进行对比实验。文献［9］采用足长、足宽特征作为参数结合逻辑回归进行性别预测；文献［10］采用鞋长、鞋宽特征结合逻辑回归对性别、身高和年龄进行预测，并分析了各特征与性别的相关性；文献［11］提取由足长、足宽、脚印长、脚印宽、鞋长、鞋宽和鞋跟长、鞋跟宽等多个特征组成多变量模型，使用判别函数进行性别预测，并分析得出对于性别预测最有效的多变量模型由足长、鞋长、鞋宽和鞋号4 个变量组成的结论；文献［15］提取足长、足宽作为特征，采用分类和回归树算法进行性别预测；文献［16］基于鞋长、鞋宽、鞋码和步长特征，使用多元线性回归进行性别预测；文献［17］使用AlexNet 卷积神经网络对赤足图像进行性别预测。在SiSIS 数据集和SeSIS 数据集上采用以上文献的特征提取和预测方法进行性别预测，实验结果如表2 所示。

从表2 可以看出，文献［9-11］提出的方法结合传统鞋印长宽特征，能有效解决性别预测问题，在不同对照组上的性能指标均值低、标准差较大，虽然文献［11］在鞋长、鞋宽特征的基础上加入了鞋码特征，有效提升了性别预测的准确率，但性能指标均值仍较低。文献［15］方法相比于文献［9-11］方法在不同对照组上的性能指标均值有小幅提升，标准差明显降低，但在SiSIS 数据集上性能指标明显下降，鲁棒性较差。文献［16］方法在SeSIS 数据集上的性能指标明显优于前文所述的方法，但是在数据量更大、男女鞋码大量交叉的SiSIS 数据集上的性能指标无明显优势，说明该方法的泛化能力较差。文献［17］所提方法在基于鞋印图像的性别预测中准确率虽然高于前文所述的方法，但性能指标均值低于本文方法且标准差较大，尤其是在SiSIS 数据集上的性能指标与本文方法相差较大。本文方法在SiSIS数据集上的准确率为91.80%，在SeSIS 数据集上的不同花纹、不同个体和随机划分对照组上，本文方法分别取得了97.86%、99.35%和99.26%的性别预测准确率，性能指标均值远高于上述文献提出的方法，且性能指标标准差最小，模型泛化能力和抗干扰能力均较优。

表2 不同方法的性别预测准确率对比Table 2 Gender prediction accuracy comparison among different methods %

3.4 消融实验

为验证本文所提融合通道注意力模块的有效性，本文对VGG16 网络［26］、未融合通道注意力模块的特征提取网络、VGG16 融合通道注意力模块后的网络和本文方法Inception V3+通道注意力进行消融实验，实验结果如表3 所示。

表3 消融实验结果Table 3 Ablation experimental results %

从表3 可以看出：1）Inception V3 的指标明显优于VGG16 的各项指标；2）融合通道注意力模块的性能优于没有融合通道注意力模块的性能，如VGG16+通道注意力和Inception V3+通道注意力的各项指标明显高于Inception V3 和VGG16；3）本文方法受花纹或个体因素的影响较小，如在SeSIS 数据集上，本文方法在不同对照组上的性能指标均值明显高于其他方法，且性能指标标准差较小。但融合通道注意力模块后，本文方法在不同花纹对照组上，相比Inception V3 的准确率下降了0.61 个百分点，其原因为通道注意力模块起作用的前提是花纹种类足够多，而SeSIS 数据集只包含8 类花纹，没有达到通道注意力模块起作用所需要的花纹数目。为了验证此结论，本文分别在SeSIS 数据集和SiSIS 数据集上采用不同花纹类别的鞋印进行模型训练，结果如表4和表5 所示。SeSIS 数据集包含8 类花纹新鞋，分别设置3 类、4 类、5 类和6 类花纹作为训练样本，其余5 类、4 类、3 类和2 类样本作为测试样本。SiSIS 数据集包含近2 800 类花纹的鞋印，分别以1 000 类、1 400 类、1 800 类 和2 200 类花纹作为训练样本，其余类别作为测试样本。

表4 在SeSIS 数据集上鞋印花纹种类数目对不同方法性能的影响Table 4 Influence of the number of types of shoeprint patterns on performance of different methods on SeSIS dataset %

表5 在SiSIS 数据集上鞋印花纹种类数目对不同方法性能的影响Table 5 Influence of the number of types of shoeprint patterns on performance of different methods on SiSIS dataset %

从表4 可以看出，VGG16+通道注意力和Inception V3+通道注意力的准确率下降幅度随着花纹种类数的增加而逐渐减小。参与训练的鞋印花纹数越多，本文方法的性能越显著，但SeSIS 数据集的花纹种类只有8 类，因此，未明显体现出本文方法的优势。从表5可以看出，当参与训练花纹种类数为1 000类时，VGG16+通道注意力的准确率略低于VGG16，Inception V3+通道注意力的准确率略低于Inception V3；当花纹种类数达到1 400 类时，VGG16+通道注意力和Inception V3+通道注意力的性能优于未融合通道注意力模块的性能。随着花纹种类数的增加，本文融合通道注意力模块的性能优势愈加凸显。综合表4 和表5 的实验结果表明，本文所提的通道注意力模块在参与训练的鞋印花纹数超过一定数目时，效果要优于未融合通道注意力的方法。

为验证对SiSIS 和SeSIS 数据集进行数据增广的有效性，本文对原数据和增广后的数据进行消融实验，结果如表6 所示。

表6 数据增广对性别预测准确率的影响Table 6 Influence of data augmentation on gender prediction accuracy %

从表6 可以看出，对鞋印数据集进行数据增广可以有效提高性别预测准确率。在SiSIS 和SeSIS（不同个体）数据集上，经数据增广操作后本文方法的预测准确率分别提升了1.49 和1.30 个百分点，其他方法的预测准确率也均有不同程度的提升。

4 结束语

本文提出一种基于鞋印的端到端性别预测方法，同时构建符合案发现场实际情况的单枚和序列鞋印图像数据集。采用卷积神经网络提取鞋印图像特征，根据每个特征图对应特征通道的重要程度，通过通道注意力模块对特征权重进行重新分配，达到特征通道自适应校准的目的。在单枚和序列鞋印图像数据集上的实验验证本文方法的有效性，结果表明，相比传统的性别预测方法，本文方法具有较优的预测准确率。后续将对不同承痕体的鞋印数据集进行扩充，进一步优化性别预测模型。