基于SMbGAN的足迹图像反演算法
2021-08-06樊旭晨鲁玺龙
唐 俊 樊旭晨 张 艳 鲁玺龙 王 年
(1安徽大学电子信息工程学院, 合肥 230601)(2公安部物证鉴定中心, 北京 100038)
足迹识别是指根据足迹图像获取与身份相关的信息,相比于指纹痕迹,足迹更难去掩盖,因此,足迹识别在监管、安全和刑事侦查等领域具有重要的现实意义.已有足迹识别算法可分为2类:第1类是手动提取特征并建立特征与目标信息之间的函数,如文献[1]提出一种基于脚长、脚宽特征回归身高的算法,文献[2]提出一种基于脚掌半径预测年龄的算法;第2类是自动提取特征并建立特征与目标信息之间的函数,如文献[3]提出一种基于足底压力图像结合卷积神经网络(CNN)的身份识别算法,文献[4]提出一种基于足底光学图像预测身高的算法,文献[5]提出一种使用支持向量机(SVM)的身份识别算法.上述算法均是建立在赤足足底图像基础上,而真实的犯罪现场提取的主要为鞋印图像,由于鞋印种类的多样性以及鞋底磨损度的差异性,无法直接对鞋印图像进行特征提取.针对该问题,本文提出一种将鞋印图像反演成赤足图像的算法,该算法能够对赤足足迹样本量进行扩充,并且间接地解决了鞋印图像特征提取困难的问题.
反演算法实质上是一个图到图的转换问题,该问题的解决方法可分为2种.第1种是基于生成对抗网络(GAN)[6-8],通过生成器与判别器的对抗训练,获得一个可以完成图像到图像转换任务的编解码结构.如文献[9]提出使用UNet[10]作为生成器并采用像素级别判别器的结构(Pix2pixGAN),该结构主要适用于图像分割、边缘检测等任务.文献[11]提出一种环形GAN(CycleGAN),将源域中的图像先转换到目标域再重构到源域,训练过程不需要匹配图片对,适用于图像风格迁移任务(季节、色彩转换).在文献[11]的基础上,文献[12]提出一种双向的环形结构(DiscoGAN),在重构源域图像的同时,对目标域图像也进行了重构.第2种是不采用对抗训练模式的编解码结构,如文献[13]提出一种自适应实例规范化算法(AdaIN),假设目标域与源域图像之间存在潜在的共享空间,通过编码器将源域图像编码到潜在空间中,利用自适应的规范化算法将源域的特征分布进行归一化之后再映射到目标域,相比于GAN的训练更加灵活,适用于风格迁移任务.
上述结构使用的数据集源域与目标域之间的差异较小,整体结构相同,如纯色马与斑马、真实场景与油画之间的转换.而鞋印与脚印之间,无论是从外部结构还是内部纹理差异都较大,因此现有结构不适合足迹图像反演实验.针对该问题,本文提出一种对称的多分支生成对抗网络,该结构将输入的鞋印图像分成2个部分进行重构,并同时使用全局与局部判别器训练,能够使网络结合鞋印的全局与局部信息,生成与真实脚印更加相近的图像.
由于足迹数据集的匮乏,本文构建了一个足底压力图像数据集S2FD,该数据集包含695张足底压力图像以及与其对应的695张布鞋鞋底压力图像.本文在S2FD数据集上进行了鞋印反演赤足的实验,并使用SSIM、MAE以及检索准确率Rank1作为评价指标,实验结果表明,相比于现有图像到图像的转换算法,SMbGAN更适合本文任务.
1 数据来源
S2FD数据集的采集设备是由杭州创恒电子技术开发有限公司提供的足底压力成趟采集仪.采集仪总长度为990 cm,由33块压力板组成,每块压力板宽30 cm,长50 cm,每平方厘米包含25个压力传感器.
本文所提出的数据集总共有1 390张足迹压力图像,包含695张布鞋鞋底压力图像以及对应的695张赤足足底压力图像.数据来自于64名在校大学生,采集前均对其年龄、身高以及体重等信息进行了记录.S2FD同样适用于基于足迹图像的身份检索、年龄预测等任务,是目前足迹领域首个足底与鞋底混合的压力数据集.
2 图像预处理
在数据采集的过程中,由于电流干扰以及被采集者个人行走步态差异,采集的图像会出现噪声以及足迹区域倾斜等问题.为了避免上述问题影响最终反演实验的结果,本文对采集的原始图像进行了去噪、中心化以及旋转操作,具体步骤如下.
采集设备运行过程中,传感器连接处产生电流干扰,在图像的背景区域会出现条状噪声,由于该噪声的产生与采集设备连接处的硬件相关,其形状大小受限于连接处的硬件大小.传统的滤波去噪算法不能有效去除条状噪声,本文设计了一种滑动窗口去噪算法,去噪过程如图1所示,其中图1(a)为包含噪声的原始图像.首先,为了确定足迹区域上、下、左、右最外缘的4个关键点(见图1(b)中点A、B、C、D),设置一个大小为4×4像素单元的方形扫描窗口,从图像的四周向内部滑动,当窗口中存在背景像素值(灰度值为0)时,则继续滑动(见图1(d),图1(d)为图1(a)方框内条状噪声的放大图像),反之则停止滑动,取此时滑动窗口外侧中点为外缘关键点(见图1(e)中点D).为了避免关键点在足迹区域内部,本文对关键点进行了放缩,保证该点与足迹区域不重合(见图1(f));其次,根据4个关键点构建足迹的等效矩形,如图1(b)所示;最后,将等效矩形外部的像素值设置为0,保留矩形内部的像素值.最终去噪效果如图1(c)所示,从图中可以看出,噪声被有效去除.
(a) 去噪前
(d) 扫描噪声区域
采集过程中,由于被采集者之间行走姿态的差异,足迹区域的位置分布不均匀.为了避免该问题影响反演实验结果,本文利用去噪过程中使用的等效矩形框,将矩形框的中心点平移到图像的中心点.中心化结果如图2所示.
(a) 中心化前
(b) 中心化后
中心化操作消除了行走过程中足迹位置分布的差异,但是并未消除步角的差异.为了统一数据集中足迹的偏向角,本文参考了文献[4]中的旋转算法,以前掌中心点与后跟中心连线与水平方向夹角为旋转角、前掌中心点为旋转点进行旋转,旋转过程如图3所示,从图中可以看出,旋转后的足迹区域呈水平状.
(a) 旋转前
(b) 旋转后
3 对称式多分支生成对抗网络
3.1 网络结构
GAN因采用博弈学习的方式[6],被广泛地用于图到图的转换任务,如Pix2pixGAN能够完成原图与分割图之间的转化;CycleGAN能够完成颜色以及画风的转化.但是上述结构中使用的图像对实质上是同类物体(原图转分割图、纯色马转斑马),这类图像对域间距较小,而鞋印与赤足不属于一类物体,域间距较大,使用现有结构无法满足该任务的要求.本文提出一种对称式多分支生成对抗网络(SMbGAN),网络结构如图4所示,首先将足迹区域分成前掌与后掌2个区域,分别对前、后掌区进行重构;其次对重构出的2张区域图像使用局部判别器进行区域判定;最后将2张局部的图像进行合成,使用全局判别器进行全局判定.该结构将足迹图像分成2部分进行重构,并且联合全局与局部判别器进行判定,能够更有效地发掘鞋印足迹与赤足足迹之间压力分布以及形状的对应关系,适合本文的反演任务.
图4 SMbGAN结构图
SMbGAN的生成器是一个图像的编解码模块,编码器将源域图像编码到低维度的特征空间,而解码器将低纬度的特征解码到目标域空间.随着层数的加深,常规的编解码结构会逐渐丢失浅层特征信息.SMbGAN的生成器采用特征金字塔(FPN)[14]结构,该结构将编码器与解码器不同尺度下的特征进行融合,避免深层特征中丢失了浅层信息,提升网络对图像内部细节的关注度.SMbGAN中包含了2个共享参数的FPN生成器,生成器的编码部分由多个下采样模块组成，每个下采样模块包含一个卷积层、一个批归一化(BN)层以及一个LReLU激活层组成;解码部分由多个上采样模块组成，每个上采样模块包含一个反卷积层、一个BN层以及一个ReLU激活层组成.将鞋印的上下部分输入到生成器中,得到对应位置的赤足足迹,再将赤足足迹的2部分进行拼接得到最终的目标域图像.
假定由生成器生成的目标域图像为伪图,伪图对应的真实目标域图像称为真图.判别器是一个鉴别目标域图像真伪的结构,包含1个编码器以及1个二分类的全连接层，编码器由多个下采样模块组成.当输入判别器的图像为真图时,判别器输出1;反之,则为0.在判别器中,使用全连接层的二分类器是将编码器的输出特征图展开成1维特征,再逐渐降维成2类,该过程会丢失部分特征,影响判别器的性能.本文去除了传统判别器中的全连接层,将编码器的输出经过2D Sigmoid激活后作为分类的输出,实现对输出特征图逐像素点的分类,提升结构对细节的关注度.另外,为了保证目标域与源域图像对之间的匹配性,本文参考文献[9]中方法,将源域图像与目标域图像拼接后作为判别器的输入,定义源域图像与真图为正样本对,作为判别器的正向输入,源域图像与伪图为负样本对,作为判别器的负向输入.SMbGAN共包含2个局部判别器以及1个全局判别器.
3.2 损失函数
SMbGAN的损失函数由生成器损失与判别器损失组成.生成器损失LG包含对抗损失LG，g以及L1损失LG，L1.其中对抗损失公式如下:
LG，g=LG，gu+LG，gd+LG，ga
(1)
(2)
(3)
(4)
LG，L1通过计算生成器生成的目标域图像与真实的目标域图像之间的平均绝对误差,衡量生成图像与真实图像之间的距离,通过优化该损失能够保证生成图像的质量,公式如下:
(5)
为了确保反演结果的有效性,最终的生成器损失为对抗损失与L1损失的加权和,即
LG=w1LG，g+w2LG，L1
(6)
式中,w1、w2为权值,本文实验中设置w1=1,w2=190.对L1损失使用较大的权重,可使网络在训练过程中更加关注生成图像的质量,保证反演结果的有效性.
判别器损失LD包含局部判别器损失LD，u、LD，d以及全局判别器损失LD，a,公式如下:
(7)
(8)
(9)
LD=LD，u+LD，d+LD，a
(10)
3.3 训练方法
SMbGAN采用判别器与生成器交替的训练方式[6]如图5所示.首先,固定生成器参数,训练判别器如图5(a)所示,将正样本对以及负样本对分别作为正样本与负样本,输入判别器,计算判别器损失,使用Adam优化器更新判别器参数;其次,固定判别器参数,如图5(b)所示,将生成器输出与源域图像组成的负样本对作为正样本,输入判别器,根据判别器输出以及生成器输出计算生成器的对抗损失以及 L1损失,使用Adam优化器更新生成器参数;最后,重复上述步骤,训练至指定轮数时结束,保存训练过程中测试集误差最小的模型.
(a) 训练判别器
(b) 训练生成器
4 实验
4.1 设备参数
本文所涉及到的有关深度学习的实验均在显卡型号为GeForce RTX 2080Ti,CPU型号为Intel Core i7-9700K的PC机上进行.使用Adam优化器,训练总轮数为200,每轮训练包含1张源域图像以及对应的1张目标域图像.
4.2 评价指标
本文使用结构相似性(SSIM)[15]、MAE以及检索准确率(Rank1)作为评价指标.其中,SSIM通过图像之间的亮度、对比度以及结构作为衡量标准,从全局的角度计算图像之间的差异;MAE通过逐点计算图像对间每一位置的像素差,累加后求平均,获取图像对之间的精确误差,从局部细节计算图像之间的差异;为了验证反演结果的有效性,本文将反演出的赤足图像在赤足库中进行身份检索,使用检索的Rank1对生成图像的特征进行评价.
4.3 对比实验
为了对比不同结构在足迹反演实验中的效果,本文使用Pix2pixGAN、CycleGAN、AdaIN以及SMbGAN进行了相同的反演实验,实验数据均为经过相同预处理的足底压力图像,反演实验结果如表1所示.由于SSIM是全局的相似性比较,而足底压力图像背景均为黑色,整体色调相近,因此SSIM的基准线较高,数值比较接近.MAE为逐像素点的比较,反映图像的细节信息,CycleGAN与AdaIN主要适用于风格转换任务,输入数据不一一匹配,随机从目标域与源域抽取图像进行训练,对细节的关注度较低,故MAE值较大；而Pix2pixGAN与SMbGAN使用了匹配输入的方式,MAE值相对较小,并且SMbGAN采用全局与局部相结合的判别器结构,提升了对细节的关注程度,MAE值最低.SMbGAN的Rank1远大于其他3种结构,证明了反演结果的特征相似性高于其他结构.根据该对比实验结果可以看出,相比于其他3种结构,SMbGAN在足迹反演实验中性能最优,真实赤足图像与生成赤足图像的SSIM值为0.988,MAE值为4.324,Rank1值为0.462.另外,本文统计了表1中4种结构的训练时间,由于AdaIN为编解码结构,未采用GAN的训练模式,因此训练过程消耗的时间最少;CycleGAN为环形的生成对抗网络结构,训练过程资源消耗大,训练时间最长;SMbGAN含有2条支路,训练时间接近于Pix2pixGAN的2倍.
表1 不同结构反演实验结果
图6展示了Pix2pixGAN、CycleGAN、AdaIN以及SMbGAN四种结构的部分反演结果.从图中可以看出,本文结构反演出的赤足图像在外部形状以及内部压力分布方面均接近于真实标签图像.CycleGAN与AdaIN由于训练的数据不是一一匹配的,网络无法准确提取鞋印与赤足之间的关系,其中CycleGAN生成的赤足图像外部轮廓基本相同并且部分图像变形,而AdaIN由于测试过程中需要提供目标域的一个模板,因此生成的图像与模板图像基本一致;Pix2pixGAN只包含一个生成器与一个判别器,图像细节关注度低,生成图像的多样性低,出现不同输入样本产生高相似度输出的问题.从图6可以得出,相比于其他结构,本文提出的反演结构能够有效提取鞋底压力图像与足底压力图像之间的关系,生成的足底压力图像无论从外部轮廓还是内部压力分布都最接近于真实图像,与表1中实验结果相符.
(a) 输入图像
(b) 标签图像
(c) SMbGAN输出图像
(d) CycleGAN输出图像
(e) Pix2pixGAN输出图像
(f) AdaIN输出图像
4.4 消融实验
4.4.1 预处理有效性
为了验证预处理算法的有效性,本文使用SMbGAN对经过不同预处理的数据进行了反演实验,实验结果如表2所示.从表2可以看出,经过预处理的数据,实验结果的SSIM值总体呈上升趋势(SSIM值基准线较高,会出现部分抖动现象),且去噪步骤对SSIM值的提升最大,证明本文去噪算法的有效性.MAE与Rank1为细节相似性的度量,经过不同预处理后的结果均呈下降趋势,由于中心化与旋转操作实质上是在数据集中将鞋印图像与赤足图像进行了对齐,因此经过中心化与旋转步骤的图像MAE值下降幅度最大,且Rank1值提升最明显,证明了旋转与中心化算法的有效性.
表2 经过不同预处理的数据反演实验结果
4.4.2 结构有效性
为了验证SMbGAN的结构有效性,本文分别对不同结构的SMbGAN进行了相同的反演实验,包括不同的生成器参数设定以及判别器数目,实验结果如表3所示.从表3可以看出,SMbGAN的生成器共享参数时的实验结果优于不共享参数时的实验结果,并且生成器共享参数能够降低网络的参数量,减少训练过程中内存的占用率.对于仅使用全局判别器的网络全局关注度高,SSIM值相对较高,而仅使用局部判别器的网络对细节关注度较高,MAE值相对较低,联合使用全局与局部判别器的结构能够关注全局与细节信息,因此实验结果明显优于其他结构.该消融实验结果表明,本文提出的SMbGAN结构适用于足迹图像的反演任务.
表3 不同结构的SMbGAN反演实验结果
4.5 超参数验证
本文3.2节中生成器的损失函数包含2个权重参数w1与w2.为了验证不同的参数对训练结果的影响,本文将w1与w2按照不同比例进行了反演实验,绘制了w1与w2的相关系数ε与SSIM、MAE的关系曲线图,如图7(a)所示.图中,ε>0时表示w1与w2的比值,ε<0时表示w2与w1比值的相反数.由于MAE与SSIM值的尺度以及大小意义不统一,因此绘制出的曲线间隔大并且SSIM起伏不明显.为了解决该问题,本文将SSIM值放缩到与MAE值近似的尺度下,并做了镜像操作来保证MAE值与SSIM值均越小反演实验效果越好,放缩后的曲线如图7(b)所示,reSSIM表示放缩后的SSIM值.从图中可以看出,随着ε的改变,reSSIM值基本稳定,而MAE值在ε<0时出现最小值.实验结果表明,训练过程中加大L1损失的权重能够提升生成图像的质量,与3.2节描述一致.
(a) ε-SSIM,MAE曲线图
(b) ε-reSSIM,MAE曲线图
(c) ε-reSSIMAE曲线图
为了更精确地获得相关系数ε取何值时实验结果最优,本文绘制了ε-reSSIMAE曲线,如图7(c)所示,reSSIMAE表示reSSIM与MAE的叠加值.当w2/w1=190时,reSSIM与MAE之和取最小值.根据该实验结果,本文设置SMbGAN训练过程中w1=1,w2=190.
4.6 优化器选择
优化器是深度学习模型训练过程中更新权重的工具,正确的优化方式能够加速网络收敛,提高训练效率.为了确定不同的优化方式对SMbGAN训练过程的影响,本文使用随机梯度下降(SGD)、均方根比例(RMSProp)以及自适应矩估计(Adam)三种常见的优化器在SMbGAN上进行了对比实验,绘制了训练过程中训练轮数与判别器损失以及训练轮数与L1损失曲线图,如图8所示.由于SGD采用固定学习率,优化速率缓慢,因此使用SGD优化器的判别器损失以及L1损失下降缓慢并且最终优化效果差.RMSProp使用了自适应学习率,优化效果要优于SGD,但是优化过程中会出现不稳定现象,如图8(b)所示,使用RMSProp的曲线在训练轮数接近125时出现了突刺.Adam为目前最常用的深度学习优化器,结合了RMSProp的自适应学习率并且将更新的步长限定在一定范围内,提高了稳定性.通过该对比实验,SMbGAN选择使用Adam作为优化器.
(a) 判别器损失
(b) L1损失
4.7 差异性分析
被采集者在行走的过程中,由于个体行为习惯的差异以及采集时的心理因素,极少部分被采集者穿鞋与赤足图像的压力分布不一致,如图9所示.图9(a)中鞋印图像与真实赤足图像压力分布一致,即真实赤足图像的前掌部分以及足跟部分的压力分布与鞋印图像的对应区域压力分布一致，图9(b)中真实赤足图像的前掌部分压力分布与鞋印图像的对应区域压力分布不一致(真实赤足图像的前掌压力分布位于右侧，鞋印位于左侧)，而经过SMbGAN输出的赤足图像的前掌压力分布与鞋印图像相同，均位于左侧，说明本文提出的结构能够有效关注鞋底压力分布的规律,对标签与输入图像的压力分布差异进行修补.
(a) 鞋印图像与真实赤足图像压力分布一致
(b) 鞋印图像与真实赤足图像压力分布不一致
5 结论
1) 为了解决在足迹识别领域鞋印图像识别困难的问题,提出了一种对称式多分支生成对抗网络,实验证明相比于其他结构,该结构反演出的足底压力图像与真实图像在外形以及压力分布方面相似度最高,真实赤足图像与生成赤足图像的SSIM值为0.988,MAE值为4.324,Rank1值为0.462.该算法为办案人员提供了一种识别手段,将繁琐的鞋印识别简化成赤足足迹识别,通过赤足图像能够更快速地分析出目标人员的性别、身高以及年龄等身份信息,提高了办案效率.
2) 本文构建了首个足底压力数据集S2FD,该数据集包含695张足底压力图像以及与其对应的695张布鞋鞋底压力图像.S2FD为足迹领域的研究提供了数据支撑,旨在建立一个同人脸识别以及指纹识别类似的大规模数据库,打开足迹识别的大门.
