基于距离特征和聚类损失的深度学习虹膜识别

2023-09-20赵世鹏郝思媛

计算机仿真 2023年8期

孙洁,赵世鹏,苗盛,郝思媛

(青岛理工大学信息与控制工程学院,山东青岛266520)

1 引言

由于虹膜具有唯一、稳定和非侵犯性的特点,在各种生物识别中脱颖而出,被广泛应用于个人身份验证。1993年,Daugman[1]提出了第一个完整的虹膜识别系统。随后,基于一维Log-Gabor[2]、离散余弦变换(DCT)[3],离散傅立叶变换(DFT)[4]和局部Gabor方向[5]等虹膜识别算法被相继提出,推动了生物识别技术的发展。

近年来,由于深度学习在语义分割、图像检测和图像分类方面表现出优秀性能,一些基于深度学习方法的虹膜识别方法被相继出现,如:Gangwar等[6]提出了两个CNN模型DeepIrisNet-A和DeepIrisNet-B用于提取虹膜特征;Nguyen等[7]探索了已有的CNN模型(VGG、ResNet和DenseNet等)在虹膜识别方面的性能;Gangwar等[8]创建了用于可见光谱和近红外光虹膜表示的深度网络DeepIrisNet2。

用于分类的深度学习方法,进行网络训练时常采用交叉熵损失,但交叉熵损失并不依赖于特征空间的距离特征信息,使得深度网络对距离特征不够敏感;其次,由于交叉熵损失对类间信息更加敏感,更关注正确标签的预测,而忽略了其它非正确标签的差异,使深度网络学习的特征比较分散。为解决上述问题,本文构建了一个基于距离特征的深度网络,在网络结构中引入距离特征,同时设计了一个聚类损失,使深度网络学习的同类别虹膜的图像特征更加聚集。

2 虹膜图像预处理

本文对虹膜图像进行了虹膜定位、分割、归一化、裁剪和直方图均衡化等预处理。

原始虹膜图像如图1所示,使用开源工具OSIRIS[9]对图1进行虹膜定位、分割及归一化,结果如图2和3所示,本文设定虹膜归一化尺寸为60×240。

图1 原始虹膜图像

图2 虹膜定位结果图3 虹膜归一化结果

实验发现,虹膜预处理后,归一化的虹膜图像,通常有四种类型,如图4所示。可以看出,归一化的虹膜左侧被眼睑遮挡严重。

图4 多数情况下归一化的虹膜图像

为提高虹膜识别的准确率,本文对归一化后的虹膜图像进行了裁剪和直方图均衡化处理。如图5所示,裁剪归一化图像,仅保留归一化图像的右半侧,尺寸为60×120。另外,为减少光照因素的影响,增强虹膜纹理的对比度,本文对虹膜图像进行直方图均衡化处理。

图5 裁剪虹膜和直方图均衡化

3 本文方法

为了提高类内特征聚集性,增加类间特征区分度,本文构建了一个基于距离特征的深度网络,距离特征网络(Distance Feature Network,DFN),将距离特征引入网络结构,并设计了一个聚类损失,改善由交叉熵损失训练的网络所提取的特征较为分散的问题。

3.1 距离特征网络

DFN分为两部分:特征提取器(Feature Extractor,FE)和特征整定器(Feature Tuner,FT)。特征提取器由一个卷积神经网络(CNN)构成,记为f,用于提取虹膜图像特征。特征整定器,则是对FE提取的虹膜特征进行处理,将距离特征引入网络结构。

特征提取器结构如图6所示,该CNN共包含4个卷积层(Conv),卷积核尺寸均为3×3,步长为1,卷积核数依次为64,128,256和512;在前三个卷积层后,分别连接一个2×2的最大池化层(MaxPool),步长为2;最后一个卷积层则连接一个自适应平均池化层(AdaptiveAvgPool),归一化特征图尺寸为1×1;最后,将卷积后的图像特征拉平,经全连接层(FC)处理后,可获取虹膜图像的特征。

图6 特征提取器结构

特征整定器结构如图7所示,本文分别先从每个类别的虹膜图像中随机选取一幅作为模板,利用特征提取器提取这些模板的图像特征c0,c1,…,cN-1,并按标签顺序排列为一个N维方阵C。C中每一行都是一个类别的模板特征,这些特征被用作各类别的特征聚类中心,这样可省略网络训练过程中样本聚类中心的计算,减少运算量,提高训练效率。

图7 特征整定器结构

特征提取器f提取虹膜样本x的特征为z,即有:z=f(x),计算z与各模板特征间欧式距离的倒数,可以获取一组距离特征,记作γ=(γ0,γ1,…,γN-1),如式(1)所示

(1)

其中,ci为第i+1类虹膜的模板特征,即方阵C中第i+1行向量;γi表示距离特征γ的第i+1个元素。可以看出,样本特征距离模板特征越远,γi的值越小。

然后,将距离特征γ和样本特征z对应位置元素相乘,得到关联特征d,如式(2)所示

d=γ∘z

(2)

其中∘表示两个向量对应位置元素相乘。此时,样本特征和模板特征被关联起来。

最后,对关联特征d进行余弦标准化[11],获取用于虹膜识别的特征v,其运算过程如式(3)、(4)和(5)所示

(3)

(4)

(5)

其中,α是一个放大系数,用于放大特征取值,本文设定为10;w是深度网络的可学习参数,其值由网络训练得到。用余弦标准化对虹膜特征进行归一化,不仅将余弦夹角信息引入虹膜特征,而且将特征v的模限定在一个可控区间。

3.2 聚类损失

为使同类别虹膜的图像特征聚类更加紧凑,本文提出一个聚类损失L,该损失由距离损失LD和交叉熵损失LC加权得到,如式(6)所示

L=0.1×LD+LC

(6)

距离损失LD和交叉熵损失LC的计算如式(7)和(8)所示:

(7)

LC=-log(py)

(8)

其中,zy为FE提取的标签为y的虹膜图像的特征,cy为第y类虹膜的模板特征。距离损失LD将所有同类别虹膜的特征,向同类别模板的特征聚类,减小类内散度。py为观测样本预测为真实标签的概率。

4 实验和分析

本文实验采用显卡NVIDIA Tesla v100提供GPU计算加速,操作系统为采用Ubuntu 18.04 LTS,深度学习框架为基于Python 3.7的paddlepaddle 2.2。

4.1 实验数据集

本文在虹膜数据集CASIA-IrisV4的两个子集CASIA-Iris-Twins和CASIA-Iris-Lamp上进行实验,在两个子集中分别选取了125和275个人,每人10幅虹膜图像,并按8:2划分为训练集和测试集,模板集则从训练集随机选取。两个数据集中的虹膜图像如图8和9所示。

图8 CASIA-Iris-Twins虹膜数据库

图9 CASIA-Iris-Lamp虹膜数据库

4.2 本文方法性能分析

DFN的训练参数为:学习率lr=0.001,训练周期epochs=50, 批尺寸Batch＿size=128,优化过程采用随机梯度下降法。

4.2.1 聚类性能分析

在训练集中随机选取20个人,分别用聚类损失L训练的DFN和交叉熵损失LC训练FE提取虹膜特征,并用t-SNE算法[10]对这些虹膜特征降维和可视化,结果如图10和11所示。

图10 L训练的DFN的虹膜特征聚类图

可以看出,图11中同类别虹膜的特征分布较为分散,从而导致类间特征分布不清晰;而本文方法提取的虹膜特征,类内分布紧凑,且类间区分显著,表现出良好的特征聚类性能。

图11 LC训练的FE的虹膜特征聚类图

4.2.2 匹配性能测试

为验证本文方法的匹配性能,将测试集样本的特征进行一对一匹配,以等错率(EER)为指标进行评价,其取值越低,则性能越好。测试集样本产生的匹配信息如表1所示。

表1 测试集样本匹配信息

实验采用特征的欧式距离ed进行匹配,设置阈值th判别匹配样本是否同类别,当ed

聚类损失L训练的DFN和交叉熵损失LC训练FE的FRR和FAR曲线如图12和13所示,曲线交点即EER的取值。与图12相比,图13所示曲线的阈值分布区间更广,交点的概率值更高,表明其匹配性能较差。而图12中曲线的阈值分布区间较窄,交点的概率值也较小,其性能较好,表明本文方法具有良好的匹配性能。

图12 L训练的DFN的FAR和FRR曲线

图13 LC训练的FE的FRR和FAR曲线

本文测试集样本的识别过程为:将测试集内各样本与训练集内所有样本进行匹配,则每个测试集样本可获取3200个(训练集样本数)距离参数,将其中最小的参数edmin与取得EER时的阈值thEER进行比较,若edmin

4.2.3 消融实验

为验证本文方法各模块的作用,以FT和LD为消融变量,进行消融实验,可得到四种组合:FE+LC、DFN+LC、FE+L和DFN+L,统计它们测试集上的ERR和ACC,其结果如表2所示。

表2 消融实验结果

由表2可知,在不使用FT和LD的实验FE+LC中,测试集的匹配性能和识别性能最差;添加FT或LD后(DFN+LC和FE+L),其性能有明显改善;同时使用这两个模块的实验DFN+L,表现出最好的性能。可见FT和LD可以有效提高虹膜识别系统的性能,且两模块具有互补作用。

4.3 与其它方法进行对比

为直观的反映本文方法的性能,本文在IrisCodeNet[12],DeepIrisNet[6],Log-Gabor[2]和局部Gabor方向[5]等虹膜识别算法上进行实验,测试各方法的EER和ACC,与本文方法进行对比,其中,IrisCodeNet和DeepIrisNet为深度学习方法,DeepIrisNet又分为A和B两种网络结构,而Log-Gabor和局部Gabor方向为传统的虹膜识别算法。本次实验结果如表3所示。