基于深度学习的低质量图像模糊人脸识别方法

2023-11-22何佑明马荣荣

宁夏师范学院学报 2023年10期

何佑明，马荣荣

（安徽文达信息工程学院通识教育学院，安徽合肥 231201）

张晋婧等［1］采用融合注意力机制对人脸图像进行尺度不变特征变换，结合分类迁移学习模型，对图像进行卡尔曼滤波以提高图像质量，进而实现人脸识别.该方法虽然能够提高识别的健壮性，但未考虑图片的动态情况，使识别结果的融合性差.姚锦江等［2］采用特征匹配方法对人脸进行识别，该方法通过特征值提取与判别，并嵌入空间匹配模块对图像像素点进行加权处理，从而完成人脸识别.但此方法需要采用数据增强手段扩充测试样本以训练识别模型，需要的样本数量规模较大.赵汉理等［3］设计了一种感知去模糊的生成对抗网络结构，在粗略提取人脸结构的基础上，通过面部纹理细节恢复实现人脸识别，但是该方法受图像质量影响较高.ZHANG等［4］提出一种用于面部表情识别的模糊优化卷积神经网络－递归神经网络（CNN－RNN）方法.该方法虽然能够解决没有图像增强的直接图像卷积和简单卷积堆栈，但是它忽略了特征逐层卷积导致信息丢失的问题，易受图像清晰度影响.BANERJEE等［5］提出一种基于布朗运动的自适应神经模糊推理系统Crow 搜索算法来进行人体图像的面部表情识别.但是该方法主要集中于识别单个图像的个人面部表情，有一定的局限性.WENYAN［6］对传统的自适应遗传算法进行改进，引入方向扰动算子对自适应调整概率进行非线性化，进而实现教学场景中的人脸识别，但是该方法局限于某一领域，需进一步分析复杂环境中的应用性能.

本文综合已有的研究成果，结合深度学习算法，针对低质量图像模糊人脸的识别方法进行研究与设计，以拓展生物识别技术的应用范围.

1 低质量图像模糊人脸识别方法设计

1.1 人脸轮廓线关键点检测

面部图像的鼻子、眉毛和眼睛是关键点聚集区域，不同面部图像的轮廓线差异也集中在该区域［7］.因此，可以通过识别图像中面部轮廓线的关键点，并构建空间信息表征人脸的面部特征.

由于低质量的模糊人脸图像是一个离散信号，为了提高人脸轮廓关键点的检测效果，需要对图像进行连续离散化处理.利用小波变换算子对图像中的模糊像素进行傅立叶逆变换，变换系数的定义如下

其中，C0表示离散变换系数，f（t）表示像素重构函数，ψ0（t）表示结构函数，t表示采样时间.

对于模糊的面部图像，可以通过一次包络分解获得低频，然后通过二次包络分解得到低频图像.二次包络包括水平、垂直和对角线方向的面部信息［8］，分别用LL、LH、HL和HH4个小波算子进行描述，如图1所示.

图1 图像像素包络分解示意图

在面部图像中，纹理特征可以反映面部部位的灰度变化，这与像素灰度值pf和相邻像素的灰度值直接相关，可以表示为

其中，L0表示像素无偏置项的参量，e表示输出矩阵的通道数，xi表示第i个表征人脸信息的小波算子.

由于中心像素和相邻像素之间灰度值的差异，因此，使用中心区域和相邻区域之间的灰度差来描述面部纹理特征之间的差异［9］，灰度差的表达式u0为：

其中，pj表示第j个像素点的灰度值，由于面部纹理特征式中存在，因此pj与pf始终不相等，即pj≠pf。引入高斯滤波构建面部轮廓线的差异尺度空间Hs，即：

引入高斯滤波构建面部轮廓线的差异尺度空间，即

其中，H表示人脸三维尺度空间，Gs表示像素通道维数，取值为1～M，表示叠加运算符，σs表示特征叠加向量，其计算公式为

其中，σ1和σ2表示不同的两个面部轮廓特征原始向量，即图像特征向量和形状描述符向量，k1表示调节参数。

使用较小的模糊数学分布确定图像的隶属度函数［10］，并且模糊规则对于模糊图像的灰度值的隶属度函数建立如下

其中，z表示图像输出的最大灰度值，b表示隶属度函数中心所对应的灰度值，c表示隶属度函数曲线的扩大展程度，d表示隶属度函数曲线的陡峭程度.

其中，n表示特征值数量，（x，y）表示降噪区域坐标.

将含噪区域对应的最大灰度值赋予图像的中心像素点，使该区域中的噪声最小化［12］.因此，面部目标区域的灰度共生矩阵可表示为

其中，Gx表示图像灰度共生矩阵，（i，j）表示识别框与真实框的重合区域中心点的坐标，g和s分别表示特征尺度融合因子与提取因子.

使用形状变化指数对图像进行均匀采样，并通过面部瞬时数据设置采样点集的参数值，由此得到人脸轮廓线关键点的检测结果为

其中，F表示人脸轮廓线关键点采样集，psk表示自适应选取尺度.

利用以上公式检测低质量模糊图像人脸的轮廓线关键点，并将此作为识别依据，便于后续人脸关键点匹配.

1.2 人脸关键点匹配

收集面部轮廓线关键点对应的不同面部特征，选择不同角度匹配关键点，将待识别的人脸和数据库中的人脸变换到同一空间［13］，求输入图像与原有图像之间的差异程度，即协方差矩阵，公式如下

其中，F表示人脸轮廓线关键点集合，Sij表示人脸库中人脸曲面上的关键点i的特征j，p0和p1分别表示图像切平面与法平面的参量.

将特征向量进行单位正交化，以挑选出大于阈值的特征值与特征向量［14］，计算公式为

其中，ex表示特征值阈值，λi表示像素最近邻系数，λk表示噪声标签转移概率，p′表示像素梯度下降系数.

计算各个特征向量与样本之间的关联程度，公式如下

其中，λj表示图像噪声标签，αij表示交叉熵损失函数.

将输入的人脸图像样本映射到低维空间，并最小化像素的损失函数［15］，公式如下

其中，N表示编码向量数目，yi表示像素元参数的移动平均值，xi′表示像素散度因子，θ表示运算误差，f（.）表示粗糙度函数.

将人脸轮廓线关键点输出归一化到0～1，获得一个系数向量β0，则得到的关键点软阈值为

其中，xc表示特征通道，αc表示收缩阈值.

由于目标面部图像质量较低且模糊，两张面部图像在关键点匹配过程中容易出现特征值差异［16］.因此设置比较损失Lc以补偿由模糊引起的特征差异，表达式为

其中，K表示人脸图像的训练集总样本数，μ1（.）表示通道注意力权重，f0（.）表示平衡函数.

将邻域中的所有关键点转换到以图像的中心像素为圆心的参考坐标系中［17］，以构建局部最优特征的空间结构，表达式如下

其中，d（p2）表示像素单位向量，n（p2）表示像素模长.

则可利用下式完成人脸关键点的匹配，即

其中，νx，y表示人脸关键点匹配结果，大于0表明匹配成功，小于0表明匹配失败，则应重新计算关键点软阈值；fx和fy分别表示测试集人脸曲面与人脸库中的人脸曲面.

通过将人脸轮廓线关键点进行低维空间转换，挑选出大于设定变换阈值的特征值与特征向量，结合损失函数与模糊补偿函数，对关键点进行多角度匹配，为接下来实现人脸识别提供有利条件.

1.3 基于深度学习的人脸识别

根据人脸关键点匹配结果，运用卷积神经网络算法对人脸进行识别，其识别流程如图2所示.

图2 基于深度学习的人脸识别流程

将原始输入图像调整为25×25×60大小，并根据每个面部图像的比例删除超过面部候选的预选框［18］.将识别框中心点的坐标设置为（n，m），且其到达真实框上边缘与下边缘的距离分别为s和z，卷积神经网络算法的置信度值可以使用以下公式计算

其中，νx，y表示人脸关键点匹配结果，y表示识别元损失平均值，即确信值，表示敏感参数，θ0表示像素交叉熵.

将提取到的人脸关键点特征与匹配结果输入卷积神经网络的输入单元中，利用网络的第二层卷积层对源数据进行映射处理［19］，即

其中，Q（i，j）表示图像数据Q的特征仿射，a1表示人脸冗余特征信息，v1表示卷积核.

利用卷积神经网络的全连接层对输入图像进行池化处理，得到

其中，ξ表示人脸特征数据的池化最大值，I表示原始输入图像，a′和b′分别表示特征数据到预选框的水平距离与垂直距离.

基于人脸数据的池化结果，利用网络的记忆模块对人脸进行分类识别，其公式为

其中，σ表示人脸图像对比库中的源数据.将输入图像的池化结果与对比库的源数据进行比较，计算M的值.当M＝1时，表明待识别图像与网络输出人脸图像为同一张人脸；当M≠1时，表明待识别图像与网络输出人脸图像不为同一张人脸.

通过卷积神经网络算法进行身份检定，以此实现基于深度学习的低质量图像模糊人脸识别方法的设计.

2 实验论证

为验证本文方法有效性，选取专用于研究低质量模糊人脸图像识别的FERET、ORL 和YALE 3种数据库，以测试本文方法的识别效果.

2.1 实验准备

面部识别方法测试实验使用Matla－bR2019b平台进行，CPU 为3.40GH，内存为16GB，选择Windows 11操作系统和i7处理器.FERET数据库包含326个目标对象和14123个3D面部图像；ORL数据库包含185个目标对象和7875个3D面部图像；YALE数据库包含89个目标对象和2395张3D面部图像.3个数据库中包含大量丰富的表情、姿态与角度不一的低质量模糊人脸图像，部分数据集如图3所示.

图3 部分数据集图像

对原始实验数据集进行平移、旋转、缩放以及不透明度调整等处理，以增强数据集，然后使用专业图像处理软件对图像进行预处理操作.根据光照变化条件，可以将所有图像划分为5个子集.第一个子集的照明方向为0°～10°，第二个子集的光照方向为11°～20°，第三个子集的光照方向为21°～35°，第四个子集的光照方向为36°～77°，第五个子集的光照方向为＞78°.

在实验过程中，选择每个数据子集的20%作为实验样本，采用设计方法和比较方法对其进行人脸识别.

由于关键点检测时，选择的阈值会直接影响人脸识别结果，采用三类数据库进行实验，获取最优阈值，得到稳定性最高的关键点.因此，在三个数据库中分别对各表情类型进行关键点检测，设置相同对象中相同位置的点为存在差异点云中欧式距离＜3.9mm 的关键点.

2.2 实验说明

实验时，随机选取数据集中前500张人脸图像对卷积神经网络进行训练与拟合，并按照表1所示的网络运行参数对卷积神经网络层次进行设计.

表1 卷积神经网络算法运行参数表

采用softmax函数作为激活函数来监督训练网络，软阈值设为0.50，学习率设为0.0065，迭代轮数设为200；训练人脸分类识别模型时使用SGD 优化算法，其中次梯度系数为0.1，偏差度因子为0.5.

2.3 人脸识别准确率实验对比分析

从每个数据集中选择前50幅图像作为训练集.为避免原始图像大小变化影响实验结果的问题，对所有数据集进行无失真缩放，使每个图像都包含不同角度的人脸，使算法更容易识别人脸判别特征.人脸识别过程如图4所示.

图4 人脸识别流程

人脸的1∶1验证是评估人脸识别算法的常用指标，为测试本文方法的有效性，采用文献［1］融合注意力机制（方法1）、文献［2］特征匹配（方法2）作为本文方法的对比方法，利用平均准确度P作为不同识别算法的评价指标，其计算公式为

其中，q1识别正确的人脸图像数量，qN表示输入的总人脸图像数量.

分别采用以上3种方法对输入网络的容量图像进行识别分类，并利用上式计算不同方法的识别平均准确度，以定性评估3种方法的识别性能.对比结果如图5所示.

图5 不同方法的人脸识别准确度结果对比

图5可以看出，在不同模糊比例较低的人脸图像识别中，利用本文方法得到的识别准确度均远高于对比方法.方法1建立的人脸识别分类模型没有较好地平衡模型总控制参数量与模型学习率之间的关系，故影响了识别效果；方法2对模糊比例较低的人脸图像识别准确度相对较高，但对于模糊程度较高的低质量人脸图像，该方法无法准确提取图像边角局部细节特征，所以方法2并不适用于较高模糊比例的人脸识别.由此可以说明，本文设计的方法能够较准确地识别低质量图像模糊人脸识别准确度.