基于多源融合的人脸图像超分辨率算法

2023-10-02许若波李平张梓楚李阳

电脑知识与技术 2023年24期

许若波,李平,张梓楚,李阳

（1.江苏信息职业技术学院物联网工程学院（信息安全学院），江苏无锡 214153；2.荆楚理工学院机械工程学院，湖北荆门 448000）

0 引言

人脸超分辨率重建技术是指将模糊不清的低分辨率人脸图像生成细节丰富的高分辨率人脸图像。目前人脸超分辨率重建技术应用在多个领域，例如人脸识别、目标检测、智能安防等领域，尤其为刑侦破案提供了诸多的便利，进一步提高了破案率。近年来，广大研究学者采用基于深度学习技术的图像超分辨率算法重建低分辨率图像，例如，Dong等人[1]提出了使用浅层的神经网络重建高分辨率图像（Image Super-Resolution using Deep Convolutional Networks，SRCNN），相对于传统的图像超分辨率算法而言，获得了更好的主、客观效果，但是其只能恢复图像的基本轮廓以及少量的高频细节信息；Kim 等人[2]提出了使用深层的残差网络提取低分辨率图像的高频细节信息（Accurate Image Super-Resolution Using Very Deep Convolutional Networks，VDSR），获得了较好的主、客观结果。Song 等人[3]考虑到人脸的结构特性，提出通过组件生成和增强学习的人脸图像重建算法（Learning to Hallucinate Face Images via Component Generation and Enhancement，LCGE），也获得了良好的重建效果；Dai等人[4]提出了一种深度二阶注意力网络（Second-order Attention Network for Single Image Super-Resolution，SAN），用于更强的特征表达和特征相关度学习，在网络中嵌入非局部操作来获取长距离依赖和结构信息，通过全局协方差池化来学习特征之间的相互依赖关系，以获得更有判别力的特征表达；Zhang等人[5]提出了一种基于混合高阶注意力网络（Remote Sensing Image Super-Resolution via Mixed High-Order Attention Network，MHAN），该算法包含两个组件，分别是用于特征提取和恢复细节的具有高阶注意力机制的特征细化网络。

本文算法利用双分支并行网络的输出结果进行加权融合重建，其中深层特征网络提取人脸图像的高频细节信息，多尺度浅层网络提取详细的人脸基本轮廓特征信息，融合重建网络重建出高分辨率人脸图像，在融合的过程中采用了加权融合的方式，最终重建出更多细节的高分辨率人脸图像。

1 相关知识

近年来，基于深度学习技术的图像超分辨率算法得到许多研究学者的广泛关注，Dong 等人[1]提出了使用浅层神经网络重建低分辨率图像，Kim 等人[2]在SRCNN的基础上采用了加深网络层数的策略，用于提取人脸图像的残差信息，恢复了更多的细节信息，但是还有大量的高频信息尚未恢复；Zhang等人[3]提出了一种基于混合高阶注意力网络，可以专注于特征提取和恢复高频细节。为此受到启发，采用多分支并行网络完成不同的重建任务，并让每个分支网络的输出结果起到相互促进的作用。其中，使用深层网络提取人脸高频细节信息，多尺度浅层网络采用多尺度的方式获取更丰富的人脸基本轮廓信息，然后采用融合重建网络，将并行网络的输出结果进行加权融合重建，最终获得细节丰富的高分辨率人脸图像。

2 基于多源融合的人脸图像超分辨率算法

本文提出的基于多源融合的人脸图像超分辨率网络结构如图1所示。该网络结构分为两条并行的重建网络和一条融合重建网络。其中双分支并行重建网络包含深层特征提取网络和多尺度浅层网络，融合重建网络采用加权融合的方式来进一步重建出更多的人脸细节信息。

在本文中，训练集为{xi,yi}N i=1，其中，i表示单个图像的索引序号，N表示训练集的总数量，低分辨率图像表示为xi∈Rm×n，高分辨率图像表示为yi∈Rmt×nt，t表示采样因子。

基于多源融合的人脸图像超分辨率网络输入的是RGB彩色低分辨率人脸图像，第一层由1个卷积层和1 个ReLU 激活函数层组成，卷积层的输入通道数为3，输出通道数为256。其输出作为后续深层特征提取网络和多尺度浅层网络的输入。深层特征提取网络和多尺度浅层网络的输入特征图像为：

其中，f DMI(·)表示输出特征图操作，用作深层特征提取网络和多尺度浅层网络的输入特征图像表示深层特征提取网络和多尺度浅层网络的输入特征图像。

2.1 深层特征提取网络

为了提取人脸的高频细节信息，本文采用了深层的残差网络。深层残差网络可以解决在训练过程中的梯度消失和梯度爆炸的问题，随着网络层数的不断增加，深层残差网络的性能也会不断提升，从而可以有效地提取低分辨率人脸图像中的高频细节信息。深层特征提取网络分支如图1左半部分所示。

深层特征提取网络专注于恢复低分辨率人脸图像的高频信息，其网络结构由12 个残差块、1 个卷积层和1 个ReLU 激活函数层组成，为了节省网络的训练时间，因此在低分辨率空间进行训练。在深层特征提取网络分支使用了12个残差块恢复低分辨率人脸图像的高频信息，残差块由卷积层、ReLU 激活函数层、卷积层和ReLU 激活函数层叠加组成，其中，卷积核大小为3 × 3，步长为1，为了获取更丰富的特征，进一步提升网络的重建性能，故将卷积核数量全设置为256。为了防止出现深层网络的梯度爆炸或梯度消失的问题，故在每个残差块中使用了短跳跃连接，并采用长跳跃连接的方式，让深层特征提取网络最终输出的高频残差特征图像与低频信息特征图像进行相加，以此来促进深层特征提取网络的收敛，增强网络训练过程中的稳定性，最终获取深层特征提取网络输出的人脸特征图像。深层特征提取网络提取人脸高频信息特征图像操作为：

其中，f DF(·)表示深层特征提取网络，表示深层特征提取网络的输入，表示深层特征提取网络输出的具有高频信息的人脸特征图像。

2.2 多尺度浅层网络

为了更精准地提取人脸图像基本轮廓信息，本文算法设计了多尺度浅层网络结构，多尺度浅层网络由3 个不同大小卷积核的卷积层和ReLU 激活函数层、4个残差块、1 个卷积层和1 个ReLU 激活函数层组成，多尺度浅层网络结构如图1右半部分网络分支所示。不同大小的卷积核感受野不同，因此可以提取不同尺度的特征。在浅层网络的第一层采用了3个并行的提取多尺度特征的网络层，该网络层由卷积层和ReLU激活函数层组成，它们的卷积核大小分别设置为3 ×3、5 × 5、7 × 7，卷积核个数全设置为256。然后将3个并行的多尺度特征提取网络层输出的特征图像进行相加融合，来获取不同尺度的人脸图像基本轮廓特征信息。最后采用4个残差块来进一步提取丰富的人脸基本轮廓特征信息，多尺度浅层网络的残差块网络结构与深层特征提取网络所使用的网络结构相同。多尺度浅层网络提取人脸基本轮廓特征图像操作为：

其中，f MF(·)表示多尺度浅层网络表示多尺度浅层网络输出的人脸基本轮廓特征图像。

2.3 融合重建网络

融合重建网络由加权融合模块、特征提取模块和上采样模块组成，融合重建网络如图1下半部分所示。其中，加权融合模块首先将深层特征提取网络的输出与多尺度浅层网络的输出进行加权相乘操作，然后进行相加操作；特征提取模块由2个残差块组成，卷积核大小3 × 3，卷积核数量为256；上采样模块由卷积层和子像素卷积层叠加组成，从而形成两个串联的上采样子模块。首先将深层特征提取网络的输出与多尺度浅层网络的输出分别进行加权相乘操作，加权系数分别设置为α= 0.8和β= 0.2，然后将两者加权相乘后的特征图进行相加，接着将融合后的特征图输入至特征提取模块，进一步提取融合后的特征细节信息，然后进入上采样模块，每次上采样2倍，共上采样2次，从而将低分辨率人脸特征图像上采样至高分辨率空间，最后输入至卷积核个数为3的卷积层，融合重建出最终的高分辨率人脸图像。最终融合重建图像为：

其中，ffusion(·)表示融合重建网络，α设置为0.8，β设置为0.2，Yi表示最终重建的高分辨率人脸图像。

2.4 损失函数

为了使网络有更好的收敛能力，采用了L1损失函数，L1 损失函数比L2 损失函数具有更好的网络收敛能力。因此，本文算法使用了L1损失函数，基于多源融合的人脸图像超分辨率网络损失函数为：

其中，yi表示原始高分辨率人脸图像，Yi表示最终重建的高分辨率人脸图像，Loss表示多源融合网络的损失。

3 实验与结果分析

3.1 实验数据集

本文使用了FEI（FEI Face Database）人脸数据集进行实验，FEI数据集共含有400张人脸正面图像，其中选出360张人脸图像作为训练集，40张人脸图像作为测试集，原始高分辨率人脸图像大小为260 × 360像素，使用双三次插值算法将原始的高分辨率人脸图像下采样4倍作为训练、测试的低分辨率人脸图像，低分辨率人脸图像大小为65 × 90像素。本文算法与多个对比算法均使用FEI数据集。

3.2 实验参数信息

实验采用NVIDIA GTX 1080Ti 显卡进行训练，在训练过程中，本文算法将低分辨率人脸图像和高分辨率人脸图像数据集进行了分块，从而形成相对应的低、高分辨率人脸图像块训练集，所输入的低分辨率图像块大小为48 × 48像素，批量大小设置为16，本文算法共训练300个时期，为了使算法能够快速的收敛，学习率设置为0.000 1。优化器采用随机梯度下降法，动量设置为0.9。

3.3 实验结果

本文算法采用了峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性（Structural SIMilarity，SSIM）作为客观评价指标，PSNR 和SSIM 从图像的角度刻画了重建图像与原始图像之间的相似性。本文算法与目前现有的流行算法在主观视觉效果和客观评估方面进行了比较，其中与本文算法作比较的算法包括双三次插值算法（Bicubic）、SRCNN、VDSR、SAN和MHAN算法，这些算法均属于目前比较流行的图像超分辨率重建算法。

为了证明本文算法的有效性，与多个对比算法在主观视觉效果和客观评估值两个方面作出了比较。在主观视觉效果方面，本文算法与Bicubic、SAN 和MHAN算法作出了比较，通过放大人脸图像中的眼睛区域，如图2所示，Bicubic算法重建的人脸图像，高频细节完全丢失，只能重建出基本的人脸轮廓信息；SAN 算法重建的高分辨率人脸图像与原始高分辨率人脸图像相比较，SAN算法重建的人脸图像在眼睛区域的部分高频细节信息并未完全恢复，甚至部分细节出现了模糊不清的现象；MHAN算法重建的人脸高分辨率图像的眼睛区域与本文算法相比，本文算法生成的图像清晰度更高。

在客观评价方面，分别采用了PSNR和SSIM作为客观评价指标，它们可以评价图像的恢复程度，用量化的指标来评价本文算法的优越性。本文算法与其他算法的PSNR、SSIM 值如表1 所示，表1 中显示的数据为40 张重建后的测试图像的平均PSNR 值和SSIM值。本文算法的PSNR、SSIM 分别超越SAN 和MAHN算法0.12dB/0.001、0.26dB/0.0023。实验结果表明，本文算法在主观视觉效果和客观评估值方面均超越了对比算法。