基于深度学习的图像恢复技术研究与实现

陆佳磊 张永健

摘要：针对现有的基于传统算法的图像恢复技术无法有效地恢复出高质量图像问题，本文提出了基于深度学习技术的图像恢复方法。对现有的图像恢复网络进行改进，总体网路模型基于生成对抗网络，其中生成网络总体结构基于UNet网络，对上采样下采样的次数作调整，根据数据集的特点，减少了网络的下采样次数，防止因为网络的层数过多导致的特性信息的流失。特征提取模块中加入密集网络的特征提取模块，在减少网络参数的同时提升提取特征的能力。数据集使用了经过光加密系统后的CGH（Computer Generated Holograms）计算生成全息图作为生成的噪声图像，并使用本文提出深度学习方法对该测试集进行恢复，对恢复的结果使用PSNR和SSIM指标进行评价，结果显示本文提出算法的有效性能。综上可知，本文算法所实现的模型能够有效地对现有的受损图像恢复并且恢复出高质量的图像，对图像恢复领域有着较高的实用价值和意义。

关键词：图像恢复;深度学习;图像去噪;计算生成全息图;图像光加密

中图分类号：TP391    文献标识码： A

文章编号：1009-3044（2021）14-0164-02

在如今信息技术高度发展的时代，信息安全变得尤为重要，光加密作为一种可靠的图像加密技术具有安全，高效等特点。在光加密系统中，随机相位掩膜面积有限，为一截断纯相位模板，因此傅立叶谱不可能是一纯相位函数，故生成的图像具有严重的图像噪声。直接对数据集使用光加密系统的噪声图像使用深度学习去噪需要大量的数据样本，无法达到实际使用的要求。

计算全息技术是光学技术与计算机技术结合的产物，通过计算机对于三维虚拟物体的光波和参考光的干涉进行模拟计算，通过波前调制设备加载干涉条纹重现三维虚拟物体。对数据集使用计算全息图后在使用图像加密系统对图像进行加密，计算全息图生成的图像特征类似，使用深度学习技术只需要学习相似的图像特征，这就能克服需要大量的数据样本来学习图像权重恢复图像的缺点，通过这种方法只需要少量的数据样本就能对解密后的噪声图像进行恢复。

基于传统的图像去噪算法对受损严重的图像无法有效的去噪。现有的深度学习算法如DnCNN和一些去雾去雨的网络针对的数据集噪声简单，而本文的噪声干扰较为严重，需要对特征提取模块和网络的总体结构重新设计来达到去除图像噪声的目的。

1 相关工作

本文数据集通过仿真实验生成数据集。在生成数据的过程中，预先使用数据集转化为CGH图，再将CGH图像通过光加密系统加密解密，最后生成的解密图像伴随严重的噪声干扰，通过深度学习技术对解密后的噪声图去噪，恢复出高质量的无噪声图。

本文去噪技术的实现使用深度学习算法，其中网络基于GAN[1]（Generative Adversarial Networks）生成对抗网络对图像进行去噪，与传统的深度学习模型不同的，生成对抗网络由生成网络和判别网络两个部分组合而成，生成网络的参数更新根据判别网络而来。判别网络和生成网络通过交替更新参数的方式训练，最后达到一个纳什平衡，生成最优的图像。生成网络拟合出接近于原图像的数据分布，可以生成质量较高的图像，在本文中，通过对抗训练的方式去除图像的噪声，最后拟合出高质量的无噪声图像。

生成网络基于UNet[2]拓扑结构，通过控制UNet网络的下采样参数来调整网络的最优结果。为了增加网络的性能，受到Dense Block[3]密集网络模块启发，在网络的特征提取模块中加入了特征提取模块提升网络的性能。

根据EfficientNet[4]的启发，影响网络性能主要有三个指标，即网络的深度，网络的宽度和分辨率直接影响着网络的性能。网路的深度通过堆叠卷积层的数量实现，网络的宽度通过对不同尺度下的特征图提取特征实现，Inception V3中通过对输入的特征图使用不同尺度的卷积核提取了特征的方式来增强网络的宽度。而网络的分辨率可以通过选择下采样的方式来控制，例如通过采样最大池化层和通过设置卷积核的步长来控制分辨率因素。基于该理论，本文通过深度参数来控制网络的深度，使用卷积核的方式会造成图像的失真问题，通过设置下采样的方式为最大池化层提取最有表征能力的特征。

2 网络模型搭建

针对本文中CGH噪声图像特点，如何提取出图像中的有效特征信息是一个具有挑战性的问题，本文中的特征提取模块加入密集网络模块，每个密集网络模块使用由5个卷积层和归一化层、激活函数层基本构件Base Block组合而成。使用BN（Batch normalization）层[5]可以加快网络的收敛速度，同时可以防止过拟合的过程，但是这也造成了网络中的参数过多。基于像素级别的图像恢复算法需要大量的網络参数来提升网络的性能，这样造成的网络的训练速度过慢，在模型中的加入1×1的卷积可以在不影响网络性能的情况下减少网络的参数，此外1×1的卷积可以对网络的通道进行非线性的融合，提升网络的拟合能力。故每个Dense Block由2组Base Block和一个1×1的卷积组合而成。生成网络的总体网络结构基于UNet，原始的UNet网络对输入的特征图做4次的下采样，其原理基于图像金字塔理论，通过特征图的变换提取不同尺度下特征图的特征信息，提升网络的鲁棒性。

而针对不同的数据集的特点应该控制下采样的次数，在本文的数据集中，下采样次数的增强会造成网络中卷积层数的增加，这样会导致特性信息的流失，同时，会造成网络的参数过多。在实验的过程中发现了将下采样次数控制在2次的情况下生成最优的图像质量。

生成网络的结构图如图1所示，将噪声图像输入到生成网络中，生成网络经过3个Dense Block提取特征，该过程中对特征图做两次的下采样。相应的将特征图经过两次上采样恢复出原图像的尺度大小，在上采样和下采样的对应维度特征图下通过skip concat跳跃连接来共享特性图的信息流，这样保证特征信息能在网络中有效地传递。恢复出高质量的图像。最后生成网络输出去噪后的干净图像。

3 实验过程与结果

3.1模型的训练过程

本文的网络模型搭建基于tensorflow1.0框架，实验中使用Rtx 2080ti训练数据集，实验的数据使用26个英文字母，每种英文字母使用50张不同的图像共1300张作为训练集，其中测试每种英文字母使用5种不同的图像作为测试集。

在训练的过程中，控制初始学习率为0.001，在训练的过程中学习率指数衰减的方式自适应的变换。在经过50万轮次的学习过后，损失函数下降趋于平稳。此时训练结束。

訓练的结果如图2所示，从左往右开始，第一张为经过光学加密系统的二值图像，第二张为经过本文对抗网络训练后算法去噪后的图像，第三张为原CGH图。第四张为原始图像，第五张为经过去噪后重现的CGH图像，第六张为原始CGH重现后的图像。

3.2图像评价指标

本文算法使用了SSIM和PSNR作为实验的去噪后的参考指标。结果使用BM3D传统算法和本文算法进行了对比，其数据指标结果如表1所示。从指标数据可以得知本文去噪算法的有效性。

4 结束语

本文主要提出了针对光学图像加密和CGH图像的严重噪声干扰图像的去噪方法。通过重新设计特征提取模块和设计网络的拓扑结构来提升网络的性能。使用了基于密集网络的模块结构来提取图像中的有效特征信息。针对网络训练过程中图像的参数过多的问题，使用了1×1的卷积在不影响网络性能的前提下来减少网络的参数。通过仿真实验来生成深度学习的训练集和测试集，通过观察去噪后的结果证明本文算法对于去除受到严重噪声干扰的图像的有效性。

参考文献：

[1] Isola P，Zhu J Y，Zhou T H，et al.Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：5967-5976.

[2] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[4] Tan M X，le Q V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019

[5] S. Ioffe and C. Szegedy. Batch normalization： Accelerating deep network training by reducing internal covariate shift. In Proceedings of The 32nd International Conference on Machine Learning （ICML），2015：448-456.

【通联编辑：梁书】