基于退化感知和序列残差的图像盲超分辨率重建

刘鑫 唐红梅 席建锐 梁春阳

摘 要：针对盲超分辨率重建中特征提取不准确且重建图像不够自然的问题，提出了一种基于退化感知和序列残差的图像盲超分辨率重建算法，设计了小残差组融合退化感知和序列残差相结合作为所提算法的主干网络，进一步构建了对称的增强型多尺度残差模块，并且在图像重建部分，将瓶颈注意力模块与像素重组上采样模块级联，强调图像的多维元素，最后进行了全局残差连接。实验表明，与当前代表性算法DASR相比，该算法在Set14×2上的PSNR和SSIM分别提高0.145 dB、0.001 4，在Set14×3/4上PSNR分別提高1.898 dB、0.252 dB，且在五个标准测试集上与几种当前流行的图像超分辨率算法相比取得了更好的性能。

关键词：盲超分辨率；深度学习；退化感知；序列残差

中图分类号：TP391.41   文献标志码：A

文章编号：1001-3695（2023）09-049-2869-06

doi：10.19734/j.issn.1001-3695.2022.12.0810

Blind image super-resolution reconstruction based on

degradation aware and sequence residuals

Liu Xin，Tang Hongmei，Xi Jianrui，Liang Chunyang

（College of Electronic Information Engineering，Hebei University of Technology，Tianjin 300401，China）

Abstract：Aiming at the problem that feature extraction is inaccurate and the reconstruction image is not natural enough in blind super-resolution reconstruction，this paper proposed an image blind super-resolution reconstruction based on degradation aware and sequence residuals.This paper proposed a mini-residual group combined degeneration aware and sequence residuals as the backbone network.Then the method constructed a symmetrical enhanced multi-scale residual block.In the image reconstruction part，this paper used the bottleneck attention module and the sub-pixel convolutional module to emphasize the multi-dimensional elements of the image.Finally，the method made a global residual connection. Compared with the current representative algorithm DASR，experiments show that the PSNR and SSIM of the proposed algorithm are improved 0.145 dB and 0.001 4 on Set14×2，and the PSNR of the proposed algorithm is improved 1.898 dB and 0.252 dB on Set14×3/4，respectively.The proposed algorithm achieves better performance than several current image super-resolution algorithms on five standard test sets.

Key words：blind super-resolution；deep learning；degradation aware；sequence residuals

0 引言

图像的超分辨率（super resolution，SR）重建是指从低分辨率图像（low-resolution，LR）中重建出更多具有丰富纹理细节的高分辨率图像（high-resolution，HR），该技术被广泛应用在地理遥感、医学成像、军事公安［1］等领域。HR是具有特征丰富、高像素密度的图像，可以应用于多个领域，所以如何让重建的图像逼近HR是近年来的研究热点。

传统的图像超分辨率重建算法一般分为基于插值的图像超分辨率算法、基于重建的图像超分辨率算法和基于学习的图像超分辨率算法［2］。随着深度学习的快速发展，2015年，Dong等人［3］提出基于深度学习的超分辨率重建，随后，研究者们不断改进基于深度学习的超分辨率重建算法，例如EDSR［4］、CARN［5］、SRGAN［6］等。2018年，Schocher等人［7］提出盲超分辨率重建算法，即基于零样本超分辨率网络（ZSSR），通过无监督方式训练来自经典退化模型单个图像中的内部数据。近些年，在图像盲超分辨率领域，文献［8，9］分别提出了IKC和DAN，IKC是通过迭代矫正核估计实现超分辨率重建，DAN是将矫正器和超分辨率网络统一进行训练。图像盲超分辨率重建的目的是为了提高退化模型未知图片的超分效果，由于退化类型多种多样，可以把图像盲超分辨率重建的目标理解为提高模型的泛化性能，使模型更好地应用在现实生活中。但是目前盲超分辨率重建技术存在特征提取不够准确且重建图像不够自然的问题，为了解决以上问题，建立了退化感知和序列残差的图像盲超分辨率重建网络。实验结果表明，该算法不仅能够有效地重建出效果较好、边缘质量较高的图像，而且与HR图像更加贴合。其主要贡献包括：a）构建小残差组置于退化混合序列残差模块之前，用于加快特征收敛；b）提出了退化混合序列残差模块作为主干网络，用于自适应提取退化特征的序列信息，加强深层特征的提取；c）设计了对称的增强型多尺度残差模块，实现了多尺度的特征融合，使得提取深层特征的梯度信息流更加稳定。

1 网络结构

提出的退化感知混合序列残差网络（degradation aware hybrid sequence residuals network，DAHSRN）图像盲超分辨率重建算法包括获取退化特征和提取浅层特征、提取深层特征、重建以及全局残差连接四部分，如图1所示。定义整个网络有两个输入R、ILR和一个输出ISR。退化表示学习的目标是以无监督的方式学习退化信息，本文算法采用各向同性高斯核降质和对比学习框架进行退化表示学习。假设从同一张退化图像得到的切片属于同一种退化，来自不同降质图像的切片属于不同退化。退化特征R是数据IHR通过式（1）退化再经过moco编码器进行对比学习得到，如图2所示，此部分位于图1的获取退化特征部分。

2.4 对比现有先进模型

1）定量比较

为了证明本文算法的有效性，在Set5、Set14、Urban100、BSD100、Manga109五个标准测试集的×2/3/4上进行测试，并且分别在PSNR（dB）/SSIM进行了定量客观比较，对比算法包括当前流行的Bicubic、ZSSR、DASR、IKC、MANet［19］。Bicubic利用插值技术增加图形数据实现图像超分辨率重建；ZSSR利用外部和内部信息进行数千次反向传播梯度更新来获得图像超分辨率重建结果；DASR通过学习抽象表示各种退化构成一种具有退化感知能力的网络，从而实现图像超分辨率重建；IKC通过迭代应用核不断校正来获得图像超分辨率结果；MANet通过集成了门机制和空间注意，以激活局部信息来实现图像超分辨率重建。具体实验结果如表3所示。表3加粗标注是本文算法最好的结果，下画线标注是次好的结果，PSNR、SSIM后面的箭头代表数值越大效果越好。

表3实验结果显示，提升最高的是在Set14和Manga109测试集上。在Set14测试集上指标明显提升，在PSNR指标上Set14×2相比于最高的DASR提升了0.145 dB，在Set14×3相比于最高的MANet提升了0.348 dB，在Set14×4相比于最高的MANet提高了0.232 dB，同时也可以看出SSIM相比于指标最高的MANet在Set14×2/3/4分别提升了0.02、0.005 2、0.004 1。在Manga109×2/3/4相比于DASR算法PSNR分别提升了0.722 dB、0.227 dB、0.232 dB，在SSIM指标上分别提升0.001 1、0.002、0.002 7。从五个测试集上的两个评价指标的整体数据来看，本文算法在PSNR和SSIM指标上明显优于对比算法，在每个数据集指标相比于主流算法都有提升，更具有泛化性。结合定性實验看出，本文算法重建的效果与HR图像之间的差距最小，重建的质量最好。

2）重建效果比较

考虑到网络重建的效果，同其他流行的算法进行了比较，其他算法包括用于图像恢复的BSRDM［20］、无监督模式的盲超分辨率网络DASR、有监督模式的盲超分辨率网络IKC以及Bicubic。除此之外，图6给出各个算法在Set5中Butterfly、Set14中Baboon、Urban100中Img003、BSD100中3096、Manga109中AisazuNiharlrarenai的HR图、裁剪细节放大图以及每张图的PSNR值，截取图像中的两部分分别放在相应图像右侧的第一行和第二行。

从图6（a）可以看出，本文算法对butterfly图像在纹理细节上贴近HR，边缘比DASR更尖锐，明显与HR相近。本文算法对Baboon图像鼻子旁边的胡须要比IKC根根分明，又比BSRDM真实。在Urban100数据集中，本文算法重建的Img003墙要比其他算法在颜色上更接近HR，花盆和墙面没有DASR、IKC连接那么紧密，并且整体花的轮廓清晰，颜色分明，同时要比BSRDM更自然。在BSD100中，本文算法重建出3096图像比DASR重建图像的对比度更明显之外，飞机上的“A”字母纹理细节也更清晰。对于Manga109漫画类的图像，本文算法重建出来的小男孩，脸颊有一种蜡笔画出的纹理感，更符合漫画类的图像。总之可以看出，用于图像恢复的BSRDM算法重建图像细节与HR图像相差甚远，本文算法比DASR、IKC在PSNR值上要高且重建图像效果较好。图6显示，本文算法重建效果具有一定的泛化性，还原边缘细节方面做到非常自然，PSNR值与其他算法相比最高，效果与HR最为相近。

3 结束语

为了能够准确提取图像特征，让重建图像更加自然，提出了退化感知和序列残差融合作为主干网络，从而自适应提取退化特征的序列信息；为了能增强有效特征的融合，提高去除冗余特征的能力，使网络稳定训练，在整体网络结构上构建了对称的三个增强型多尺度残差块结构；并且考虑到进一步强调特征的关键元素，在图像重建过程中的像素重组上采样模块前级联了瓶颈注意力模块。在Set5、Set14、Urban100、BSD100和Manga109五个测试集上验证出本文算法的有效性，结合评价指标的定量结果和重建效果，最终结果表明，本文算法可以重建出更好的超分辨率效果。在未来发展中应考虑如何让盲超分辨重建算法适应不同环境变化，将盲超分辨率重建灵活地应用在实际场景中。

参考文献：

［1］Yin Yu，Robinson J，Zhang Yulun，et al.Joint super-resolution and alignment of tiny faces［C］//Proc of AAAI Conference on Artificial Intelligence.2020：12693-12700.

［2］唐艳秋，潘泓，朱亚平，等. 图像超分辨率重建研究综述［J］.电子学报，2020，48（7）：1407-1420.（Tang Yanqiu，Pan Hong，Zhu Yaping，et al.A survey of image super-resolution reconstruction［J］.Chinese Journal of Electronics，2020，48（7）：1407-1420.）

［3］Dong Chao，Zhu Ximei，Deng Yubin，et al.Boosting optical character recognition：a super-resolution approach ［EB/OL］.（2015-06-07）.https：//arxiv.org/abs/1506.02211.

［4］Lim B，Son S，Kim H，et al.Enhanced deep residual networks for single image super-resolution［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2017：1132-1140.

［5］Ahn N，Kang B，Sohn K A. Fast，accurate，and lightweight super-resolution with cascading residual network［C］//Proc of the 15th Euro-pean Conference on Computer Vision. Berlin：Springer-Verlag，2018：256-272.

［6］Ledig C，Theis L，Huszár F，et al.Photo-realistic single image super-resolution using a generative adversarial network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2017：4681-4690.

［7］Shocher A，Cohen N，Irani M. “Zero-shot” super-resolution using deep internal learning［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：3118-3126.

［8］Gu Jinjin，Lu Hannan，Zuo Wangmeng，et al.Blind super-resolution with iterative kernel correction ［C］//Proc of the IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：1604-1613.

［9］Luo Zhengxiong，Huang Yan，Li Shang，et al.Unfolding the alternating optimization for blind super resolution［J］.Advances in Neural Information Processing Systems，2020，33：5632-5643.

［10］Park J，Woo S，Lee J Y，et al.BAM：bottleneck attention module ［EB/OL］.（2018-07-18）.https：//arxiv.org/abs/1807.06514.

［11］Shi Wenzhe，Caballero J，Huszár F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2016：1874-1883.

［12］PengChangmeng，Shu Pei，Huang Xiaoyang，et al.LCRCA： image super-resolution using lightweight concatenated residual channel attention networks［J］.Applied Intelligence，2022，52（9）：10045-10059.

［13］Wang Longguang，Wang Yingqian，Dong Xiaoyu，et al.Unsupervised degradation representation learning for blind super-resolution［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2021：10576-10585.

［14］Bevilacqua M，Roumy A，Guillemot C，et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding ［C］//Proc of British Machine Vision Conference.2012.

［15］Yang Jianchao，Wright J，Huang T S，et al.Image super-resolution via sparse representation［J］.IEEE Trans on Image Processing，2010，19（11）：2861-2873.

［16］Martin D，Fowlkes C，Tal D，et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics［C］//Proc of the 8th IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2001：416-423.

［17］Huang Jiabin，Singh A，Ahuja N.Single image super-resolution from transformed self-exemplars［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：5197-5206.

［18］Matsui Y，Ito K，Aramaki Y，et al.Sketch-based manga retrieval using Manga109 dataset［J］.Multimedia Tools and Applications，2017，76：21811-21838.

［19］Wang Yan，Li Yusen，Wang Gang，et al.Multi-scale attention network for single image super-resolution ［EB/OL］.（2022-09-29）.https：//arxiv.org/abs/2209.14145.

［20］Yue Zongsheng，Zhao Qian，Xie Jianwen，et al.Blind image super-reso-lution with elaborate degradation modeling on noise and kernel［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2022：2118-2128.

收稿日期：2022-12-21；修回日期：2023-02-17  基金項目：河北省自然科学基金资助项目（F2019202387）

作者简介：刘鑫（1998-），女，河北石家庄人，硕士研究生，主要研究方向为图像处理与深度学习；唐红梅（1968-），女（通信作者），河北石家庄人，副教授，硕士，主要研究方向为图像处理与模式识别（hmtang2005@163.com）；席建锐（1998-），女，河南南阳人，硕士研究生，主要研究方向为深度学习与三维重建；梁春阳（1996-），男，山东聊城人，硕士，主要研究方向为深度学习与三维重建.