基于边缘指导的双通道卷积神经网络单图像超分辨率算法

李春平 周登文 贾慧秒

摘要 当前基于卷积神经网络（CNN）的超分辨率（SR）重建算法，虽然取得了很大的成功，但是重建图像高频纹理的效果仍然不能令人满意，其高分辨率（HR）图像局部边缘存在明显的震荡.本文提出一种结合形态学成分分析（MCA）分解的边缘指导双通道CNNSR算法：待处理的低分辨率（LR）图像通过MCA分解为纹理部分和平滑结构部分；纹理部分和原LR图像共同组成双通道，输入到改进的网络结构中重建HR纹理部分；结合HR纹理输出与LR平滑结构部分重建HR图像.训练过程采用最小化纹理损失与原图像损失之和最优化网络模型参数.后处理包括：执行网络输出与LR输入图像的直方图匹配使色调保持一致，提升感官效果；应用迭代的反向映射使HR重建与LR输入保持退化算子一致性提高PSNR值.实验结果显示：该方法能够很好地恢复HR图像的纹理细节，对纹理细节丰富的图像恢复效果更好.关键词

超分辨率；卷积神经网络；形态学成分分析；双通道输入

中图分类号 TP391.41

文献标志码 A

0 引言

单图像超分辨率（SR，Super-Resolution）技术是指通过软件方式把一幅低分辨率（LR，Low-Resolution）图像恢复成高分辨率（HR，High-Resolution）图像的过程.该技术具有广泛的应用，如视频监控、医学成像、遥感卫星成像等.现有的超分辨率算法可分为3类：基于插值[1]、基于重建[2]和基于学习的方法[3-10].其中基于学习的图像SR算法，学习LR和HR图像之间的函数映射关系，生成最终的HR图像，具有更好的复原效果，是近年来研究的热点.

Chang等[4]引入局部线性嵌入法（LLE，Locally Linear Embedding）计算重建图像加权平均的权值.假设HR图像块和对应的LR图像块在几何上具有相似性，通过LLE算法计算出一组最优的线性组合系数，使得样本库中的K个最近邻样本LR块经过这组系数加权平均得到的图像与输入LR图像块之间的误差最小；再将这组系数直接应用于K个样本中的HR图像块，从而得到HR图像.Yang等[6-7]对LR和HR样本图像块构成的样本库进行稀疏表示，并通过联合训练的方式找到LR和HR图像块对应的过完备字典.这种联合训练的方式迫使对应的LR块和HR块通过各自的字典所获得的稀疏系数相同，并由此建立起LR与HR之间的桥梁.基于稀疏字典的圖像SR算法[7]建立稀疏先验约束，在稀疏编码过程自动选择参与SR重建的字典原子数量，而非LLE中人为的设定.这类方法较LLE方法重建质量更高，但是稀疏编码和重建过程需要多次迭代，算法复杂度较大.Jing等[8]改进了Yang等[6-7]的算法，分别重建图像高频纹理部分和平滑部分，纹理部分采用稀疏表示的方法重构，平滑部分简单地用插值的方法恢复，然后组合HR图像，增强了图像纹理细节.

以上基于学习的SR算法主要分为特征提取、学习和重建3个阶段.各阶段分别独立设计优化，且学习模型的特征提取与表达能力有限.近年来，深度学习引起了广泛的关注，它的出现弥补了传统基于学习方法的不足.其中，Dong等[9]率先将卷积神经网络（CNN，Convolutional Neural Network）引入到图像SR复原问题中，设计了基于深度CNN的图像SR复原方法（SRCNN）.该方法主要思想是：以深度学习与传统的稀疏编码之间的关系为依据，将网络分为图像块提取、非线性映射和重建3个阶段，再将这3个阶段统一到一个深度CNN的框架中，学习LR图像到HR图像之间的端到端映射关系.网络结构上，将稀疏编码过程看作卷积操作，利用3层卷积层完成图像块提取、非线性映射和重建操作.优化方式上，传统的基于学习的SR方法对3个阶段分别独立优化处理，忽略了整体框架的优化.SRCNN采用联合优化方式，图像重建性能有了较大的提高.SRCNN模型证明了直接学习LR和HR之间端到端的映射简单可行，效果也很好，但重构出的高频特征仍然不能令人满意.

受文献[8-9]等方法的启发，本文提出一种结合形态学成分分析（MCA，Morphological Component Analysis）[11]分解的边缘指导双通道CNN算法.首先，利用MCA算法，将待处理的LR图像分解为边缘纹理部分和平滑结构部分；边缘纹理部分和原LR图像共同组成双通道，输入到CNN中得到HR纹理图像输出；再将HR纹理输出图像与原LR图像合并，得到重建的HR图像；最后通过最小化纹理损失和原图像损失之和训练网络结构参数.实验结果表明，本文提出的边缘指导双通道模型超分辨率算法在结果图像中能够保留更多高频细节信息，同时也可以很好地减弱振铃现象.实验的评价指标PSNR值也证明了本文模型算法的有效性.

1 本文算法

本章首先介绍如何提取边缘纹理信息构建双通道输入网络结构；然后，进一步解释如何将边缘先验信息嵌入到深度CNN中，以便更好地预测图像SR的高频细节.

1.1 MCA图像分解算法

通过以上算法模型得到图像的结构部分和纹理部分如图1所示.

1.2 边缘指导的双通道输入CNN结构

本文提出一种端到端可训练的边缘指导双通道输入卷积神经网络算法.该算法拓宽了输入图像的维度，图2是提出的边缘指导双通道输入网络结构，输入是提取的LR图像纹理部分和原LR图像组成的图像块.算法包括以下几个部分：

1）LR边缘纹理提取.在1.1节详细提到利用基于稀疏表示和全变分的MCA方法提取LR图像的边缘纹理信息，这也可以推广到建模其他自然图像先验信息上.这里表述如何在深度网络中嵌入边缘信息，具体地，将LR图像中提取的边缘纹理特征与原LR图像共同作为双通道输入，旨在预测HR输出图像的高频纹理特征，然后将其用于复原HR图像.

2）边缘指导双通道输入深度网络.该网络结构旨在学习高、低分辨率纹理图像之间的映射函数.网络由n层组成：第1层块的提取和表示层，从输入图像中紧密的裁剪小块，并表示成一个特征向量，如图2采用64个大小为3×3的滤波器提取特征，相当于滤波器作用在2个输入通道的3×3空间区域（特征映射）上，该特征提取层是一个线性操作，激活函数ReLU对特征提取层输出的所有特征映射作非线性处理，得到特征图（或图像块）第1层的操作如下所示：

最后一层重构层用单一的滤波器大小为3×3×64将HR边缘纹理小块拼接成一幅完整的图像：

中间层由若干個特征映射层组成，不同层可以逐步恢复不同频域的HR图像特征，即把不同频域的LR图像小块的低维特征向量表示成高维特征向量，最终组合成一幅HR纹理输出，其中每一层相当于大小为3×3×64滤波器作用在64个通道的3×3的空间区域上.表示如下：

3）HR图像预测.因为LR图像包含重要的LR细节，基于边缘指导的双通道网络主要恢复高频成分，HR图像重建过程依然需要LR图像细节的辅助，因此最终HR图像输出是用Y-Ttαt替代后的LR平滑结构图片Nl与HR纹理图像输出的和表示，即=Nl+l.

4）训练.重构损失采用HR 图像和HR边缘纹理损失联合训练边缘指导的双通道输入网络结构，把高频纹理特征的恢复应用到网络训练的误差上，使恢复图像更接近真实的HR图像.

1.3 网络训练

2 实验结果及分析

为了验证本文提出的基于双通道CNNSR算法的有效性，LR图像先利用双三次插值（Bicubic）得到初始HR大小的图像，然后用A+算法[13]、ScSR算法[7]、SCN算法[14]、SRCNN算法[9]以及本文的算法SR重建得到的结果进行对比.实验测试使用的仿真软件为：Matlab R2016a，实验的环境为GeForce GTX TITAN GPU，32 GB内存，Ubuntu操作系统.图像效果用主观效果和客观效果评价，测试图像选用Set5、Set14和BSD200.

1）模型细节：实验过程中选取SRCNN实验中使用的91幅图像，采取高斯核模糊（δ=1.2），并双三次插值下采样得到训练集.随机裁剪大小为33×33的小块，采用零均值，标准方差0.001（偏置项为0）的高斯分布初始化每一层的权重，权重衰减项0，动力0.9，采用Adam的策略，无dropout.作为后处理步骤，执行网络的图像输出与LR图像输入的直方图匹配提升感官效果；应用迭代的反向映射使HR图像重建与LR图像输入保持退化算子一致性，提高图像复原质量.

2）主观效果：限于篇幅，仅给出纹理丰富、对本文算法非常敏感的测试图像Butterfly的视觉结果.如图3，是一个3倍放大的Butterfly，LR图像是以因子为3下采样原HR图像得到的.可以看到：由于双三次插值方法没有考虑沿边缘纹理插值，蝴蝶翅膀较大的内部支架纹理不丰富、偏模糊；ScSR，A+，SRCNN方法中蝴蝶的翅膀较大的内部支架和本文方法一样较清晰，但由于没有考虑高频纹理的特征提取，翅膀的细小边缘部分恢复比较模糊；本文的方法提取了更多的高频纹理特征用于SR重建，并逐一恢复不同频率的高频细节，蝴蝶翅膀的细小边缘细节恢复更加清晰.因此从主观上来看，本文算法效果整体优于对比算法.

3）客观效果：采用峰值信噪比（PSNR）进行对比.PSNR对重建图像和原始图像的误差进行定量计算，值越大复原的效果越好.计算式（11）所示：

I和K分别表示原HR图像和重构的HR图像，尺寸为H×W.从表1、表2、表3中得出：不同放大因子，本文方法的PSNR均值都高于对比方法，当放大倍数为3时在Set5上平均PSNR值比SRCNN和SCN方法高出约0.4 dB.对于所有的测试图像，本文的方法都胜出了其他方法.对于显著边和丰富纹理的Butterfly本文超出其他方法近1 dB.

3 结束语

本文提出了结合MCA分解的边缘指导双通道卷积神经网络算法，LR边缘纹理信息从原图像中分离出来作为输入特征的一部分，引导图像的SR重建.采用最小化纹理损失与原图像损失之和最优化网络模型参数以确保训练的平稳性，并执行直方图匹配的后处理与LR图像保持相同的色调和反差，提高图像的感官效果.实验结果表明，本文算法较好地恢复了一般图像的边缘和细节信息，尤其对细节比较丰富的图像复原效果更加明显.下一步工作是将传统的超分辨率方法与基于深度学习的SR方法结合做进一步研究.

参考文献

References

[1] Zhang L，Wu X L.An edge-guided image interpolation algorithm via directional filtering and data fusion[J].IEEE Transactions on Image Processing，2006，15（8）：2226-2238

[2] Rasti P，Demirel H，Anbarjafari G.Image resolution enhancement by using interpolation followed by iterative back projection[C]∥IEEE Signal Processing and Communications Applications Conference，2013，DOI：10.1109/SIU.2013.6531593

[3] Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution[J].IEEE Computer Graphics and Applications，2002，22（2）：56-65

[4] Chang H，Yeung D Y，Xiong Y M.Super-resolution through neighbor embedding[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004，DOI：10.1109/CVPR.2004.1315043

[5] Chan T M，Zhang J P，Pu J，et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J].Pattern Recognition Letters，2009，30（5）：494-502

[6] Yang J C，Wright J，Huang T S，et al.Image super-resolution as sparse representation of raw image patches[C]∥IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8

[7] Yang J C，Wright J，Huang T S，et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing，2010，19（11）：2861-2873

[8] Jing G D，Shi Y H，Lu B.Single-image super-resolution based on decomposition and sparse representation[C]∥International Conference on Multimedia Communications，2011：127-130

[9] Dong C，Loy C C，He K，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307

[10] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C]∥International Conference on Neural Information Processing Systems，2012：1097-1105

[11] Bobin J，Starck J L，Fadili J M，et al.Morphological component analysis：An adaptive thresholding strategy[J].IEEE Transactions on Image Processing，2007，16（11）：2675-2681

[12] Starck J L，Elad M，Donoho D L.Image decomposition via the combination of sparse representations and a variational approach[J].IEEE Transactions on Image Processing，2005，14（10）：1570-1582

[13] Timofte R，De Smet V，Van Gool L.A+：Adjusted anchored neighborhood regression for fast super-resolution[C]∥Asian Conference on Computer Vision，2014：111-126

[14] Wang Z W，Liu D，Yang J C，et al.Deeply improved sparse coding for image super-resolution[J].arXiv e-print，2015，arXiv：1507.08905