基于稀疏编码和各向异性滤波的超分辨率重建*

伏伶丽，任 超，何小海,吴晓红

(四川大学 电子信息学院，四川 成都 610065)

0 引言

图像含有大量的、生动的、直观的信息，是人们感知外界信息的主要载体。然而，成像设备、成像环境和传输环境影响了数字图像的质量，使得我们得到的图像是低分辨(Low Resolution,LR)图像。为了满足人们对高质量图像的需求，图像超分辨率(Super Resolution,SR)重建技术[1-7]被众多研究学者提出。图像SR重建是一种利用一幅或多幅LR图像，重建出单幅高分辨率(High Resolution,HR)图像的技术，该技术能使因图像退化过程中模糊、噪声等造成的LR图像的分辨率得到显著的提高。通常，图像退化过程可以用式(1)表示：

y=Mx+v

(1)

式中，y为LR图像；x为HR图像；M表示退化矩阵；v是标准差为σn的随机高斯噪声矩阵。

目前，主流的SR重建方法分为：基于重建的SR方法[1-3]和基于学习的SR方法[4-8]。由于SR重建是一个病态问题，常常利用先验信息规范SR重建的解[1]。基于重建的SR方法根据图像退化模型，利用总变分(Total Variation,TV)先验[1]、非局部正则项[3]等重建出视觉效果良好的HR图像。基于学习的方法[4-8]可分为基于完备字典学习方法[4]、基于稀疏表示方法[5]、基于深度学习方法[7-8]。大部分情况下，基于学习的SR方法在提升图像分辨率方面，拥有优秀的性能。基于深度学习的方法[8]利用卷积神经网络和外部数据集，对LR图像和HR图像进行端对端的映射学习，从而训练出一个预测模型，进而根据预测模型预测出LR图像对应的HR图像。文献[8]仅利用的是LR图像和HR图像之间的映射关系，缺乏对LR图像或HR图像本身先验信息的利用。基于非局部稀疏表示的方法(NCSR)[9]使用一张LR图像进行字典训练，同时利用稀疏编码的非局部自相似性，重建出高质量的HR图像。基于非局部稀疏表示的方法[9]虽然考虑了图像自身的先验信息，但在LR图像和HR图像映射关系这一方面还存有不足。因此，我们提出了一个基于稀疏编码和各向异性滤波的图像超分辨重建方法。本方法利用文献[8]中的网络和各向异性引导滤波学习各向异性特征，并根据该特征构建一个学习先验，然后让该学习先验进一步地规范NCSR，从而提供更高质量的HR图像。

本文提出的方法在图像结构丰富的情况下，可获取更高的客观评价指标和视觉效果，具有较好的理论研究价值。

1 相关理论

1.1 基于稀疏表示的SR方法

YNAG J等人[5]针对图像超分辨应用，提出了基于图像稀疏表示的方法。通常，图像x可以用一个字典Φ和稀疏系数Λ进行表示，即

x=ΦΛ

(2)

由于图像的SR重建是一个病态的问题，因此稀疏系数Λ常被用来约束SR的解，该过程可以用下式表示：

(3)

最后，利用训练好的字典Φ和稀疏系数Λ，根据公式(2)，重建出HR图像x。

1.2 各向异性引导滤波

引导滤波因其算法的低复杂度和良好的边缘保持特性，被广泛应用于图像处理领域和计算机视觉应用。引导滤波通过一张引导图像g，对滤波器的输入图像进行滤波处理，从而增强输入图像的细节信息，该过程可被建模为：

x=ag+b

(4)

式中，a是一个控制细节转移的参数；b表示偏差。引导滤波的主要任务是找出公式(4) 中的参数a和b。

尽管引导滤波在图像应用中取得明显的效果，但现存的大部分引导滤波，如加权的引导滤波(Weighted Guided Image Filter,WGIF)[10]和基于梯度域的引导滤波(Gradient-domain Guided Image Filter,GGIF)[11],在输入图像和引导图像的结构不一致时，其滤波性能会大幅度下降[12]。因此，各向异性引导滤波[12]被提出，该方法利用一个局部平滑函数对滤波的平均步骤进行重新规划，进而提升滤波器的性能。该方法是利用图像块xi(i=1,…,n)来求解参数a和b，其中基于块的ai和bi可用下式求解：

(5)

式中，i表示第i块；n是图像块的数量；γ是一个正则化的常数；0.000 2|(i)|表示给定邻域范围内自然图像的近似中值方差；var()是一个求方差的操作；为gi的均值。待求出参数a和b后，可使用公式(4) 对待滤波图像进行滤波处理。

2 基于稀疏编码和各向异性滤波的超分辨率重建算法

目前，稀疏表示被广泛应用到SR的应用中，获得较好的SR性能[9,13]。文献[9]提出的基于稀疏表示的非局部方法，首先利用输入的LR图像进行字典训练，然后利用该字典和非局部正则项，重建出高质量的HR图像。然而，文献[9]的方法没有充分考虑到图像的连续性和像素邻域间的关联性，不能对边缘进行良好的保持。于是，提出了一种基于稀疏编码和各向异性滤波的超分辨重建方法，该方法有效地提升了图像边缘保持能力，提供更加高质量的视觉效果图。该算法的框架如图1所示。首先本文利用一个卷积神经网络训练好HR各向异性特征模型，然后利用基于稀疏表示的框架对输入的LR图像进行迭代重建。具体的重建步骤如图1所示。

注意，迭代重建过程中，若优化求解后，迭代条件仍然满足，则进入下一次SR重建；反之，则输出优化求解的HR图像作为最终的重建HR图像。该方法可以建模为：

(6)

图1 本文算法的框架图

2.1 非局部先验

图像含有大量的、重复的结构信息，可以利用这种自相似特性构建一个非局部先验[5]。同时，图像可以表示为稀疏形式，所以其稀疏系数也具有自相似性，因此可以利用稀疏系数Λ的自相似性约束SR的解[9]。根据文献[9]构建的非局部先验为：

(7)

式中，B为根据Λ的自相似性估计出的值。

本文是基于图像块xi(i=1,…,n)的方法，所以Λ和B分别可用{Λi|i=1,…,n}和{Bi|i=1,…,n}求得。图像块和目标块相距越近，相似度的权重越大。因此，可通过对Λi的相似系数进行高斯加权，获得估计值Bi，具体地求解方式如下：

(8)

2.2 局部先验

尽管利用稀疏系数的非局部自相似性能重建出较好的HR图像，但是该方法没有充分考虑到图像相邻像素的相关性，不能很好地恢复图像的边缘细节。由于各向异性滤波[12]在边缘保持方面表现出优秀的性能，因此利用各向异性引导滤波构建一个局部先验，和前述的非局部先验形成互补，进一步提升图像的边缘保持性能，恢复更多的细节信息。

(9)

2.3 算法求解

本文利用交替迭代算法[14]对公式(6) 进行求解，具体的步骤在表1中给出。

3 实验结果及分析

3.1 数据集及参数设置

在各向异性滤波特征的训练中，本文使用291张图片及其旋转和下采的图像作为总的训练集[8]。图像SR重建中，使用的测试集是通用的Set5[15]和Set14[16]数据库。

本文的LR图像是按照文献[9]对数据集中的HR图像进行降质得到的。具体而言，先用标准差为1.6且尺寸大小为7×7的高斯模糊核对HR图像进行模糊操作；然后对模糊图像进行隔点下采，其中采样因子为3；最后对下采后的图像添加标准差为σn的自适应高斯白噪声。对于RGB图像，本文对其Ycbcr空间中的Y分量做处理。本文的非局部正则化参数λ1[9]是根据文献中的方法求得的。通过大量的实验证明，δ为7；L为160；K为6；在σn=0时，λ2为0.000 36；在σn=5时，λ2为0.000 55，算法的SR性能比较好。

表1 算法求解步骤

3.2 性能评估

为了验证本文算法的性能，在LR图像无噪和LR图像含噪的情况下，将本文的方法和双三次插值(Bicubic)、NCSR[9]、SelfExSR[17]、ASDS[18]、NARM[19]和MSEPLL[20]方法进行比较。为了衡量重建HR图像质量，使用峰值信噪比(Peak Signal to Noise Ratio，PSNR) 和结构相似性(Structural Similarity Index，SSIM)[21-22]作为客观评价指标。其中，PSNR的值越大，表示重建HR图像失真越小，算法的重建效果越好；SSIM的值越接近于1，说明重建的HR图像和真实图像越相似，重建算法的性能更加优越。

表2给出了在LR图像无噪(σn=0)和含噪(σn=5)的情况下，不同方法在Set5和Set14数据库上重建出的HR图像的客观评价指标PSNR和SSIM。从表2中可以看出，在LR图像无噪时，本文算法的PSNR在Set5数据集上比NCSR高0.43 dB，同时SSIM高0.006 3；对于数据集Set14，本文算法的PSNR和SSIM比NCSR的PSNR和SSIM分别高0.32 dB和0.003 0。在LR图像含有噪声的情况下，对于数据集Set5和Set14，本文的算法相比其他方法，PSNR和SSIM均有所提高。

表2 放大比例为3时Set5和Set14经不同方法处理后的平均PSNR(dB)/SSIM

为了更加直观地比较，对LR图像无噪和含噪两种情况进行了视觉效果对比，如图2、图3所示。从对比图中可以看出，MSRPLL方法重建的图像存在伪影，图像质量较差；SelfExSR会平滑图像中的边缘细节信息，使得图像质量不够清晰；本文的算法能很好地保持边缘细节，提供视觉效果更好的图像。

图2 无噪的情况下图像Bird经不同方法处理后的视觉效果图

图3 含噪的情况下图像Woman经不同方法处理后的视觉效果图

4 结论

本文针对基于稀疏表示的SR方法提出了一种互补的各向异性特征先验，该先验有效地提升了算法边缘保持能力，重建出边缘细节更加丰富的HR图像。所提出的算法综合利用图像自身的信息和训练样本中的细节信息，更好地抑制重建图像存在的伪影。对于边缘结构丰富的图像，所提的算法能增强重建图像的边缘细节信息，提高重建图像的质量。实验表明，相比NCSR、MSRPLL等方法，本算法具有较高的客观评价指标(PSNR/SSIM)和良好的视觉效果。下一步，将本文提出的算法进一步改进，以应用到更多的领域，如去雾、图像增强等。