引入细节约束因子的半耦合字典学习超分辨率重构模型

黄宇达， 王迤冉， 牛四杰

(1.周口职业技术学院 信息工程学院，河南 周口 466000；2.周口师范学院 网络工程学院，河南 周口 466000；3.济南大学 信息科学与工程学院，山东 济南 250000)

0 引言

超分辨率重构技术[1]能够把低分辨率的图像重构出与真实图像相近的超分辨率图像，这样可从软件角度解决成像的硬件设备问题。超分辨率重构技术作为目前计算机视觉领域的主要研究热点之一，在遥感成像[2]、医学影像分析[3]、工业成像等领域具有广泛的应用前景。目前，超分辨率重构技术主要分为3类：插值、重构和学习的超分辨率重构算法。

基于插值算法[4-5]就是利用低分辨率图像中已知像素点对未知像素点进行估计，虽然其计算复杂度较低，但易放大边缘，造成细节模糊和锯齿边界。基于重构的超分辨率算法是利用数字图像处理技术求解成像模型的逆过程，从而进一步实现超分辨重构，常用的模型有全变分正则化模型[6-7]、梯度轮廓先验[8]等。其尽管引入了先验知识，但对具有较为丰富结构信息类型的图像来说，该方法仍难以获得边界清晰的视觉效果。

Freeman等[9-10]首先提出了基于学习思想的图像超分辨重构，主要分为2个阶段：训练阶段和重构阶段。该方法训练所需样本数量大，重构速度慢。随后，Sun等[11]在文献[9-10]的算法基础上提出了样本学习法，因为从原始图像空间中学习到维度较小的图像基元空间，所以可以用少数基元表示原始图像，从而改善高低分辨率之间的映射关系，提高重构精度。

Chang等[12]借鉴流形学习的思想，引入局部线性嵌入，提出了基于邻域嵌入方法的图像超分辨率复原算法。Yang等[13-14]提出了基于稀疏表示(sparse coding super resolution，SCSR)的图像超分辨率重构算法，该方法通过训练学习高、低分辨率图像的映射关系，用优化方法求得低分辨图像的稀疏系数矩阵，最后通过稀疏系数矩阵重构高分辨率图像。Zeyde等[15]对文献[13-14]的方法进行了改进，并采用K-奇异值分解(K-singular value decomposition，K-SVD)算法[16]和最优方向法(method of optimal direction，MOD)[17]分别学习高、低分辨率的字典，大大提升了学习效率。以上各方法虽然可小幅提升超分辨率重构质量，但高、低分辨率字典稀疏系数矩阵不具有不变性的缺陷，制约了重构图像质量的提升。王杰等[18]采用自适应交替方向乘子方法对图像进行去模糊，在保证计算速度的同时自适应地复原出最佳图像。针对上述不足，Wang等[19]提出半耦合字典学习(semi-coupled dictionary learning，SCDL)算法，该方法从样本图像中学习到的高、低分辨率字典稀疏系数矩阵具有不变性，提高了算法的重构效果。杨爱萍等[20]利用分类稀疏编码、非局部相似性改进SCDL算法，进一步提高了重构精度。尽管SCDL框架和改进的方法增强了学习高、低分辨率图像块之间映射关系的能力，提升了重构精度，但由于忽略了较为重要的细节信息，比如边界，而这些细节信息对于重构后的图像影响较大，从而限制了算法的重构精度。

笔者针对半耦合字典学习算法的不足，提出了基于细节约束因子和半耦合字典学习的图像超分辨重构方法：以半耦合字典学习算法为框架，引入双向梯度的边界差异，构建边界保持约束项，重构出接近真实而丰富边界；引入边界保持约束项，考虑边界差异的拉普拉斯分布，提出了自适应边界约束系数求解方法，使其能够在半耦合字典学习算法整体框架下实现超分辨率重构，进一步提升超分辨率重构质量。

1 相关工作

低分辨率图像的获取过程被认为是高质量图像退化过程，假设给定低分辨率图像y，则图像的获取过程可描述为

y=BHx+n。

(1)

式中：x为高质量图像；B为采样因子;H为模糊操作;n为噪声。

通过上述过程可以看出，超分辨率重构过程实际上是图像退化过程的逆向实现过程。然而从低分辨率图像中重构出高分辨率图像y，是一种病态问题。为了解决这个问题，稀疏表示[9-13]被提出来实现超分辨重构。将稀疏表示的相关理论引入到图像超分辨过程，主要包括2个阶段：字典训练阶段和重构阶段。

假定来自低分辨率图像y的块yi可用字典Dy来表示，即yi=Dyαi。可通过优化如下目标函数来求得稀疏系数αi：

(2)

2 重构模型的实现

2.1 半耦合字典学习训练阶段

假设给定高、低分辨率图像块数据X=[x1,x2,…,xn]和Y=[y1,y2,…,yn]，其中{xi,yi}是相应的高、低分辨率对应的图像块，Dx、Dy分别表示高、低分辨率对应字典，αx、αy分别表示高、低分辨率图像块对应的稀疏表示系数。半耦合字典学习的基本思想是首先建立对应的高低分辨率图像块，然后假设图像块在相应字典下的稀疏表示系数不再是相同的，而是通过一个稀疏域的映射矩阵相关联。SCDL 算法框架放宽了约束条件，加强了高、低分辨率图像块之间映射关系的学习能力，提高了重构质量，其在训练阶段可一并得到半耦合的高、低分辨率字典以及稀疏域映射矩阵W：

αx=Wαy。

(3)

SCDL算法基于l1范数正则化的稀疏表示模型，引入了映射误差惩罚项，改进高、低分辨率稀疏表示问题，从而获得半耦合字典学习模型，即

(4)

在SCDL算法中，半耦合字典学习最优化问题转化为3个子问题交替求解，采用以LARS算法为基础的SPARS工具箱解决l1范数正则化的稀疏表示子问题。笔者这里采用交替启发式学习框架进行稀疏求解。首先初始化映射矩阵W和字典对Dx和Dy，稀疏系数可通过下面子问题进行求解：

(5)

(6)

式(5)、(6)是一个多任务LASSO问题，笔者采用LARS进行求解。然后，根据已求的αx和αy，同样采用交替迭代学习策略求解Dx和Dy：

(7)

固定Dx、Dy、αx和αy，求解映射矩阵W：

(8)

训练阶段的伪代码描述如下。

输入:低分辨率图像X，高分辨率图像Y,Dx、 随机初始化字典矩阵Dy,初始化映射矩阵W,参数λx、λy、λW、γ。

for每次迭代until收敛

for每个聚类中心

Step1根据式(5)和(6)计算稀疏系数αx和αy；

Step2根据式(7)更新字典Dx、Dy；

Step3根据式(8)更新映射函数W

输出:Dx、Dy、Wx、Wy。

2.2 超分辨率重构阶段

笔者所提出的算法框架的训练过程如图1所示。

图1 所提算法的流程图Figure 1 Flow chart of the proposed algorithm

2.2.1 细节约束因子

细节信息的重构对于后续图像分析非常有价值。然而，在超分辨率图像重构过程中，往往会丢失重要的细节信息。因此，笔者试图利用一维图像处理，充分考虑各个方向上的纹理梯度信息。对于图像x而言，纹理梯度信息定义为

(9)

(10)

实际上，真实超分辨率图像x是未知变量。为了衡量纹理差异，将其转化为低分辨率图像y与超分辨率重构图像的退化图像的纹理差异：

(11)

利用稀疏表示，式(11)重新写为

GD=G(y)-G(BHDα)。

(12)

2.2.2 测试阶段

通过半耦合字典学习交替进行的学习策略，能够学到对应的稀疏系数和字典矩阵。为了保证重构图像的细节，在测试阶段引入细节保持因子。给定低分辨率图像x，字典矩阵Dx和Dy，通过构造以下目标函数重构高分辨率图像y：

(13)

式中：xi和yi分别表示低分辨率和重构图像的图像块。笔者采用one-by-one求解策略来更新稀疏系数。固定稀疏系数αyi，稀疏系数αxi可以通过下面表达式进行优化：

(14)

然后通过式(15)求解稀疏系数αyi：

(15)

其中，μ为正则项参数，用来约束纹理细节项的贡献。为了更好描述约束项的贡献，笔者采用一种权重自适应优化方法：

(16)

式中：σn为噪声标准差；σi为第i块的差异标准差。

通过式(17)可求得高分辨率图像的稀疏系数αyi，根据稀疏字典表示方法重构高分辨率图像：

yi=Dyαyi。

(17)

3 实验及结果分析

(18)

(19)

为了评价笔者所提算法性能，将其与现有的单幅图像超分辨率重构算法进行对比分析，选取近年来相对较为先进的超分辨率重构算法，主要包括Bicubic插值、SRCNN算法[22]、SCDL算法[19]。为了使对比更为客观，采用相同的训练集和测试集。

笔者采用的实验方案如下：①受篇幅限制，对超分辨率图像只进行2倍下采样获得低分辨率图像，评价算法的重构性能；②对超分辨图像进行加噪声，然后进行2倍下采样获得含有噪声的低分辨率图像，评价算法的重构性能。

实验1：未加噪声实验分析。以butterfly为例，评价图像在2倍下采样各算法的超分辨率重构结果如图2所示。由实验看出，利用Bicubic插值算法重构的图像存在锯齿边界，而且边界模糊。而采用深度学习方法SRCNN效果好于Bicubic插值算法，消除了锯齿状边界，但大边界仍存在模糊现象。SCDL算法重构的图像虽具有更强的边界表达能力，然而在局部区域会出现一定的噪声和边界模糊。笔者提出的算法在重构纹理细节、消除噪声及重构细节结构方面具有很好的效果，重构图像更能接近原始高分辨率图像，表1给出了上述各超分辨率算法重构图像的PSNR值和SSIM值。

图2 在2倍下采样各算法超分辨率重构结果Figure 2 Super resolution reconstruction results of each algorithm for 2 times down sampling

实验2：加噪声实验分析。以Parthenon为例，在无噪声图像上加噪声水平nsignal=10的噪声，评价图像在2倍下采样各算法的超分辨率重构结果如图3所示。对于有噪声图像而言，Bicubic插值对噪声敏感，放大了噪声水平。SRCNN算法对噪声具有一定的克服能力，但在边界上仍有噪声存在，从而导致重构图像的边界细节重构能力明显不足。SCDL算法虽然有一定的克服能力，但在重构过程中，边界细节重构方面的能力仍然不足。笔者提出的算法对噪声具有一定的鲁棒性，在有效去除噪声的同时能够很好地重构出细节信息。表1给出了在噪声条件下，各算法的重构图像的PSNR值和SSIM值。

表1 不同策略下重构图像的PSNR值和SSIM值Table 1 PSNR values and SSIM values of reconstructed images under different strategies

图3 在2倍下采样各算法超分辨率重构结果(nsignal=10)Figure 3 Super resolution reconstruction results of each algorithm for 2 times down sampling(nsignal=10)

4 结论

针对单幅图像的超分辨率细节弱重构的问题，笔者采用将细节约束因子引入到半耦合字典学习框架中的方法，捕获图像的结构信息，重构出更多的图像细节信息；根据边界差异的分布实现参数自适应选择。另外，笔者又采用了利用交替学习策略进行模型的优化。实验结果表明，笔者提出的引入细节约束因子的半耦合字典学习超分辨重构算法构造的模型能够较好地重构出图像细节结构。