基于稀疏编码的图像超分辨率复原*

李 丽 李旭健

（山东科技大学计算机科学与工程学院 青岛 266590）

1 引言

图像超分辨率（Super Resolution）重建是指从单张或多张低分辨率图像中重建出高分辨率图像的一门技术，在医疗图像、监控设备、卫星遥感图像等领域都有重要的应用价值。目前图像超分辨率技术主要分为三大类：基于插值（interpolation based）、基于重构（reconstruction based）、基于学习（learning based）的方法。基于插值的方法［1］是指通过某个点周围若干个已知点的值，以及周围点和此点的位置关系，根据一定的公式算出此点的值，主要的插值法有最近邻域插值法（nearest neighbor interpolation）、三次内插法（bicubic interpolation）等。基于重构的方法常用于多帧图像，旨在重建低分辨率图像丢失的高频信息，主要的方法有凸集投影法（Projection onto Convex Set，POCS）［2］、迭代反投影法（Iterative back projection，IBP）［3］、最大后验概率估计法（Maximum a posteriori estimation，MAP）、贝叶斯分析法（Bayesian Analysis）［4］等。基于学习的方法充分利用了图像的先验知识，卷积神经网络（Convolutional Neural Network，CNN）［5～9］、稀疏编码（Sparse Coding）［10～14］等方法已得到广泛应用。经典的基于学习的方法，如Gu 等提出了一种基于超分辨率的卷积稀疏编码方法［15］解决一致性问题；Yang等从压缩感知的角度提出了基于稀疏编码的方法［16］，确保了高分辨率图像块之间的线性关系可以从它们的低维投影中精确恢复；Zhang 等提出了一种协作表示级联（Collaborative Representation Cas-cade，CRC）框架［17］，学习LR 和HR 特征对之间的多层映射。目前基于学习的方法已成为图像超分辨率领域的热门研究方向，基于插值、基于重构的方法为基于学习的方法起辅助作用。

本文在基于学习的方法中，针对单幅图像超分辨率问题［18］提出了一种稀疏编码与神经网络相结合的算法，比现有的方法在算法执行速度和视觉效果上都有所提高。

2 结合神经网络的字典训练与重建

稀疏编码算法是一种无监督学习方法，它的目的就是找到一组“超完备”基向量φi，使得将输入向量x表示为这些基向量的线性组合（ai为稀疏表示系数），使用稀疏编码可以更高效地表示样本数据。如Timofte 等提出的基于实例的快速超分辨率的锚定邻域回归（Anchored neighborhood regression）算法［19］，该算法将稀疏学习字典与邻居嵌入方法相结合，使运算速度得到提高。由于在单幅图像超分辨率重建过程中，会出现“不适定性”，引入稀疏先验约束后，可以保证重建后的图像有稳定、唯一的解。如Zeyde 等［20］提出的使用主成分分析（Principal component analysis，PCA）算法减少低分辨率特征维度，并使用正交匹配追踪（orthogonal matching pursuit）算法得到稀疏表示系数，使重建图像更加准确。

卷积神经网络凭借其强大的自学习和自适应的能力被广泛应用。其中，前馈神经网络从输入层开始，各神经元只从前一层接受信息传递到下一层，中间没有任何反馈操作，这种类似于有向无环图的结构形式有利于提高稀疏编码中字典训练的速度与精度。如Wohlberg 提出了卷积稀疏表示的有效算法［21］，该算法利用一组卷积与字典过滤器的总和替换一组字典向量的线性组合来计算整个图像的稀疏表示，对整个图像进行联合优化。

反向传播算法是一种监督学习算法，它通过激励传播、权重更新反复循环迭代，直到网络对输入的响应达到预定的目标范围为止。利用反向传播算法与前馈神经网络，对稀疏编码过程中的参数反复更新，可以更快速准确地得到稀疏表示系数。

2.1 稀疏编码过程

稀疏编码的本质是一个目标向量由少量的基向量经线性拟合表示的过程，且基向量空间存在一定的冗余。m 个输入向量的稀疏编码代价函数可以定义为

此处φi表示一组“超完备”基向量，S(.)是一个稀疏代价函数，由它来对远大于零的ai进行“惩罚”。稀疏编码目标函式的第一项可以解释为一个重构项，这一项迫使稀疏编码算法能为输入向量x提供一个高拟合度的线性表达式，而公式第二项即稀疏惩罚项，它使x的表达式变得稀疏。常量λ是一个变换量，由它来控制这两项式子的相对重要性。

因此假设X表示高分辨率图像，Y表示低分辨率图像，为高分辨率图像块，为与x对应的低分辨率图像块。x、y可以分别用超完备字典DX、Dy和一些稀疏表示系数αx、αy表示出来。由于x到y退化过程近似于线性，所以我们假设稀疏表示系数αx=αy=α。

2.2 神经网络过程

为了快速得到稀疏表示系数，提出了稀疏编码与神经网络相结合的结构。使用前馈神经网络，使其每一层严格对应稀疏编码的每一步，这样稀疏表示先验在网络结构中被有效地编码，同时稀疏编码的所有组成部分都可以通过反向传播算法进行联合训练，至此构成了一个稀疏编码网络。级联多个稀疏编码网络［22］，得到更加精确的稀疏表示系数，对重建结果进一步增强。

2.3 重建过程

单幅图像超分辨率解决的是给定一张低分辨率图像Y，复原出其对应的高分辨率图像X的问题。在字典训练阶段，对训练集中的每个原始图像进行下采样得到对应的低分辨率图像，生成高低分辨率图像对，利用每个图像对训练得到两个超完备字典［23］DX、Dy。在特征编码阶段，利用训练得到的具有相同稀疏表示系数的DX、Dy，对于每个输入的低分辨率图像，将其划分为3*3 大小的图像块，从左上角开始，每个方向上有一个像素的重叠。计算出图像块y的平均像素值，利用进行约束优化，得到α*，从而产生对应的高分辨率图像块x=Dhα*，将各个高分辨率图像块组合成一个高分辨率图像。为改善不适定性问题，使用梯度下降法［24］，找到最接近原始图像的高分辨率图像。为提高算法对图像复原的处理精度，提出了级联稀疏编码网络的方法。实验中我们发现相比于直接使用较大的缩放因子，使用较小的缩放因子会产生更好的效果，对比结果如表1所示。

表1 三种缩放因子的平均PSNR（dB）

3 实验结果

实验训练数据集为91 images 和BSD 200，共291张不同的彩色图像，用于测试的数据集为Set5、Set14，共19 张不同的彩色图像，字典采样数目为50000，字典大小为1024。为了与现有的图像超分辨率算法做比较，只对图像的亮度通道（YCrCb 彩色空间，Y通道表示亮度通道）进行训练和测试。

目前最常用的图像超分辨率的评测标准［25～26］是峰值信噪比（Peak Signal to Noise Ratio，PSNR），单位为dB，通常会根据PSNR 衡量结果图像相对于原图像的复原程度，其值越大，就代表失真越少，复原图像越逼真。

用于测试的三张彩色图像分别为head（Set 5）、comic（Set 14）和woman（Set 5），其Y 通道（亮度通道）用本文算法进行重建，Cr通道（红色与亮度值的差异）和Cb 通道（蓝色与亮度值的差异）利用双三次插值算法进行重建，并与Zhang 等提出的基于自适应局部非参数回归的快速单图像超分辨率（Adaptive Local Nonparametric Regression for Fast Single Image Super-Resolution）［27］算法进行比较，该方法利用字典、回归和统计先验来提高图像复原效果，减少了内存利用率。这里仅展示了缩放因子为3 的情况下，两种算法的图像复原情况对比，如图1所示。实验过程中，对两种算法的复原时间也进行了分析比较，对比结果如表2所示。

表2 两种算法在缩放因子=3时平均运行时间测试结果

观察可知，本文算法的复原效果最明显，与原图较接近。如图像woman，本文算法重建后的图像噪声最少，重建图像边缘最清晰；图像comic，ALNR算法存在伪影，本文算法重建图像边缘较清晰；图像head，两种算法重建图像相差不多，改善效果并不明显。结果发现，针对相同的彩色图像，本文算法重建结果更加准确，执行速度更快速。

图1 不同超分辨率算法放大图像3倍对比

4 结语

提出了一种稀疏编码与神经网络相结合的超分辨率图像复原算法。该算法利用前置神经网络对稀疏编码阶段的跟踪，以及反向传播算法对稀疏编码所有组成部分的联合训练，得到了更精确的稀疏表示系数，从而得到更精准的复原图像。另外，级联多个稀疏编码网络对重建结果进行了进一步的增强。从实验结果看，该算法重建图像的PSNR超过了目前已存在的基于稀疏编码算法的复原效果，从复原结果图可以看出，该算法重建后的图像边缘更加清晰。综上所述，稀疏编码与神经网络相结合可以提高图像的复原精度与重建速度。