基于极限学习机的图像超分辨率算法

刘翠响，张凤林，李敏

（河北工业大学电子信息工程学院，天津300401）

基于极限学习机的图像超分辨率算法

刘翠响，张凤林，李敏

（河北工业大学电子信息工程学院，天津300401）

为了进一步提高基于学习的超分辨率图像重建质量，考虑到极限学习机（ELM）具有学习速度快和良好数据预测与分析能力，提出了1种基于极限学习机的图像超分辨率重建方法.在图像稀疏思想下，将高分辨率图像中的高频细节信息作为原子构建冗余字典.具体是提取训练图像的高频信息，采用改进的K-SVD算法对高低分辨率图像进行字典学习，构建对应的特征字典作为极限学习机的输入训练网络参数，建立超分辨率重建模型.最后仿真实验结果表明，所提算法能取得比对比算法更好的实验数据.

极限学习机；字典学习；超分辨率；高频信息

0 引言

由于硬件设备的限制和不可抗拒的自然因素等影响，现实中获得的图像分辨率往往不能满足人类的实际需求.为了节约成本，获得更高的经济效益，通过软件编程的方法获得高分辨率（High resolution，HR）图像的技术应运而生，即超分辨率重建（Super resolution，SR）.SR技术是利用低分辨率（Low resolution，LR）图像或图像库信息，通过信号处理方法重建成像系统截止频率之外的相关信息，使重建图像获得更多细节信息.

图像超分辨率重建技术目前主要分为基于插值算法、基于重建算法和基于学习算法三大类.传统的插值算法[1]虽然实现方法简单直观，但是无法引进先验信息导致重建图像不理想.基于重建的方法，例如：凸集投影POCS算法[2]、IBP算法[3]以及最大后验概率MAP算法[4]等，是在数学模型基础上，对图像进行配准重建，其亚像素估计精度对图像重建结果有非常重要的影响，除此之外IBP算法在图像重建边缘有很强的振铃效应，严重影响图像质量.

近来，随着机器学习与深度学习的深入发展，基于学习的SR重建算法成为研究的主流方向.Yang等[5-6]提出了利用图像块的稀疏性重建超分辨率图像.算法通过Lee等[7]提出的FFS算法训练联合字典使得高低分辨率图像对具有相同的稀疏表示系数，用低分辨率字典下的稀疏表示乘以高分辨率字典得到相应的高分辨率图像块.稀疏表示对噪声有一定的鲁棒性，进而重建出的图像具有较好的视觉效果.虽然图像库包含有丰富细节的高分辨率图像，但无法保证所获取的先验信息的准确性与可靠性，使得重建图像存在较大的均方误差[8]，算法中样本选取与字典训练方法也较为复杂.Engan等[9]提出的最优方向（method of optimal directions，MOD）算法可以代替Lee提出的FFS算法进行字典学习，保证图像重建质量前提下提高字典训练速度.Elad提出奇异值分解算法[10]用于训练字典，先是用于图像去噪取得了不错的效果[11]，随后又提出改进的K-SVD算法[12]，达到了减小字典构建误差并加快稀疏字典的构建，在超分辨率图像重建研究领域被广泛应用.

另外，机器学习方法中的支持向量机SVR对输入数据具有良好预测能力[13-14]而被应用于图像处理领域.将图像超分辨率重建看成一个回归问题，则具有非线性映射能力的支持向量机可以很好的解决这一问题.本文受SVR思想的启发，在稀疏思想的基础上，提出用极限学习机训练超分辨率重建模型，ELM与SVR相比，训练速度快且泛化能力强，最后取得较好的实验数据.

1 稀疏性理论与改进字典学习

图像的稀疏表示是将高分辨率图像中的高频细节信息作为原子构建冗余字典，并利用该字典对低分辨率图像进行稀疏表示，进一步超分辨率重建.而在本文算法中的思想是利用稀疏编码理论学习构建冗余字典，提取字典中的每个原子构成特征集作为极限学习机的输入特征，训练出超分辨率重建模型.

由于稀疏矩阵最优解的封闭性，可以考虑矩阵每列的非零元素而使零元素项保持完整性，现只需求解稀疏矩阵的每一列即可，设是D对应于稀疏矩阵的非零支集的子矩阵，则（3）式转化为如下求解：

改进KSVD算法中使用正交匹配追踪算法OMP求解稀疏编码过程，对稀疏矩阵的每一列处理后得到更新后的稀疏系数矩阵，而后利用更新后的稀疏矩阵对字典原子进行更新.下面给出公式（2）的补偿项：

2 ELM算法描述

2004年，Huang等[15]提出了具有快速构建和学习能力的单隐层前馈神经网络，该算法在执行过程中只需要设置网络隐层节点的个数，不用调整网络的输入权值以及隐层单元的偏置，能产生唯一最优解，因其学习速度快称之为极限学习机（Extreme Learning Machine，ELM），如图1所示给出ELM算法的网络结构图.随着深度学习在机器学习领域的发展，大量的研究证明，ELM相比于机器学习领域重要的工具支持向量机具有更方便的参数调整和更好的泛化能力，这使得ELM在图像处理、特征选取、数据序列预测等方面被广泛的应用.

图1 极限学习机网络结构Fig.1 Extreme learning machine network structure

进一步可以简化为矩阵表达式为：

其中，H被称作神经网络的隐含层输出矩阵.在极限学习机算法中，只需要求出输入权值的最小二乘解就能完成网络的训练，输出权值矩阵可由得到，其中H+表示神经网络隐含层输出矩阵的Moore-penrose广义逆.

3 本文算法描述

极限学习机重建超分辨率图像包括训练和预测两个阶段.总的算法流程如下图2所示.基于人眼对亮度信息最为敏感，所以对于彩色图，只处理亮度通道，其它两通道采用双三次插值算法进行处理.

图2 算法流程Fig.2 Algorithm process

在训练阶段，首先获得有用的细节信息作为ELM算法的输入.HR图像经过高斯模糊和下采样k倍，然后用插值方法放大k倍，则高分辨率图像的高频信息将通过式（9）获得

图像的稀疏表示是将高分辨率图像中的高频细节信息作为原子构建冗余字典，假设低分辨率图像与样本中训练的高分辨率图像具有相似的特征，则通过机器学习可以得到对应的高分辨率图像.所以，作为ELM算法输入的高频信息作为先验知识可以通过稀疏表示构建冗余特征字典.

在测试阶段，低分辨率图像经过相同的插值方法获得初始高分辨率图像，然后通过字典学习构建相对原始图像训练字典来说的低分辨率特征字典.最后通过ELM训练出来的高分辨率模型预测高分辨率信息.

本文利用极限学习机进行图像超分辨率重建，利用现有改进的字典算法对训练样本图像进行稀疏表示，构造特征字典.我们知道图像重建过程是病态的逆问题，这必然导致ELM算法输出矩阵存在不适定问题，即存在较大输出权值和过拟合现象.为了提高ELM算法的学习效率和预测能力，文中引入l1范数正则化方法对ELM算法进行优化.l1范数正则化方法又称为LASSO算法.由（8）式得目标优化函数为：

由式（10）求得输出矩阵，其中λ为正则项系数，控制误差与正则项的相对重要程度.确定输出矩阵后ELM算法训练阶段完成，在测试阶段将相同方法得到的特征作为机器的输入，根据训练模型可以预测需要的信息.

用改进ELM算法训练重建模型进行超分辨率重建的具体步骤如下：

1）创建训练样本和测试样本；

2）采集高分辨率图像的高频信息HF；

3）采用改进字典构建高分辨率图像和低分辨率图像的字典；

4）训练阶段，将HF和高分辨率字典以及低分辨率图像块送入改进的极限学习机训练高分辨率模型；

5）预测阶段，低分辨率特征字典和低分辨率图像块预测测试图像的高频信息IHF；

4 实验结果与分析

为了测试基于改进极限学习机算法重建超分辨率图像的效果，现选择USB-SIPI（网址：http：//sipi. usc.edu/database）标准数据库的图像进行仿真实验.在实验中，设置隐层节点数为20，sigmoid为激励函数.为了方便视觉上对重建图像质量进行评定，现将测试的原始图像作为高分辨率标准图像，降采样以及高斯模糊原始图像作为低分辨率图像.客观上，采用峰值信噪比PSNR和结构相似度SSIM对重建图像质量进行定量分析.为了使实验数据具有说服力，提出用传统的基于双三次插值算法以及基于支持向量机算法[13]的图像超分辨率重建结果进行对比，对比标准是峰值信噪比PSNR和结构相似度SSIM越大，说明重建效果越好.另外，为了要求统一，本文用于超分辨率重建模型的训练样本选用和支持向量机算法一样的训练图像.

图3为3幅图像在缩放因子k=2的重建结果，比较同1幅图像在不同算法下的重建效果，以及局部放大效果以低分辨率图像作为参考.从图中可以看出双三次插值重建图像边缘模糊，视觉质量差.SVR算法恢复了部分细节，但是重建图像仍需要进一步提高.与以上2种方法相比本文算法能有效的获取训练图像的额外信息，恢复了更多的细节部分，重建图像更加清晰从局部放大部分更能体现出本文算法的优越性.同时表1列出的不同算法重建不同图像的相应峰值信噪比PSNR和结构相似度SSIM也说明了本文算法具有较好的重建效果.在放大倍数k分别为2和4两种情况下，网络的训练阶段：表2数据表明本文算法的训练速度对比支持向量机算法耗时较少、训练速度较快.

图4为选择的1幅标准图像放大4倍即k=4的重建结果.随着降采样因子的增大，所有算法恢复图像的效果都有所下降，但相对来说，无论是从图像的纹理细节上，还是人脸的面部表情上都可以看出本文算法的重建结果更佳.如表3所示，仍然具有最好的峰值信噪比PSNR和结构相似度SSIM.

表1 k=2时不同算法的SR重建PSNR和SSIM数据对比（PSNR/SSIM）Tab.1 k=2 different algorithms of SR reconstruction PSNR and SSIM data contrast（PSNR and SSIM）

图3 k=2重建结果对比Fig.3 k=2 Reconstruction results

图4 k=4重建结果对比Fig.4 k=4 reconstruction results

表2 两种算法训练网络的耗时比较Tab.2 Training time comparison of the two algorithms

表3 k=4时不同算法的SR重建PSNR和SSIM数据对比（PSNR/SSIM）Tab.3 k=4 different algorithms of SR reconstruction PSNR and SSIM data contrast(PSNR and SSIM)

5 总结

文中基于机器学习的思想，提出了一种极限学习机的超分辨率图像重建方法.针对易出现过拟合现象采用正则化方法求解输出矩阵.在训练阶段，将训练图像和高分辨率特征字典作为ELM算法的输入训练网络参数，建立超分辨率重建模型.最后进行仿真实验表明，本文算法能很好保持图像有用信息，有效改善低分辨率图像质量.下一步研究重点是如何有效寻找更多的先验信息，使得预测高频信息更接近真实图像丢失的信息.

[1]Liu X，Zhao D，Zhou J，et al.Image interpolation via graph-based bayesian label propagation[J].IEEE Transactions on Image Processing，2014，23（3）：1084-1096.

[2]Huang H，Fan X，Qi C，et al.A learning-based POCS algorithm for face image super-resolution reconstruction[C]//2005 International Conference on Machine Learning and Cybernetics.IEEE，2005，8：5071-5076.

[3]Nayak R，Harshavardhan S，Patra D.Morphology based iterative back-projection for super-resolution reconstruction of image[C]//Emerging Technology Trends in Electronics，Communication and Networking（ET2ECN），2014 2nd International Conference on.IEEE，2014：1-6.

[4]李展，陈清亮，彭青玉，等.基于MAP的单帧字符图像超分辨率重建[J].电子学报，2015，43（1）：191-197.

[5]Yang J，Wright J，Huang T，et al.Image super-resolution as sparse representation of raw image patches[C]//Computer Vision and Pattern Recognition，2008.CVPR 2008.IEEE Conference on.IEEE，2008：1-8.

[6]Yang J，Wright J，Huang T S，et al.Image super-resolution via sparse representation[J].IEEE transactions on image processing，2010，19（11）：2861-2873.

[7]Lee H，Battle A，Raina R，et al.Efficient sparse coding algorithms[C]//Advances in neural information processing systems.2006：801-808.

[8]潘宗序，禹晶，肖创柏，等.基于自适应多字典学习的单幅图像超分辨率算法[J].电子学报，2015，43（2）：209-216.

[9]Engan K，Aase S O，Husoy J H.Method of optimal directions for frame design[C]//Acoustics，Speech，and Signal Processing，1999.Proceedings.，1999 IEEE International Conference on.IEEE，1999，5：2443-2446.

[10]Aharon M，Elad M，Bruckstein A.K-SVD：An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54（11）：4311-4322.

[11]Elad M，Aharon M.Image denoising via sparse and redundant representations over learned dictionaries[J].IEEE Transactions on Image processing，2006，15（12）：3736-3745.

[12]Smith L N，Elad M.Improving dictionary learning：Multiple dictionary updates and coefficient reuse[J].IEEE Signal Processing Letters，2013，20（1）：79-82.

[13]Yang M C，Chu C T，Wang Y C F.Learning sparse image representation with support vector regression for single-image super-resolution[C]//2010 IEEE International Conference on Image Processing.IEEE，2010：1973-1976.

[14]Yang M C，Wang Y C F.A self-learning approach to single image super-resolution[J].IEEE Transactions on Multimedia，2013，15（3）：498-508.

[15]Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：a new learning scheme of feedforward neural networks[C]//Neural Networks，2004.Proceedings.2004 IEEE International Joint Conference on.IEEE，2004，2：985-990.

[责任编辑 代俊秋]

Image super-resolution based on extreme learning machine

LIU Cuixiang,ZHANG Fenglin,LI Min
（School of Electronic and Information Engineering,Hebei University of Technology,Tianjin 300401,China）

In order to further improve the quality of the learning-based super-resolution image reconstruction,considering the extreme learning machine(ELM)with fast learning speed and good data prediction and analysis,this paper proposes image super resolution reconstruction based on the extreme learning machine.Under the idea of image sparse,high-frequency details is used as atomic to construct redundant dictionary.Specifically,high frequency information of the training image is extracted.The improved K-SVD algorithm is used to carry out dictionary learning on high and low resolution images.The corresponding feature dictionary is constructed as the input to train network parameter.Super-resolution reconstruction model is established.Finally the simulation results show that the proposed algorithm can obtain better experimental data than the comparative algorithm.

extreme learning machine;dictionary learning;super resolution;high frequency information

TP391

A

1007-2373（2017）02-0011-06

10.14081/j.cnki.hgdxb.2017.02.003

2016-12-05

天津市自然科学基金（14JCZDJC32600）

刘翠响（1973-），女，副教授，博士，liucuix@126.com.