基于低秩和邻域嵌入的单帧红外图像超分辨算法

薛 峰，朱 强，林 楠



基于低秩和邻域嵌入的单帧红外图像超分辨算法

薛 峰1，朱 强1，林 楠2

（1. 中原工学院信息商务学院信息技术系，河南 郑州 450007；2. 郑州大学软件与应用科技学院，河南 郑州 450002）

针对非制冷红外焦平面探测器面阵规模较小，难以获取大尺度红外图像的问题，提出一种基于低秩矩阵恢复和邻域嵌入的单幅红外图像超分辨方法。利用低秩矩阵恢复算法学习出相似矩阵潜在的低秩分量，对恢复的低秩分量进行邻域嵌入以获得初始的超分辨估计值，再通过全局重建约束，最终获得超分辨结果。大量仿真实验结果表明，本文算法重建的图像无论是定量计算还是定性分析都获得较好的超分辨结果，该方法既保证重建的高分辨率图像均匀区域的一致性，又保留了图像的细节信息和边缘轮廓的完整性。

红外图像；低秩矩阵恢复；领域嵌入；超分辨；子空间；相似图像块

0 引言

红外图像能够反映目标区域的热辐射特性，不受环境的影响，广泛应用在军事、监控、遥感等领域。由于非制冷红外焦平面探测器的面阵规模较小，难以获取大尺度红外图像；相比于可见光图像，红外图像通常分辨率低、灰度层次不分明、细节模糊、图像质量低、视觉效果差，限制了红外图像在民品中的应用推广[1]。

在探测器硬件性能提升有限的情况下，采用软处理的超分辨重建技术提升红外质量是目前最经济可靠的方式。超分辨图像重建就是通过多幅或者单幅的低分辨图像产生高分辨图像的一种软件技术。近年来，基于学习的超分辨方法已经得到了越来越多的关注，并且提出了许多优秀的超分辨重建算法[2-5]。通过低分辨图像获得高分辨图像，目前大多数方法主要集中在对训练样本进行学习，挖掘出低分辨图像与高分辨图像之间对应的潜在关系。例如，Li等人[4]提出了人脸超分辨重建的方法，通过引入一个流行正则约束将高分辨图像块和低分辨图像块对投影到一个共同的流行区间上，从而挖掘出高分辨图像块和低分辨图像块之间的潜在关系。近年来，基于稀疏表示的图像超分辨方法得到国内外众多学者的关注，如Gao等人[5]提出了一种基于双重约束的联合学习方法；邓承志等人近似稀疏表示模型的红外图像超分辨率重建方法等，相比于传统方法它具有较强的细节重建能力，但由于此类方法忽视了图像的非局部空间冗余和结构冗余，重建效果依然有细节模糊和结构丢失的问题。

在基于学习的方法中，如何利用训练集是至关重要的。从表面上看，图像块之间变化很大。这样有必要将训练集通过特定的策略[4-6]分成不同的组，这样每一组里的图像块的相关性大大地提高了。因此，每一组的图像块位于一个低维的子空间上。然而，如何去学习得到这样一个低维子空间是一个重大的挑战。

为了获得高质量的单帧红外超分辨图像，利用鲁棒PCA方法和低秩矩阵恢复去学习子空间中潜在的结构。低秩矩阵恢复已经得到了广泛地应用，比如人脸识别[7]和背景剪除[8]。给定一个数据矩阵，其列具有同样的模式，在许多情况下，这些列之间都是线性相关，这样数据矩阵就可以用一个低秩矩阵进行逼近。在实际应用中，数据可能受到噪声的影响。低秩矩阵恢复可以将数据矩阵分解成一个低秩矩阵加上一个系数误差矩阵。作为矩阵的低秩逼近矩阵，并且可以对由中的列向量张成的子空间进行流行表示。

根据邻域嵌入方法的假设，低分辨图像块重建的权值与对应高分辨图像块的权值相似[6]。不幸的是，因为从低分辨到高分辨图像之间的映射是一对多的，所以高低分辨图像块之间权值的并不是都是相似的情况[4,9]。本文通过低秩矩阵恢复克服了这个问题，因为块与块之间的线性相关性通过低秩矩阵恢复得到了提高，并且由低分辨图像块和高分辨图像块所构成的流行结构之间更加紧密。邻域嵌入方法假设低分辨图像块和高分辨图像块的流行具有相似的局部结构，经过低秩矩阵恢复后，这种假设更加满足。图1绘制了邻域嵌入方法和低秩矩阵恢复方法相应的低分辨图像块和高分辨图像块对的重建权值之间的相关系数的标准分布。从图中可以看出，低秩矩阵恢复方法获得的低分辨和高分辨图像块的重建权值比那些传统的邻域嵌入方法更加符合邻域嵌入方法中的假设，这就意味着低秩矩阵恢复过程能够提高基于邻域嵌入的超分辨方法的性能。因此提出利用低秩矩阵恢复技术进行邻域嵌入的超分辨重建。

1 低秩邻域嵌入算法

首先给出如何将训练样本集分组，然后将组中的图像块列向量化构建一个矩阵，其次利用低秩矩阵恢复方法学习这个矩阵潜在的低秩分量，最后对恢复的低秩分量的向量进行邻域嵌入重建以获得初始的超分辨估计值。通过全局重建约束，有效地提高了超分辨结果。

图1 邻域嵌入方法和低秩矩阵恢复方法的低分辨和高分辨图像块对的重建权值之间的相关系数的标准分布

1.1 训练集分组

为每一个输入的图像块从训练集中选择合适的样本。从表面上看，整个训练集中的图像块是不同的，那么训练集中所有图像块构建的流行结构是非常复杂的。然而，我们仅仅关心与输入图像块相关的块所张成的子空间。因此，一个比较好的处理方法就是将庞大而且复杂的训练集进行分组，而且同一个组中的图像块之间具有一定的相关性[10-13]。

式中：G（1≤≤）表示与s相关的组，K¢(i)表示s的K近邻的索引集合。G中对应向量可以看作是与s处在相同的一个局部区域内。为了节省存储空间，我们只需要保存G中向量对应的位置索引而不必存储向量本身[5]。式子重写如下：

为了节省运算时间，这个过程可以离线进行。

1.2 低秩矩阵恢复

中个低分辨特征向量之间非常相近，它们形成了一个低维的子空间。但是由于低分辨图像对应许多高分辨的图像，那么低分辨特征向量想对应的个高分辨特征向量，可能存在很大的变化。为了处理此种情况，我们采用低秩矩阵恢复技术[6]去学习这些特征中潜在的低维描述。低秩矩阵恢复将一个由相关向量组成的矩阵分解成一个低秩分量和一个系数分量。低秩矩阵中的列向量是原始矩阵中列向量的一个低维描述。它们之间的相关性比以前更高了。稀疏矩阵表示初始向量中的噪声或者差异分量[6]。具体来说，我们将t与低分辨梯度特征矩阵捆绑在一起，得到增广的矩阵＝[t,]。然后我们对矩阵和分别进行低秩矩阵。优化函数[6]如下式：

式中：lr和sp表示矩阵的低秩分量和稀疏分量，相应的lr和sp表示矩阵的低秩分量和稀疏分量。

当上述两个优化问题求解完成后，我们得到4个分量。求解得到的低秩分量lr可以分成两个部分，其中一部分是输入图像块t的低秩分量，另外一个部分是低分辨梯度特征矩阵的低秩分量：

因为低秩矩阵分解并不改变列位置。

1.3 邻域嵌入

对于输入图像块t的低秩分量(t)lr，我们从矩阵lr中找到其K近邻(s)lr，ÎK¢()。其最优的权值通过最小化由(s)lr重建(t)lr产生的重建误差计算得来：

得到权值以后，高分辨灰度特征t可以通过这些最优的权值和相应高分辨灰度特征(s)lr进行重建：

1.4 后续处理过程

以上提出的算法是在图像块上进行。一般来说，重建的图像并不满足全局的重建约束。因此，我们在初始结果上采用迭代反向投影算法（IBP）使得满足全局重建约束以及初始重建结构图像与最终输出结果的一致性。t0表示初始估计，t表示要求解的高分辨图像，低分辨观测图像t假设由高分辨图像t经过模糊和下采样操作得到，简而言之，t＝t。最终的重构图像可以通过下式获得：

式中：表示平衡因子。采用梯度下降法解决以上优化问题：

式中：t表示经过次迭代后的高分辨图像估计值；为梯度下降法中的步长。

表1中给出了通过IBP处理后，超分辨的提升效果。因为JLSR[5]方法也是基于块处理的，所以表中也给出了比较。从表1中我们可以看到，经过IBP处理后，两种超分辨方法的峰值信噪比（PSNR）和结构相似度（SSIM）都得到了提升。

表1 JLSR方法和本文提出的方法经IBP处理前后的对比

2 实验结果及分析

主要对单帧红外图像进行超分辨重建，为了更加全面地验证本文提出方法的超分辨重建能力，从BERKELEY数据库中选择了20幅图像进行定性定量的实验分析。同时，利用非制冷红外焦平面探测器获取的低分辨红外图像进行超分辨重建，通过定性分析评价本文提出算法的性能。

实验中，训练采用的高分辨图像是从文献[12]中采用的软件包中获取的。对高分辨图像通过双三次插值进行下采样得到低分辨图像。我们只对亮度成分进行超分辨重建。与直接利用低分辨图像相反，一般方法都是对低分辨率图像利用双三次插值法进行两次放大，这是因为低分辨图像的中频信息与高频信息的相关性比低频区域高[5,12]。梯度特征则是通过文献[12]中的策略进行获取。构建组G时，近邻(K-NN)中的大小是128。邻域嵌入方法中邻域尺寸是5。为了便于与相关算法进行对比分析，本文中所有实验的放大因子为3。

本文对不同的块大小和重叠像素下进行了多次实验，得到相应的PSNR定量结果。PSNR结果表明，当图像块大小固定，重叠像素增加时，PSNR也相应增加；当重叠像素固定时候，随着图像块大小的增加，PSNR随之下降。当块的大小为3并且重叠像素为2时，本文提出的方法获得最高的PSNR值。我们发现，当放大因子变为4的时候，最优的参数依然保持不变。但是随着重叠像素的增加，算法的执行时间剧增。为了在超分辨结果和运行时间上做一个权衡，我们将低分辨图像按照块大小为3，相邻像素块重叠1个像素的方式进行取块。相应地，对于高分辨图像取块的时候，块的大小为9×9，重叠像素取为3。

将本文方法与NESR[3]、SAI[13]、JLSR[5]以及IBP[12]算法进行了比较。峰值信噪比（PSNR）和结构相似度（SSIM）用来评价超分辨结果的性能。表2中列出了各种超分辨方法获得的PSNR值和SSIM值。从表中可以看到，本文提出的方法获得的PSNR和SSIM值比其它几种方法要大，这正说明了本方法的有效性。

表2 不同方法的重建的图像的PSNR值和SSIM值

图2给出了自然图像的超分辨重建的结果，从视觉上将本方法与其它方法进行比较。从图像可以看出，NESR方法获得的图像存在许多的块效应，SAI结果中的边缘被模糊了。在IBP重建结果中有许多的锯齿效应，然后我们的算法获得的图像没有块效应，而且边缘比JLSR算法更加锐利。这表明本算法获得的超分辨结果从主观视觉上要优于其它几种方法。

本文采用烟台睿创的非制冷红外焦平面探测器（320×240）进行红外成像。由于实际的红外图像没有对应的高分辨的图像用做定量分析，本文只能从对比度、边缘区域的锐度、同质区域的平滑性等方面主观定性的对比分析。低分辨红外图像灰度层次不分明，图像的细节模糊，成像的视觉效果差。为了便于分析，主要对试验对比算法的结果进行分析，NESR方法、JLSR方法出现了不同程度的模糊，大量的高频信息丢失，如图3所示。仔细观察图3(b)和图3(f)可以发现，直观上图3(b)图像的层次感更强，细节更加明显，但由于SAI是采取软阈值估计的回归分析，可以看出该算法会改变原始图像的灰度，尤其是图中车轮的灰度；通过各算法的左下角放大图可以看出，SAI算法会把一些平滑区域放大形成一些斑点噪声。综合分析表明，我们的算法处理后的结果综合性能较好，亮度一致性强。

图2 放大因子为3时不同方法在Hat图像上的视觉效果对比

图3 放大因子为3时红外图像上的视觉效果对比

超分辨重建结果的PSNR平均值和SSIM平均值如表3。从表中可以看出，我们的方法获得了最高的PSNR和SSIM值，显示了本算法的稳定性和鲁棒性。

3 结论

提出了一种基于低秩邻域嵌入的方法进行单幅图像的超分辨重建。利用低秩矩阵恢复算法学习出相似矩阵潜在的低秩分量，对恢复的低秩分量的向量进行邻域嵌入以获得初始的超分辨估计值，再通过全局重建约束，从而最终获得超分辨结果。大量仿真实验结果表明，我们提出的图像超分辨率重建算法，使得图像边缘比较锐化，并且有效减弱了边缘振铃效应，重建的高分辨率图像不仅在高频信息部分比较清晰，而且整体轮廓比较明显。

表3 不同算法对20幅图像（BERKELEY数据库）超分辨重建平均的PSNR值和SSIM值。

[1] Tsai R Y, Huang T S. Multi-frame image restoration and registration[J]., 1984(2): 317-339.

[2] Kim S P, Bose K, Valenzuela H M. Recursive reconstruction of high resolution image from noisy under-sampled multi-frames[J]., 2009, 38(6): 1013-1027.

[3] H Chang, D Y Yeung, Y Xiong. Super-resolution through neighbor embedding[C]//, 2004: 275-282.

[4] 赵书斌, 张蓬, 彭思龙. 基于小波域HMT模型的彩色图像超分辨率复原[J]. 中国图象图形学报, 2014, 9(2): 172-177.

ZHAO Shu-bin, ZHANG Peng, PENG Si-long. Wavelet-domain HMT-based color image super-resolution[J]., 2014, 9(2): 172-177.

[5] Gao X B, Zhang K B, Tao D C, et al. Joint learning for single-image super-resolution via a coupled constraint[J]., 2012, 21(2):469-480.

[6] 徐忠强, 朱秀昌. 压缩视频超分辨率重建技术[J]. 电子与信息学报, 2007, 29(2): 499-505.

Xu Zhongqiang, Zhu Xiichang. Video super-resolution reconstruction technology[J]., 2007, 29(2): 499-505.

[7] 韩玉兵, 陈小蔷, 吴乐南. 一种视频序列的超分辨率重建算法[J]. 电子学报, 2015, 33(1): 126-130.

HAN Yu-bing, CHEN Xiao-qiang, WU Le-nan. A super-resolution reconstruction algorithm for video sequences [J]., 2015, 33(1): 126-130.

[8] 黄丽, 庄越挺, 苏从勇, 等. 基于多尺度和多方向特征的人脸超分辨率算法[J]. 计算机辅助设计与图形学学报, 2014, 16(7): 953-961.

Huang Li, Zhuang Yueting, Su Congyong, et al. Face super-resolution algorithm based on multi-scale and multi-directional features[J]., 2014, 16(7): 953-961.

[9] 徐启飞, 陈武凡, 颜刚, 等. PET序列图像超分辨率优质重建算法[J]. 计算机工程与应用, 2011, 43(31): 71-74.

XU Qi-fei, CHEN Wu-fan, YAN Gang, et al. High-resolution reconstruction algorithm for PET sequence image super-resolution[J]., 2011, 43(31): 71-74.

[10] 杨浩, 安国成, 陈向东, 等. 一种基于实例的文本图像超分辨率重建算法[J]. 东南大学学报:自然科学版, 2011, 38(2): 191-194.

YANG Hao, AN Guo-cheng, CHEN Xiang-dong, et al. A improved super-resolution reconstruction algorithm[J].:, 2011, 38(2): 191-194.

[11] Irani M, Peleg S. Motion analysis for image enhancement: Resolution, occlusion, and transparency[J]., 2013, 4(4): 324-335.

[12] J C Yang, J Wright, T S Huang, et al. Image super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[13] Zhang X, Wu X. Image interpolation by adaptive 2-d auto-regressive modeling and soft-decision estimation[J]., 2008, 17(6): 887-896.

Single Frame Infrared-image Super-resolution Algorithm Based on Low-rank Matrix Recovery and Neighbor Embedding

XUE Feng1，ZHU Qiang1，LIN Nan2

(1.,,,450007,; 2.,,450002,)

In this paper, we propose a single-frame infrared-image super-resolution algorithm based on low-rank matrix recovery and neighbor embedding. Low-rank matrix recovery is adopted to study the underlying structures in sub-spaces spanned by similar image patches. Specifically, training image patches are first divided into many groups and the underlying structure of each group is learned using the low-rank technique. The neighbor embedding algorithm is used on the low-rank components of low- and high-resolution image patches to produce optimal super-resolution results. Experimental results demonstrate that our proposed method can reconstruct quantitatively and perceptually high-quality images. In addition, this method not only guarantees the consistency of smooth regions in the reconstructed high-resolution image, but also retains the image details and integrity of the edge profile.

infrared image，low-rank matrix recovery，neighbor embedding，super-resolution，sub-space，similar image patches

TP391.41

A

1001-8891(2017)11-1032-06

2016-12-29；

2017-01-09.

薛峰（1983-），男，河南郑州人，讲师，硕士，主要研究方向：计算机图形图像、模式识别、移动开发。

国家科技型中小企业技术创新基金项目（10C26214102198）；河南省科技攻关重点计划项目（122102210563；132102210215）；河南省高等学校重点科研项目计划（15B520008）