基于结构组稀疏表示的红外云图超分辨率方法

周 颖，符冉迪，颜 文，周 峰，金 炜



基于结构组稀疏表示的红外云图超分辨率方法

周 颖，符冉迪，颜 文，周 峰，金 炜

( 宁波大学信息科学与工程学院，浙江宁波 315211 )

针对红外云图分辨率低、视觉效果较差的问题，提出一种图像结构组稀疏表示的超分辨率方法。该方法充分利用红外云图的结构自相似性，将结构组作为稀疏表示的基本单位，建立图像结构组稀疏表示模型。在训练字典过程中通过高斯混合模型学习图像结构组的先验信息，再对样本块进行聚类，利用主成分分析学习得到紧凑的分类字典。在重建阶段对每个结构组自适应选取最匹配的字典，使用改进了的加权1范数优化方法求解稀疏系数。实验结果表明，与ScSR、Zeyde、NARM等算法相比，所提算法在视觉效果以及图像质量评价指标上均有所提高，红外云图重构质量有较为明显的改善。

超分辨率；红外云图；结构组稀疏表示；自相似性

0 引 言

卫星云图是由气象卫星观测得到的显示地球上的云层覆盖和陆地表面特征的图像，是研究天气系统的重要工具[1]。目前气象卫星主要通过红外、可见光等不同通道的传感器对大气进行观测来获得不同特性的卫星云图。其中红外云图主要取决于目标物发出的辐射，反映云层的温度分布，可用于判断云顶高度，能在白天夜间实现连续观测，实际应用中比可见光云图利用率高。然而，在卫星数据接收过程中，存在着诸多模糊不确定情况：数据获取过程受大气湍流的不均匀性与仪器的不稳定性影响，造成红外通道获取的红外云图分辨率往往较低、灰度层次不分明。

如何设计有效的超分辨率方法来提高红外云图分辨率成为亟待解决的问题。目前图像超分辨率方法主要分为：插值法、重建法和学习法[2-4]。其中基于学习的超分辨率方法是近年来超分辨率研究领域的热点之一，Yang[5]提出基于稀疏表示的超分辨率算法，将高、低分辨率图像块进行联合训练得到高、低分辨率图像块对应的冗余字典，使得每个图像块都能在相应的字典下进行稀疏表示。Zeyde[6]在此基础上采用K-SVD算法提高了字典训练的效率及图像重建的效果。上述方法均试图获取能够稀疏表示所有图像块的全局字典，字典的有效性依赖于图像库样本内容，且字典维数较大。

近年来，人们发现图像蕴含着大量的局部冗余信息，存在着结构自相似性。实际中红外云图通常存在灰度层次不明显、纹理特征相似的特点，红外云图的这些特点表征为像素间高度相关性[7]，若能充分利用红外云图中蕴含的结构相似信息，将有助于提高字典学习和稀疏重建的性能。Dong[8]提出一种自适应稀疏域选择和正则化的超分辨率方法，利用图像自相似性将训练样本进行聚类，构建分类字典。文献[9]在稀疏表示模型中将非局部自回归模型作为数据保真项，从而有效重建了图像的边缘结构。Zhang jian[10]根据图像的自相似性，利用低分辨率图像自身构造图像结构组，对每个图像结构组训练分类字典，来进行图像复原，获得了较好的效果。但由于这种算法在重建过程中除低分辨率图像自身外没有利用其他任何图像，附加信息的获取程度有一定的局限性。

为了充分利用红外云图中蕴含的结构相似信息，本文提出一种基于结构组稀疏表示的红外云图超分辨率方法。字典学习过程中利用图像自相似性构造图像结构组，利用高斯混合模型学习图像结构组的先验信息对图像结构组进行聚类，获取图像库所提供的附加信息，并学习得到紧凑的分类字典。重构过程中每个结构组自适应选取最匹配的字典，引入加权的范数稀疏项进行重建，采用迭代收缩算法求解稀疏系数。实验表明，所提算法重建的红外云图在视觉效果以及图像质量评价指标上均有所提高。

1 基于结构组的稀疏表示

单幅图像超分辨率降质模型表示如下：

式中：表示原始高分辨率图像HR，表示低分辨率图像LR，为降采样矩阵，为模糊矩阵，为加性噪声。式(1)说明HR图像经过下采样、模糊和加入噪声后生成了LR图像。图像超分辨率重建即从重构的过程，即求解如下问题：

传统的稀疏表示模型使用单个图像块作为基本单位进行稀疏重建，在字典学习和稀疏编码时认为图像块之间相互独立，忽略了图像块之间的联系，如自相似性。而自然图像中拥有大量的局部冗余信息，特别是红外图像局域像素间的高度相关性，保持红外图像数据空间的这种局域拓扑结构将有助于提高字典学习和稀疏重建的性能。这里将图像的自相似性作为有效的先验知识进行图像重建，以组作为稀疏表示的基本单位，对每一个图像块在整幅图像中找到和它最相似的个非局部图像块。实际操作中，在整幅图像中遍历搜索会消耗大量的运算时间，实际只取的较大邻域即可。计算尺寸为´大小的局部窗内图像块间的欧氏距离，取距离最小的前个图像块，形成一个图像结构组，则整幅图像可提取个这样的图像结构组。每个结构组，其中表示从图像中提取图像结构组。跟图像块相比，结构组的构造充分利用了自然图像的自相似性。则重构图像可表示为

2 字典学习

2.1高斯混合模型聚类

本文选取具有明显特征的红外云图建立样本库进行字典学习，从而充分利用红外云图的先验信息。为了更好地重建图像的细节信息，通过高通滤波提取样本库中图像的高频信息，从中提取个高频图像结构组。那么对应的原始样本库也可以得到个图像结构组。本文引入高斯混合模型来学习图像结构组的先验信息，每组对应一种高斯分量，共学习得到类高斯分量，从而将图像结构组分为类，再分别利用各类中的样本进行字典学习，构建针对各类的多个字典。

假设图像结构组中的图像块为独立采样，高斯混合模型(Gaussian Mixture Model，GMM)[11-12]的概率密度函数是由若干个高斯概率密度函数加权求和得到的：

2) M步：计算新一轮迭代的模型参数：

2.2 字典学习与字典选择

考虑到每一类样本由具有相似结构的图像块组成，因此没必要学习过完备的字典[10]，这里采用主成分分析(Principle Component Analysis，PCA)的方法训练字典。分别利用各类高斯分量对应的图像块进行字典学习，对第类高斯分量样本的协方差矩阵进行奇异值分解，即有。因此个高斯分量所对应的类样本可以学习得到个子字典,为相应特征值组成的对角矩阵。分类字典训练完毕后，将其保存至离线字典库中，每一类高斯分量对应一类字典。由于结构组中图像块具有相似性，选取字典时一个结构组中的图像块共用同一个字典。对每一个结构组都设计了一个自适应的字典，而不是对图像中所有块都是用同一个字典，因此所提的方法会更加有效，并且还具有低计算复杂度的优点。

对于输入的低分辨率云图，通过双三次方插值将图片尺寸恢复到高分辨率图片大小，得到初始重建 图像，根据图像的非局部自相似性得到个图像结构组，对每一个，从训 练得到的个高斯分量中选择最合适的高斯分量，从而选择对应子字典作稀疏表示。假设低分辨率图像中 高斯白噪声的方差为，则第个高斯分量的协方差矩阵的估计为，为单位密度矩阵。通过计算图像组属于第类高斯分量的后验概率来选择最适合的高斯分量，进而选择对应的子字 典作稀疏表示

对上式取对数似然函数：

计算似然函数的最大值，代表式(12)中的分母，此时选取后验概率最大的高斯分量作为图像组对应的高斯分量。

2.3 自适应加权稀疏正则化

3 基于结构组稀疏表示的超分辨率算法

算法具体步骤如下：

步骤1 初始化：设置最大迭代次数iternum，迭代收缩算法迭代次数imax；

步骤2 输入训练样本云图，提取结构相似的图像块作为结构组，用高斯混合模型对结构组进行聚类，分为类样本集，对每类样本集利用PCA算法学习得到子字典；

步骤5 利用迭代收缩算法求解式(15)，得到结构组在字典下的稀疏表示系数；

4 实验结果与分析

为了验证本文所提算法的有效性，选取风云二号F型卫星在不同时刻实拍的IR1红外通道卫星云图，截取像素大小为600´600的4张子云图作为测试云图，为方便起见记作云图①~云图④。将原始云图作为高分辨率云图，分别进行高斯模糊、下采样处理得到低分辨率红外云图，高斯模糊核尺寸为7，方差为1。分别采用ScSR[5]、Zeyde’s[6]、NARM[9]和本文算法对4幅低分辨率红外云图进行重建。实验中相应参数设置为：输入的低分辨率红外云图选择图像块大小为7´7，相邻图像块之间有4个像素重叠，云图库由12幅具有明显特征的高分辨率红外云图组成，字典训练阶段，样本库中图像块尺寸为7´7，高斯混合模型学习中高斯分量初始值为200，最终分为=65类，每一类字典中原子个数为49，EM算法最大迭代次数为100，式(15)中各参数设置为：=0.33，算法迭代次数为20。实验仿真平台为Matlab2011a，CPU为3.2 GHz，内存2 G。

为了验证本文算法的普适性，分别选取普通云图和包含台风云系的云图进行重建。图1给出了云图①在各种算法下进行两倍超分辨率重建结果，其中图1(a)~(d)分别为ScSR、Zeyde’s、NARM和本文算法重建云图。从局部放大区域可以看出，ScSR和Zeyde算法没有考虑到红外图像的结构自相似性，使得重建云图在局部区域特别是几何结构区域有较为明显的振铃现象，NARM算法虽然显著减少了噪声，但是丢失了过多的纹理细节，图像边缘部分过于平滑。本文算法重建云图恢复出了更多的纹理细节，且基本没有振铃效应，在视觉效果上优于其他几种方法。

图1 2倍超分辨率重建的云图1

图2给出了包含台风云系的红外云图②进行三倍超分辨率的重建结果，其中图2(a)~(d)分别为ScSR、Zeyde’s、NARM和本文算法重建云图。图中放大区域为台风外围的低云部分，从放大区域可以看出ScSR算法重构云图边缘模糊，视觉质量较差，且存在较严重的振铃效应，Zeyde算法的重建云图仍较为模糊，且存在一定的振铃效应，NARM算法的重建云图锐化效果较为明显，引入了一些虚假的细节，而本文算法重构的云图边缘更加清晰，恢复出更多的细节部分，且基本没有振铃效应。

本文用两种客观评价指标即峰值性噪比(PSNR)、结构相似度(SSIM)来定量评价各算法的性能。PSNR计算重建云图与参考高分辨率云图之间的均方误差来衡量重建云图的质量；SSIM从结构相似度来衡量重建效果，PSNR和SSIM值越大表明重建效果越好。表1给出了各种超分辨率算法下重建红外云图①~云图④的PSNR、SSIM值。为了分析图像结构组的图像块个数对算法性能的影响，选取=10、20、30，窗口尺寸=15´15进行实验，从实验结果可以看出，所提算法在峰值性噪比(PSNR)和结构相似度(SSIM)质量评价指标下对的取值并不敏感。实验过程中发现图像结构组中图像块的个数、窗口尺寸增加时，算法耗时明显增多，从保证算法计算效率的角度出发，本文将图像组中图像块个数设为10，窗口尺寸设为15´15。从表1可看出，两倍超分辨率重建时，与ScSR、Zeyde’s、NARM算法相比，本文重建云图的PSNR的平均值分别提高了5.33 dB、4.93 dB、3.1 dB，SSIM的平均值分别提高0.021 1、0.012 8、0.007 1。三倍超分辨率重建时，与ScSR、Zeyde’s、NARM算法相比，本文重建云图的PSNR的平均值分别提高了4.50 dB、4.15 dB、1.15 dB，SSIM的平均值分别提高0.042 6、0.029 6、0.004 4。对于实验中测试的4幅红外云图，ScSR，Zeyde’s、NARM和本文所提算法的平均运行时间分别为500.27 s，257.40 s，241.14 s，697.56 s，虽然所提算法的运行时间略高于其他的几种方法，但是算法有效提高了重建红外云图的质量。

图2 3倍超分辨率重建的云图2

表1 两倍和三倍超分辨率重建云图的PSNR和SSIM值(PSNR/SSIM)

上述实验结果表明，本文方法在视觉效果和PSNR、SSIM定量评价指标上均优于其他几种方法，究其原因，本文算法与采用全局字典的ScSR、Zeyde算法相比，采用分类字典能够训练出与图像内容相关的更匹配的字典，与只是用图像本身作为训练样本的NARM算法相比，能够从训练云图库中获取更多的附加信息，达到更好的重建效果。

5 结 论

本文提出了一种基于结构组稀疏表示的红外云图超分辨率方法，以提高红外云图分辨率。充分利用红外云图的自相似性，提出了图像结构组稀疏表示模型，用高斯混合模型学习图像组的先验信息对图像块进行聚类，再利用主成分分析方法学习得到紧凑的分类字典；重建过程中对每个结构组自适应选取最匹配的字典，用迭代收缩算法求解稀疏系数。与多种超分辨率方法的对比实验结果表明，所提算法在视觉效果以及图像质量评价指标上均有所提高，说明本文算法能更好的提高红外云图的分辨率。

[1] 李秀馨，王敬东，徐烨晔，等. 基于改进 FCM 算法的卫星云图聚类方法研究 [J]. 红外技术，2013，35(3)：150-154.

LI Xiuxin，WANG Jingdong，XU Yeye，. Satellite Image Clustering Research Based on Improved FCM Algorithm [J]. Infrared Technology，2013，35(3)：150-154.

[2] Freeman W T，Jones T R，Pasztor E C. Example-based super-resolution [J]. IEEE Computer Graphics and Applications (S0272-1716)，2002，22(2)：56-65．

[3] 潘宗序，禹晶，肖创柏，等. 基于自适应多字典学习的单幅图像超分辨率算法 [J]. 电子学报，2015，43(2)：209-216.

PAN Zongxu，YU Jing，XIAO Chuangbai，. Single Image Super Resolution Based on Adaptive Multi-Dictionary Learning [J]. Acta Electronica Sinica，2015，43(2)：209-216.

[4] 练秋生，石保顺，陈书贞. 字典学习模型、算法及其应用研究进展 [J]. 自动化学报，2015，41(2)：240-260.

LIAN Qiusheng，SHI Baoshun，CHEN Shuzhen. Research Advances on Dictionary Learning Models，Algorithms and Applications [J]. Acta Automatica Sinica，2015，41(2)：240-260.

[5] YANG Jianchao，John W，Thomas H，. Image Super-Resolution via Sparse Representation [J]. IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society(S1057-7149)，2010，19(11)：2861-2873.

[6] Zeyde R，Elad M，Protter M. On Single Image Scale-Up Using Sparse-Representations [C]// Proceedings ofInternational Conference on Curves and Surfaces，Springer-Verlag，2010：711-730.

[7] 邓承志，田伟，陈盼，等. 基于局部约束群稀疏的红外图像超分辨率重建 [J]. 物理学报，2014，63(4)：044202-1-044202-8.

DENG Chengzhi，TIAN Wei，CHEN Pan，. Infrared Image Super-resolution via Locality-constrained Group Sparse Model [J]. Acta Physica Sinica，2014，63(4)：044202-1-044202-8.

[8] DONG Weisheng，ZHANG Lei，SHI Guangming，. Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization [J]. IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society(S1057-7149)，2011，20(7)：1838-1857.

[9] DONG Weisheng，ZHANG Lei，Lukac R，. Sparse Representation Based Image Interpolation with Nonlocal Autoregressive Modeling [J]. IEEE Transactions on Image Processing(S1057-7149)，2013，22(4)：1382-1394.

[10] ZHANG Jian，ZHAO Debin，GAO Wen. Group-based Sparse Representation for Image Restoration [J]. IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society(S1057-7149)，2014，23(8)：3336-3351.

[11] Zoran D，Weiss Y. From Learning Models of Natural Image Patches to Whole Image Restoration [C]// Proceedings ofIEEE International Conference on Computer Vision，Barcelona，Spain，Nov 6-13，2011：479-486.

[12] Papyan V，Elad M. Multi-Scale Patch-Based Image Restoration [J]. IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society(S1057-7149)，2016，25(1)：249-261.

[13] 岳佳，王士同. 高斯混合模型聚类中EM算法及初始化的研究 [J]. 微计算机信息，2006，22(11-3)：244-246.

YUE Jia，WANG Shitong. Algorithm EM and Its Initialization in Gaussian-Mixture-Model Based Clustering [J]. Microcomputer Information，2006，22(11-3)：244-246.

[14] Candes E J，Wakin M B，Boyd S P. Enhancing Sparsity by Reweighted L1 Minimization [J]. Journal of Fourier Analysis & Applications(S1069-5869)，2007，14(5/6)：877-905.

[15] Daubechies I，Defrise M，Mol C D. An Iterative Thresholding Algorithm for Linear Inverse Problems with a Sparsity Constraint [J]. Communications on Pure & Applied Mathematics(S0010-3640)，2003，57(11)：1413–1457.

A Method of Infrared Nephogram Super-resolution Based on Structural Group Sparse Representation

ZHOU Ying，FU Randi，YAN Wen，ZHOU Feng，JIN Wei

( Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo315211, Zhejiang, China)

For the problems of low-resolution and poor visual effect of infrared cloud images, a super-resolution method based on structural group sparse representation was proposed. In consideration of the self similarity of infrared image, a structural group sparse representation model was first established. In the training stage, the Gauss mixture model is used to study the prior information of the image structure group, and then to cluster it, using principal component analysis to get a compact classification dictionary. In the reconstruction phase, the best matching dictionary of each structure group is selected, adaptively reweighted1-norm sparsity is introduced to effectively obtain sparse coefficient. Experimental results demonstrate that our method can achieve better reconstruction effect in both subjective visual effect and objective evaluation criteria compared with ScSR, Zeyde and NARM methods．

super-resolution; infrared nephogram; structural group sparse representation; self-similarity

1003-501X(2016)12-0126-07

TP391.4

A

10.3969/j.issn.1003-501X.2016.12.020

2016-05-26；

2016-08-29

国家自然科学基金(61271399，61471212)；浙江省自然科学基金(LY16F010001)；宁波市自然科学基金(2016A610091)

周颖(1992-),女(汉族),湖北黄冈人。硕士,主要研究工作是数字图像处理。E-mail: zhouying9264@163.com。