基于分类预测器及退化模型的图像超分辨率快速重建

杨 欣 费树岷 周大可 唐庭阁

(1南京航空航天大学自动化学院，南京 210016)

(2东南大学自动化学院，南京 210096)

基于分类预测器及退化模型的图像超分辨率快速重建

杨 欣1，2费树岷2周大可1唐庭阁1

(1南京航空航天大学自动化学院，南京 210016)

(2东南大学自动化学院，南京 210096)

对基于学习的领域嵌套超分辨率重建方法进行了有效改进，提出了一种基于分类预测器以及退化模型的图像超分辨率重建技术.首先，利用退化模型得到图像训练集，并基于邻域嵌套进行分块;其次，根据图像各自特点提取灰度和梯度特征，并进行特征融合，从而实现了训练过程中噪声信息的有效抑制及图像中边缘信息的锐化;然后，引入分类预测器的思想，设计了一种离线的分类预测器，对预测器进行离线训练，得出优化参数，从而大幅度减少了优化时间;最后，利用L2范数对低分辨率图像分块进行分类，将分块送入相应子预测器中进行快速超分辨率重建.实验结果表明，该算法具有良好的实时性和有效性.

超分辨率重建;分类预测器;退化模型;特征提取;邻域嵌套

超分辨率(super resolution，SR)重建［1］是一种通过一序列低分辨率(low resolution，LR)变形图像来估计高分辨率(high resolution，HR)非变形图像的技术，在远程遥感、医学诊断、视频监控以及军事情报获取等方面有着广泛的应用.

近年来，SR重建领域的算法包含最大后验概率法(MAP)［2－4］、基于示例的 SR 重建算法［5］、基于学习的SR重建算法［6］等.基于学习的SR重建方法不需要太多的图像先验知识，因而得到较快的发展.邻域嵌套 SR重建方法［7－10］是基于学习的SR方法中的一个重要分支，该方法没有深入研究图像的各自属性，故其性能受到了极大的制约.

本文将图像的退化模型应用于邻域嵌套算法中，在特征提取过程中提取梯度信息与灰度信息并进行特征融合，从而有效降低了图像噪声，锐化了图像边缘.同时，引入了分类预测器的思想，对预测器进行离线训练，得出优化参数，从而大幅度减少了优化时间，提高了算法的实时性能.

1 基于邻域嵌套的图像分块

假设第k1幅m×n的LR观测图像为¯yk1s，经字典排序后组成的N×1(N=mn)向量为Yk1s.假设r1m×r2n的HR训练图像为¯zs，经字典排序后形成的r1r2N×1向量为Zs.r1和r2分别为水平方向和垂直方向的下采样因子.将Yk1s分割成U个大小为s×s的小块，组成块集合{yk1，is}(k1=1，2，…，K1).假设第k1幅LR训练图像中的第i小块为yk1，is，相邻块之间有1个或2个像素点重合.同样地，将Zs分割成相对应的U个大小为r1s×r2s的小块，相邻块之间在水平方向和垂直方向分别有r1，r2或者2r1，2r2个像素点重合.组成块集合与参数i存在一一对应的关系.

利用类似方法将k2幅LR测试图像Yk2t(k2=1，2，…，K2)进行分块，得到组成块集合{yk2，it}.

2 基于分类预测器的SR重建

2.1 特征提取与融合

HR训练图像Zs经退化模型变为K1幅LR图像 Yk1s(k1=1，2，…，K1).将 Yk1s分割成U个大小为s×s的小块，组成分块集合{yk1，is}.每一个分块如图1(a)所示.

图1 多信息融合的特征提取

假设LR训练图像分块的大小为s×s，将原始分块转化为标准亮度分块，则图1(b)中的标准亮度uij为

图1(c)所示的边缘信息为一个四维边缘特征向量，它可使原图像中有边缘的地方得到锐化，对于平滑的地方则可抑制噪声.边缘特征由标准亮度经过计算得出，即

式中，bij为边缘特征矩阵，即

HR训练图像经退化模型，变成K1幅LR训练图像.设第k1幅LR训练图像中第i分块的特征向量为 yk1，is(k1=1，2，…，K1)，则训练图像中第i分块的全局特征向量yis为

同理，将LR测试图像经过仿射变换、模糊化，变成K2幅LR测试图像.设第k2幅LR测试图像中第i分块的特征向量为 yk2，it(k2=1，2，…，K2)，则测试图像中第i分块的全局特征向量yit为

2.2 分类预测器设计

本文算法中的一个重要部分是设计一个离线训练的优化权值预测器.当分块特征向量形成后，将自动根据特征向量送入到相应的预测器中，根据预测器中的优化权值进行快速SR重建.

首先，利用L2范数，得出与第i个测试图像分块yi

t最接近的V(V＜U)个训练图像分块，即根据Lij的大小，依次选出V个与yit最接近的训练集图像分块，记为yi，vs.

对于测试集中第i分块yit，定义 εi为

式中，ωi，v为第i分块的自适应优化权值.

解出式(6)的最小化问题，便可求出HR测试图像分块zit，即

式中，zi，vs为与 yi，vs相对应的第i个 HR 训练图像分块.

自适应优化权值 ωi，u的计算比较复杂，对图像重建的实时性有很大影响.因此，引入了一个离线的分类预测器.首先，将LR训练图像分块自动分类;然后，将其送入预测器中，根据事先给定的自适应优化权值进行实时SR重建.这样便可在不损失重建效果的前提下，有效增加算法的运算速度.

分类预测器离线训练过程如图2所示.由图可见，预测器P中包含U个子预测器Pj.在这U个分块中选取V个最接近的分块，共有CVU种可能的组合方式.预测分类器的思想为:离线计算出所有可能的自适应权值的组合，将其放入U个子预测器中，可以看出，这种子预测器是一个V维空间，令之为P［U1］［U2］…［UV］，其中 1≤Ui≤U，1≤i≤V.LR测试图像分块通过拉式距离得到V个最近的LR训练图像分块，将其分别送入相对应的子预测器中，取出各自的自适应优化权值，然后根据式(7)即可计算出HR重建图像.

图2 分类预测器离线训练过程

2.3 预测器离线训练

分类预测器中的自适应优化权值是快速进行SR重建的基础，需要通过离线训练得出.训练的数据采用LR训练图像分块集，式(6)即可变为求解如下问题:

式(8)中的yi，vs便可转变为离yis最近的V个训练集图像分块，最小化问题转化为约束最小二乘问题.令

式中，I为元素都为1的列向量;H为列向量由与构成的矩阵.

由此可得

式中，ωi为V维列向量，其元素由自适应优化权值ωi，v(v=1，2，…，V)组成.

利用上述方法便可计算出所有可能的CVU种优化权值组合.将其分别输入到预测器中，以供在线图像重建时使用.

3 实验结果与分析

实验中采用分块均方差εp对算法进行验证.令

式中分别为HR图像的第i分块真值及其相应的第j个像素点分别为HR测试图像的第i分块重建值及其相应的第j个像素点.

实验的训练和测试图像见图3.共进行6组实验，每组实验中依次选择图3中的一幅图像作为训练图像，其余图像则为测试图像.选择了较为经典的SRNE和NeedFS算法与本文算法进行比较，结果如图4所示.由图可知，本文算法的分块均方差εp相对较小，图像较为平滑，噪声较小.

然后，分别改变参数K1，K2的取值进行实验，结果见图5和图6.由图可知，当K1，K2越大时，分块均方差越小;但是，当K2＞3时，这种区别便不太明显.因此，在适当考虑计算成本的前提下选择合适的K2，有助于提高图像重建的质量.

图3 训练、测试图像

图4 不同算法的分块均方差(K1=2，K2=2)

图5 不同K1下的分块均方差(K2=1)

图6 不同K2下的分块均方差(K1=1)

最终的重建图像效果如图7所示.由图可知，本文算法较NeedFS算法的效果略好，体现在重建图像边缘部位较清晰，其他部分则比较平滑，噪声较小.这是因为本文算法训练集中训练图像较多，一幅HR图像对应于K2幅LR图像，且LR图像是通过图像退化模型得到的，更接近于现实.

图7 不同算法的重建效果图

4 结语

本文将基于MAP的SR重建算法中常用的图像退化模型引入到基于学习的领域嵌套SR重建之中，在提取多种图像特征的基础上对特征进行有效融合，从而得到了一种基于分类预测器的解决方案.实验结果表明，本文算法具有较高的评价指标以及较好的重建质量.

［1］Chaudhuri S.Super-resolution imaging［M］.Norwell，MA，USA:Kluwer Academic，2001:100－125.

［2］杨欣，费树岷，周大可.基于MAP的自适应图像配准及超分辨率重建［J］.仪器仪表学报，2011，32(8):1771－1775.

Yang Xin， Fei Shumin， Zhou Dake. Self-adapting weighted technology for simultaneous image registration and super-resolution reconstruction based on MAP［J］.Chinese Journal of Scientific Instrument，2011，32(8):1771－1775.(in Chinese)

［3］杨欣，王从庆，费树岷.基于最大后验概率的SAR图像自适应超分辨率盲重建［J］.宇航学报，2010，31(1):217－221.

Yang Xin，Wang Chongqing，Fei Shumin.An adaptive technology for SAR image blind super-resolution based on MAP［J］.Journal of Astronautics，2010，31(1):217－221.(in Chinese)

［4］Shen H，Zhang L，Huang B，et al.A MAP approach for joint motion estimation，segmentation，and super resolution［J］.IEEE Transaction on Image Processing，2007，16(2):479－490.

［5］Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［6］Chen M，Qiu G，Lam K M.Example selective and order independent learning-based image super-resolution［C］//International Symposium on Intelligent Signal Processing and Communication Systems.Hong Kong，China，2005:77－80.

［7］Chang H，Yeung D Y，Xiong Y.Super-resolution through neighbor embedding［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC，USA，2004:275－282.

［8］Wei F，Yeung D Y.Image hallucination using neighbor embedding over visual primitive manifolds［C］//IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，Minnesota，USA，2007:201－205.

［9］Chan T M，Zhang J，Pu J，et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection［J］.Pattern Recognition Letters，2009，30(2):494－502.

［10］杨欣，姜斌，周大可.基于退化模型和邻域嵌套的彩色图像超分辨率自适应重建［J］.东南大学学报:自然科学版，2011，41(6):1193－1196.

Yang Xin，Jiang Bin，Zhou Dake.Degradation model and neighbor embedding based color image adaptive super-resolution reconstruction［J］.Journal of Southeast University:Natural Science Edition，2011，41(6):1193－1196.(in Chinese)

Image fast super-resolution reconstruction based on class predictor and degradation model

Yang Xin1，2Fei Shumin2Zhou Dake1Tang Tingge1

(1College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)
(2School of Automation，Southeast University，Nanjing 210096，China)

Super-resolution(SR)reconstruction technology based on neighbor embedding is effectively improved and a novel image SR reconstruction method using class predictor and degradation model is proposed.First，according to image degradation model，training set is obtained and cut into patches based on neighbor embedding.Secondly，in order to suppress noise and smoothen regions，gray and gradient information is extracted and combined to feature vector according to each patch character. Thirdly，the idea of class predictor is introduced and a novel off-line predictor is designed.Optimal parameters are obtained through off-line training and the optimization time is substantially reduced.Finally，in the light of L2 norm，each low resolution(LR)patch is classed and then put into corresponding sub-predictor with fast SR reconstruction.The experimental results exhibit the good real-time performance and effectiveness of the proposed algorithm.

super-resolution reconstruction;class predictor;degradation model;feature extraction;neighbor embedding

TH457

A

1001－0505(2013)01-0035-04

10.3969/j.issn.1001－0505.2013.01.007

2012-07-02.

杨欣(1978—)，男，博士，副教授，yangxin@nuaa.edu.cn.

国家自然科学基金资助项目(60905009，61172135)、高等学校博士学科点专项科研基金资助项目(20093218120015)、北京师范大学遥感科学国家重点实验室开放基金资助项目(2009KFJJ012)、南京航空航天大学基本科研业务费专项科研资助项目(NS2010081).

杨欣，费树岷，周大可，等.基于分类预测器及退化模型的图像超分辨率快速重建［J］.东南大学学报:自然科学版，2013，43(1):35－38.［doi:10.3969/j.issn.1001－0505.2013.01.007］