基于退化模型和邻域嵌套的彩色图像超分辨率自适应重建

杨 欣 姜 斌 周大可

(1南京航空航天大学自动化学院，南京 210016)

(2北京师范大学遥感科学国家重点实验室，北京 100875)

超分辨率(SR)重建［1］即通过一序列低分辨率(LR)变形图像来估计高分辨率(HR)的非变形图像.这一技术在远程遥感、医学诊断、视频监控以及军事情报获取等方面有着广泛的应用.常见的如最大后验概率法(MAP)［2-4］需要较强的图像先验信息.因此，更多的空间和本地信息被用来进行SR重建，例如，文献［5］提出了基于示例的SR重建算法;文献［6］提出了基于学习的示例可选择SR重建算法等.通常基于学习的方法不需要太多先验知识.文献［7］对LR和HR图像进行相似性分块，提出了基于邻域嵌套的SR重建算法(SRNE);文献［8］提出一种基于邻域嵌套的图像联想方法，这也是由SRNE演化而来;文献［9］在SRNE的基础上对训练集的特征进行分析与选择，提出了基于边缘检测与特征提取的SRNE算法(NeedFS)，取得了较好的效果.上述基于邻域嵌套的各种SR重建方法都存在着相同的缺点，即:训练集中的LR图像是通过HR图像的简单采样所得，且1幅HR图像只对应1幅LR图像，对实际图像退化过程中的模糊过程和仿射变换过程没有任何考虑，这对重建的效果会产生消极的影响.

基于上述分析，本文将图像的退化模型结合到邻域嵌套算法中，训练集中1幅HR图像将对应多幅退化的LR图像，同时提取边缘信息和亮度信息并进行特征融合，有效降低图像噪声，锐化图像边缘.在分块重建时引入了图像重建优化参数(OP)和边缘信息参数(EP)2个自适应参数，大大提高了算法的自适应性，取得较好的重建效果.

1 模型建立与分析

1.1 SR重建退化模型

设p幅m×n的LR观测图像{Yk}，有

式中，Yk为第k幅m×n的LR观测图像¯yk经字典排序后组成的N×1(N=mn)向量;如果r1，r2分别为水平和垂直方向的下采样因子，则Z为r1m×r2n的HR图像Z经字典排序后形成的r1r2N×1向量;Mk为 r1r2N×r1r2N仿射变换矩阵;Bk为r1r2N×r1r2N模糊矩阵;D为N×r1r2N下采样矩阵;nk为N×1高斯白噪声向量.

1.2 图像分块模型

令Zs为HR训练图像，Ys，k为Zs经过模糊化、运动变换、采样及加入噪声等因素影响，退化成的第 k 幅(k=1，2，…，K1)LR 图像.将 Ys，k分割为 P个 s× s小块，组成块集合{ys，k，i}，ys，k，i表示第 k 幅LR训练图像的第i小块，相邻的块之间有1或2个像素点重合;将Zs分割成相对应的P个r1s×r2s小块，同样相邻的块之间根据水平和垂直方向分别有r1，r2或者2r1，2r2个像素点重合，组成块集合{zs，i};{ys，k，i}和{zs，i}与参数 i一一对应.将 k 幅LR 测试图像 Yt，k(k=1，2，…，K2)也通过同样的方法进行分块，组成块集合{yt，k，i}.

2 基于退化模型与邻域嵌套的SR重建算法

2.1 特征提取

采用多种方法提取特征并进行融合，这样能较好地表征图像信息.如果输入的图像属于RGB色彩空间，先将其转换为YIQ空间，再进行分块，对于Y分量(即亮度)，将其转换为标准亮度后作为特征.

设LR训练图像分块的大小为s×s，将原始分块转化为标准亮度分块，如图1(a)、(b)所示，则其标准亮度为

图1 图像分块转化示意图

对于I分量和Q分量，不作为特征进行训练，即重建的是没有颜色信息的HR图像，HR图像重建后再融合作为颜色信息的I分量和Q分量(采用插值方法).

为了在重建图像中加入边缘信息，对于原图像中有边缘的地方要锐化，而平滑的地方要抑制噪声.本文在分块中的每一个像素点引入一个四维的边缘特征向量，由标准亮度经过计算得到(见图1(c))，边缘特征向量定义如下:

将图1(c)所示的边缘信息特征分块转换为图1(d)所示的边缘参数分块，引入参数 di，j(i=1，2，…，s;j=1，2，…，s)，即

设定阈值 T，如果 di，j≥T，则可认为该分块边缘信息明显，反之，则认为边缘信息不明显.T的大小根据实验和经验判定.

将上述每一分块的各个特征进行融合，就得出LR和HR训练图像中每一分块的特征向量.如图2所示，其中Label是一个标志位，当边缘信息明显时，设定Label标志位为1，否则令其为0.Label标志位不能作为分块的特征，不参加图像重建的计算.另外，本文中无论HR图像还是LR图像，都是用图2的特征向量来表示的，因此，并没有颜色信息，而重建的最后步骤是在得到的HR图像上加入颜色信息，这样才能得到最终的彩色图像.HR图像中的颜色信息可以通过LR图像中的像素点的颜色信息进行插值计算得到.

图2 分块特征向量示意图

2.2 图像重建

对于测试集中的第 q 个分块 yt，k，q，令

式中，Kq为 yt，k，q的邻域分块在训练集中相对应的分块;Ls，k，i为边缘信息自适应参数(EIP); ωq，i为图像重建优化自适应参数(SOP)，上述2个自适应参数的组合将有效地增强算法的自适应性，而式(5)右边第1项乘以系数K2/K1的目的主要是让前后项的量级相等，起到平衡的作用，其计算方法分别如下:

Ls，k，i的大小与训练 LR 图像分块 ys，k，i的边缘信息有关，令

Ls，m，i所对应的 ys，m，i的边缘标志位为 1，Ls，n，i所对应的 ys，n，i的边缘标志位为 0.边缘特征明显的分块的自适应参数2倍于边缘特征不明显的分块，这样能有效地锐化边缘.根据式(6) 即可得出Ls，k，i.

为了求出图像重建优化自适应参数ωq，i，首先给出前提条件:对于任意再根据式(5)，令

则

式(7)的最小化问题可以转化为一个约束最小二乘问题，令

式中，1为元素都为1的列向量;V为矩阵，其列向量由 Vs，i构成，则有

式中，ωq为 q × 1 列向量，其元素由 ωq，i构成，然后求出相应的第q个重建HR图像分块，即

将重建的分块Zt，q按照相应的次序组合起来，重复的像素点取平均值，这样就得到HR重建图像Zt.最后融合颜色信息，即可得到HR彩色图像.

3 实验结果与分析

为了验证本文算法的效果，实验采用了分块均方差εp来验证，图3为训练和测试图像，依次选择(图像1，图像 2)、(图像 2，图像 3)、(图像 3，图像4)、(图像4，图像5)、(图像5，图像6)、(图像6，图像1)等6组图像进行实验，括号中的前者为测试图像，后者为训练图像.这些图像都需经过退化模型变成K2幅LR图像，实验首先令K2=3.

图3 训练以及测试图像

6组实验的结果如图4所示，其中，SRNE和NeedFS都是较为经典的算法，因此作为实验比较算法具有一定的代表性.由图4可知，本文算法的分块均方差εp相对较小，因此本文算法重建的图像较为平滑，噪声较小.

对参数K2的选择进行实验，如图5所示.由图5可以看出，K2越大，分块均方差越小，但是当K2＞3时，这种区别不太明显.因此，在适当考虑计算成本的前提下选择合适的K2，将有助于提高图像重建的质量.

图4 不同算法的分块均方差εp

图5 不同参数K2下重建图像的分块均方差εp

最终的图像重建实验选择了图3中的图像1、图像2和图像6进行重建;训练图像为图3中的图像3，重建图像的效果如图6所示，其中，图6(a)为HR 图像，图6(b)为LR 图像，图6(c)、(d)、(e)分别为由 SRNE 算法［7］、NeedFS 算法［9］以及本文算法重建的图像.由图6可以看出，SRNE效果略差，这是因为其对训练特征没有进行选择与提炼.而对比NeedFS算法，本文算法重建图像边缘部位较清晰，其他部分则比较平滑，噪声小，重建效果较好.这是因为本文算法训练集中训练图像的个数较多，一幅HR图像对应于K2幅LR图像，且LR图像通过图像退化模型得到，更接近于现实.NeedFS中一幅HR训练图像只对应于一幅LR图像，且LR图像仅仅是由HR图像简单采样所得，因此重建效果略差于本文算法.

图6 不同算法的重建效果图

4 结语

提出一种基于退化模型和邻域嵌套的图像SR重建方法，即:将图像退化模型引入到图像学习过程中;在特征提取过程中，融合了多种特征;增加了算法的自适应性.实验详细说明了算法性能参数的影响以及实际重建的效果，并与其他基于学习的典型邻域嵌套算法进行了比较.结果表明该算法具有较高的评价指标和较好的重建质量.

References)

［1］ Chaudhuri S.Super-resolution imaging［M］.Norwell，MA，USA:Kluwer，2001.

［2］ Tom B C，Katsaggelos A K.Reconstruction of a high-resolution image from multiple degraded mis-registered lowresolution images［J］.Visual Communications and Image Processing，1994，2308(9):971-981.

［3］ Hardie R C，Barnard K J，Armstrong E E.Joint MAP registration and high-resolution image estimation using a sequence of under sampled images［J］.IEEE Transaction on Image Processing，1997，6(9):1621-1633.

［4］杨欣，王从庆，费树岷.基于最大后验概率的SAR图像自适应超分辨率盲重建［J］.宇航学报，2010，31(1):217-221.Yang Xin，Wang Chongqing，Fei Shumin.An adaptive technology for SAR image blind super-resolution based on MAP［J］.Journal of Astronautics，2010，31(1):217-221.(in Chinese)

［5］Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56-65.

［6］Chen M，Qiu G，Lam K M.Example selective and order independent learning-based image super-resolution［C］//International Symposium on Intelligent Signal Processing and Communication Systems. Seoul， Korea，2005:77-80.

［7］ Chang H， YeungD Y， XiongY. Super-resolution through neighbor embedding［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC，USA，2004:275-282.

［8］ Wei F，Yeung D Y.Image hallucination using neighbor embedding over visual primitive manifolds［C］//IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，MN，USA，2007:201-205.

［9］ Chan Tak-Ming，Zhang Junping，Pu Jian，et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection［J］.Pattern Recognition Letters，2009，30(2):494-502.