倍增比自适应的图像超分辨率重建①

况奇刚,刘 浩,吴乐明,张鑫生,孙晓帆

(东华大学 信息科学与技术学院,上海 201620)

超分辨率 (Super Resolution,SR)是将低分辨率(Low Resolution,LR)的图像通过一定的算法提升到高分辨率 (High Resolution,HR).高分辨率图像具有更高的像素密度、更多的细节信息、更细腻的画质[1].图像超分辨率重建是指利用一幅或者一组低分辨率图像序列构建一幅高分辨率图像.随着图像超分辨率处理研究的深入,越来越多的图像重建算法被提出,但是这些算法却很少涉及任意倍增比的图像超分辨率技术.机器视觉已可以识别清晰度很低的图像,任意倍增比超分辨率技术具有越来越重要的意义.

1 序言

在在超分辨率重建中,HR图像是利用LR图像通过一定的算法来得到.如果按照技术手段来划分,超分辨率重建可以分为以下三类:基于插值的方法、基于模型的方法、基于学习的方法.

基于插值的超分辨率重建方法简单、快速,但容易产生模糊,效果较差.双三次插值法(Bicubic)是不考虑边缘的图像处理算法,其算法简单,然而重建的效果不好,重建图像存在锯齿效应[2].基于模型的方法针对图像的空间信息进行建模,在一定情况下能够取得不错的效果,随着图像尺寸的提高,其重建性能可能急剧下降,出现细节丢失、边缘模糊等问题[3].

基于学习的超分辨率重建方法是目前研究的热点和重点,这种方法是从大量的训练样本集中获取先验知识来进行字典训练,因为加上了难以建模的先验知识,其效果较好,但训练样本的选择非常重要[4].Yang等人提出了超分辨率重建的稀疏表示框架,其基本思想是低分辨率图像块和对应的高分辨率图像块具有相同的稀疏表示系数[5].Zeyde等人在Yang的基础上利用主成分分析进行降维和采取正交匹配追踪算法进行稀疏编码对其进行改进,使重建速度提高[6].Timofte等人则在Zeyde的研究基础上提出锚定邻域回归(ANR)的方法,该方法在稀疏字典学习时结合邻域嵌入方法,使用锚定邻域回归的方法将低分辨率图像块结合KSVD训练后的字典进行重建,取得了较好的高分辨率图像[7].Timofte等人提出的全局回归(GR)算法则是属于ANR算法中的极端模式,全局回归算法通过与预先计算的矩阵相乘来将超分辨过程转换为将每个输入特征投影到HR空间中,然而,这是一种全局性的解决方案,因此不针对特定的输入特征,整个字典是训练图像中所获取特征的大致表示[8].

Jiang等人在锚定邻域回归(ANR)方法的基础上,提出了一种称为局部正则化锚定邻域回归(LANR)的快速图像SR方法,应用局部约束来选择相似的字典原子,通过在学习简单回归函数之前引入这种灵活性,所提出的方法能够快速生成具有锐利边缘和丰富纹理的自然外观结果[9].Jiang等人在LANR方法的基础上提出了一种新的局部正则化锚定邻域回归非局部均值(LANR+NLM)的图像SR方法,并根据其与输入LR的相关性为每个字典原子赋予不同的自由度[10].尽管图像超分辨率重建是近年来的研究热点,但是仍然还存在一些挑战性的问题[11].

传统的图像超分辨技术一般只能处理较小的放大倍数,难以处理较大的放大倍数.一般情况下,当图像倍增比大于4时,首先图像质量开始有所降低,随之导致的结果就是图像过于平滑,缺少很多细节上的真实感,使得肉眼难以辨别图像.对于日益兴起的机器视觉,任意倍增比图像处理的研究却显得十分必要.我们在采用Yang等人的算法和Zeyde等人的算法进行图像重建处理后,发现当倍增比大于4时,算法便无法再执行下去.为了研究现有图像超分辨率算法对于任意倍增比的性能,在经过大量实验之后,本文选取Bicubic、GR、ANR、LANR 以及LANR+NLM五种代表性的算法,分析比较它们在任意倍增比中图像超分辨率处理的性能.

2 任意倍增比的分析

本节所采用的图像分别为常用的barbara、comic、zebra,在现有的五种图像超分辨率重建算法中,依次进行倍增比从2到16的实验.我们在大量测试后发现,在一定倍增比范围内,倍增比越大最终恢复的图像质量越低;并且对于高倍增比图像的恢复,越大的倍增比不同算法处理图像的结果趋于一致.我们利用各种算法进行了2～16任意倍增比的图像超分辨率处理,在不考虑处理时间的基础上,针对重建图像质量结果,做出了如图1所示三种图像在任意倍增比(次数)下的局部放大折线图.可以看出,在低倍增范围内,LANR+NLM算法处理图像的优势更明显,图像质量更高,并且在低倍增范围内,随着倍增比增大,图像质量下降得比较明显;但是随着倍增比的增大,特别是在高倍增比下,这五种算法在处理任意倍增图像超分辨率开始趋于一致,图像质量下降趋于平缓.由图中数据可以看出LANR+NLM算法的优势已经逐渐失去,并且在图像质量方面已经和LANR算法相同,说明LANR+NLM算法在达到一定倍增比时,算法处理性能基本和其它算法一致,并且质量下降程度也较明显.通过局部放大图可以看出,在倍增比到达10～12之后,GR算法的优势开始逐渐显示出来,并且随着倍增比增大,由GR处理的图像质量相比与其它方法具有越来越明显的优势.从表1、表2、表3给出的数据中可以看出,在低倍增范围内,LANR+NLM有着很明显的优势,但是在高倍增范围内,LANR+NLM算法对图像超分辨率处理有着很明显的缺陷,而GR算法很明显更适合进行超分辨率的高倍增比处理.对于Barbara重建图像,图2给出了在倍增比为12时不同算法的主观质量比较.

表3 Zebra 图像的重建质量 PSNR(dB)

3 任意倍增下的算法机制分析

根据第2节的实验结果,本文算法将选取并结合全局回归(GR)以及局部正则化锚定邻域回归非局部均值(LANR+NLM)的两部分机制.

3.1 全局回归机制

近邻嵌入的方法就是为了降低图像超分辨率重构的时间复杂度和存储需要,近邻嵌入假设低分辨率块和高分辨率块在低维空间具有相似的局部纹理,而全局回归的机制就是为每个输入块计算其在字典中的最近邻元素,只是用近邻的字典元素而不是整个字典,在训练的低分辨率图像块中寻找K个近邻,将K个近邻进行线性组合,大大降低了计算复杂度和重构时间.所以在图像处理倍增数增大时,相比于其他算法思想,能够很大程度上恢复图像.

图2 倍增比为 12 时 barbara 的重建图像

最小二乘法是使用l1范数进行约束或者正则化,所以这对计算的要求很高.基于这个问题,我们将问题重新定义为将l2范数用来调整最小二乘回归方法.因此,若采用具有封闭形式的邻域回归来解决这个问题,则问题将变为:

其中,Nl对应于用来解决该问题中LR空间的邻域,这在邻域嵌入的情况下将涉及特征y的K个最近邻域,并且在稀疏编码的情况下将涉及LR训练字典.参数λ能够解决奇点问题并求出稳定解,即系数向量β.而代数解由下式给出:

随后,可以使用高分辨率邻域中相同的系数Nh来计算HR:

其中,x是HR的输出结果,并且Nh是对应于Nl的HR邻域.从上述分析可知,全局回归机制适合于恢复整体框架,在高倍增超分的图像处理性能方面较好.

3.2 局部正则化锚定邻域回归

在ANR中,训练字典的每个元素都被认为是LR空间中的一个锚点.每个锚点都关联一个映射函数.与稀疏编码方法相比,ANR并不是考虑整个字典,而是偏向于在LR字典的局部邻域中学习:

局部正则化锚定邻域回归模型考虑了训练数据的非局部冗余和局部几何机构,并采用这两种先验方式来处理不确定的SR重建问题.通过引入非局部冗余,对SR的鲁棒特性进行预估.由于在自然图像中经常出现许多重复的图案,可以利用局部几何的数据空间,这种非局部冗余对于提高重建图像的质量非常有帮助,尤其是在低倍增图像处理中,处理的效果更优.因此将非局部均值NLM纳入该模型中作为补充正规则化.

基于以上考虑,首先应用局部几何的信息,通过调整斑块来表示,以渐变像素为基础进行预测目标斑块.然后利用NLM滤波器来改善图像超分辨率处理的结果.所以该模型包括了两个步骤:学习字典中每个锚点的斑块表示(即投影矩阵),并通过NLM滤波器确定结果.因此正则化最小二乘解可以通过分析推导出来:

其中,U是K×K对角矩阵:

这就是局部正则化锚定邻域回归的机制.从上述分析可知,邻域回归机制适合于恢复图像细节,对低倍增超分的图像处理性能较好.

4 倍增比自适应策略

为了提高任意倍增比下图像超分辨率处理的性能,本文选定全尺度质量总和Q为度量标准,并以在任意倍增比下的Q大小作为评判准则,通过各种算法的PSNR和Q值来评判其在任意倍增比中处理超分辨率图像的优劣性.通过累计在各种倍增比下的图像质量峰值信噪比,全尺度质量总和Q定义如下:

式中,PSNR(k)为任意倍增比中峰值信噪比的值,k为任意倍增比,X表示最大的倍增比.通过计算比较这五种算法在任意倍增比中Q的值,可以得出这五种算法在任意倍增比中均有局限性,并不能达到图像处理的最优化.假设n为某一给定的倍增比,在分别计算倍增比n与n–1时的图像质量PSNR值之后,本文采用α表示倍增比n与n–1时PSNR的差,α值越小表明同一种算法中随着倍增比的增大,处理图像质量接近,其性能增益愈发不明显.通过上述数据统计测试图像在任意倍增比中α,随着倍增比的增加,倍增比为n和n–1时的α值越来越小并趋于0,能够推断随着倍增比的增加,倍增比为n和n–1时的处理图像质量越来越相似.通过计算 α 值的大小,在倍增比达到 12 之后,α值为0,可以得出此时LANR算法以及LANR+NLM算法所处理的图像趋于一致.β代表不同算法中同一倍增比k情况下Q的差,β越大表明,相同倍增比k下,不同算法处理性能差距越大.通过计算β可以得出而在一定倍增比范围内,LANR+NLM算法所恢复的图像质量远高于其它算法,其图像恢复质量高,性能较好,而GR在倍增比达到一定程度后,处理图像质量相比于其它有着明显的优势.

本文提出了一种倍增比自适应图像重建(SAR)算法,有效融合了上述两种图像处理机制各自的优点.为了能够在图像超分辨率任意倍增比中达到最优的效果,本文所提SAR算法的目标是保证在任意的倍增比处理中图像质量均处于最好的状态,让高分辨率图像更加真实,便于自主学习.在本文中,阈值q是指进行超分辨率两种机制切换时的倍增比.为了做到倍增比自适应,达到处理图像的最优化,必须确定选取一个合适的q值:无论过大或者过小,都会导致图像质量下降明显.

为了确定阈值q,将LANR+NLM以及GR算法的Q通过拟合曲线表达出来.这里定义γ表示Q在任意倍增比中的斜率,γ值表示的是Q在任意倍增比中的增加速度,通过比较γ的大小来确定阈值q的范围,从而保证Q在任意倍增比中均处于较大值.从表4给出的数据可初步确定q值范围在10～12之间,然后通过实验仿真,所提SAR算法测试了这三种q值,通过分析不同q值的性能,在所选取全局回归机制以及局部正则化锚定邻域回归机制,通过比较其Q值后发现,q取10的情况下可以达到性能的最优化,即当倍增比小于等于10时,所提SAR算法选取局部正则化锚定邻域回归机制进行图像超分辨率重建,当倍增比大于10,自动切换为全局回归机制进行图像超分辨率重建.在这种SAR算法下,作为评判准则的Q将在任意倍增比中始终处于较大值,图像恢复的总体性能最优.

表4 GR 和 LANR+NLM 算法Q的斜率γ

5 实验结果

为了测试本文所提算法的主观质量和客观质量,本节采用MATLAB作为测试平台,另外选取了广泛使用的测试图像:baby、bird、 butterfly、head、woman作为数据集,以验证算法对其它尺寸图像也具有相同效果,所选取图像具有不同大小的尺寸,阈值q选取为10,也即是在倍增比为10时,将自动切换为全局回归机制.在任意倍增比下,确保图像处理质量最优.客观方面通过峰值信噪比对算法进行评估.PSNR越大,说明图像恢复得越好.表1、表2、表3显示了不同算法在任意倍增比下的处理结果,从中可以看出,随着倍增比的增大,其图像质量下降速度有所减慢.Bicubic算法的恢复图像质量是最低的,相比与其它算法有很大的差距,其实用性较差,而GR算法虽然在低倍增比中处理图像性能较差,可是当倍增比高于10之后,其算法在高倍增比环境下图像处理性能加强,其图像质量也是最高的.ANR 算法处理图像在质量方面一般,但是在任意倍增比中其性能比较稳定,LANR+NLM算法在低倍增比范围内,其图像处理性能是最好的,图像质量也是最高的,但是随着倍增比增大,LANR+NLM算法在图像处理方面与LANR算法趋于一致,并且不如GR算法.表5显示的是三种算法在不同图像下全尺度质量总和Q,其Q值越大,表示在全尺度范围内算法性能越好.如表5所示,对于本文所提SAR算法,在不同图像下,Q值虽然在全尺度范围内不能持续保持最大,尤其在baby图像中稍有不足,但总体而言Q值始终处于较大的情况,在全尺度倍增比下图像超分辨率处理的总体性能最好.

表5 不同图像下三种算法的图像全尺度质量总和Q比较

6 结论

本文通过对传统图像超分辨率重建方法在任意倍增比下进行图像处理,在大量实验分析后提出了一种倍增比自适应的图像超分辨率重建算法,通过统计学习设定合适的阈值,在任意倍增比中适时地转换图像处理算法,以提高图像处理的总体性能.实验结果显示,所提SAR算法在全尺度倍增比中,所处理的图像获得了更好的整体重建质量.