基于回归函数结合局部自相似的单帧图像超分辨率算法

赵　丽，齐兴斌，李雪梅

(1.山西大学 计算机工程系，太原　030013；2.北京航空航天大学 计算机学院，北京　100191)



基于回归函数结合局部自相似的单帧图像超分辨率算法

赵丽1,2，齐兴斌1，李雪梅1

(1.山西大学 计算机工程系，太原030013；2.北京航空航天大学 计算机学院，北京100191)

启发于过完备字典中稀疏线性组合的高分辨率图像的块与其对应的低分辨率局部块能很好地匹配，提出一种回归函数结合局部自相似的单帧图像超分辨率算法;该算法结合了实例图像块的学习和局部自相似图像块的学习，实例图像块的局部回归避免了从低分辨率到高分辨率图像块映射的病态性问题;通过局部自相似实例图像块学习获得非线性映射函数的一阶近似，从而获得低分辨率图像块相对应的高分辨率图像块，克服了实例图像块算法不足的问题；实验采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和均方误差(Root-mean-square error,RMSE)比较各算法效果;从实验结果数据可以看出，大多数情况下，提出的算法具有最高的峰值信噪比和最低的均方根误差，从实验结果图可以看出，提出的算法的纹理保留的最好，图像自然性最好，且运行时间也少于其他几种较新的算法，表明提出的算法更适合用于解决实际问题。

完备字典；稀疏线性组合；超分辨率；单帧；局部自相似；局部回归

0　引言

超分辨率(super-resolution,SR)[1]在实际应用中十分广泛和活跃，例如军事超视距设备不仅装备了非常好的高清摄像头，还有较好的SR嵌入式算法[2]；SR在地球卫星上的应用也比较早[3]；SR在医学上的微成像[4]也相当重要。从硬件设备上提高分辨率已经基本到了极限，从软件算法上获得高分辨率(high resolution,HR)图像是代价低，实用性好的途径。

SR的目标是从一个或多个低分辨率(low resolution,LR)图像产生一个 或多个HR图像的过程。SR算法一般分为3大类：基于插值的算法[5]、基于重建的算法[6-7]和基于学习的算法[8-10]。

本文给出一种新的单帧图像SR算法，不同于之前的先验单帧SR，本文使用基于字典的局部回归和局部自相似相结合方法。使用局部自相似[10]从LR图像重建训练一个字典；然后使用得到的字典学习从LR图像块到HR图像块的非线性映射的一阶近似，有效避免了从LR到HR图像块映射的病态性问题。

1　数学模型

一般情况下，超分辨率问题采用前向的数据模型来表达。其表达方式有多种，比较受欢迎的有文献[11]的形式。其修改后的模型表达式为：

Yk=DkHkFkX+nk,k=1,...,N

(1)

式中，Fk是X与第k帧Yk的几何运动算子，大小r2M2×r2M2。r是分辨率变化因子。X可以写成向量形式，大小r2M2×r2M2。Yk大小是M2×1。点扩散函数用模糊矩阵Hk表示，大小为r2M2×r2M2。Dk代表抽样算子，大小为M2×r2M2。nk是系统加性噪声，大小为M2×1。N是可用于处理的LR图像帧数。在式(1)中，nk和Hk分别代表噪声和模糊矩阵，这两项都是已经假设好的，例如nk大多用高斯白噪声代表，Hk大多以匀速直线运动模糊为研究对象，或者直接不研究将其置为单位矩阵。另外当k>1时，模型就是多帧超分辨率问题，当k=1时，模型是单帧超分辨率问题。

数学模型建立好之后，要解决的问题就是如何获得潜在的高质量图像X，实质上这就是一个估计问题。一个未知的HR估计并不仅仅取决于LR图像的质量。它同时也取决于很多假设，例如噪声和运动模型。这些模型并不一定都正确，只是一些常用的经验知识，不过可以做近似处理。

本文研究的是单帧超分辨率问题，即k=1，没有运动模糊和复杂的几何运动，即Hk和Fk为单位矩阵，因为本文讨论的是结合字典的学习方法，研究分辨率因子增强后的图像纹理和自然性的变化，因此式(1)可以简化为：

Y=DX+n

(2)

定义LR图像X0∈RK1×K2是Y0∈RK1×K2通过高斯滤波后的低频图像。使用立方插值，采样因子为r，对X0上采样得到Y∈RrK1×rK2。Y是未知HR图像X∈RrK1×rK2的低频图像的近似图像。本文的目标是从X0,Y0,Y中的已知信息估计X。

图1　本文单帧SR问题描述

2　提出的算法

2.1局部回归

基于图像块的单帧SR问题可以看做是一个回归问题，例如寻找从LR图像块空间到HR图像块空间的非线性映射关系。由于反问题的病态性[12]，学习这种非线性映射函数需要很好的图像先验知识和适当的正则化。自相似图像块是推理HR图像中y的非常好的先验知识[13]。假设映射函数f是连续可导的，则有下列的泰勒表达式：

x=f(y)=f(y0+y-y0)=

x0+▽fT(y0)(y-y0).

(3)

等式(3)是映射函数f的一阶近似。这样做的好处显而易见，因为直接学习函数f本身比较麻烦，而学习映射函数f的梯度▽f将使问题变得简单直接。

(4)

2.2字典学习

映射梯度▽f的字典方法是由文献[15]提出，目的是保证细节增强。 这种方法使用高分辨率图像建立一个完备字典Dh∈Rn×K，即一个n×K的矩阵，其中K列代表一个尺寸为K的“原子”，一个“原子”就是一个稀疏系数向量。在HR图像X中的图像块x∈Rn可以被重新表示为以下字典Dh的原子的稀疏线性组合形式：

(5)

在观测LR图像中，图像块y可以使用相应的LR字典Dl和相同的稀疏系数向量α组合表示。这是由于HR图像块的字典Dh和对应的LR图像块的字典Dl联合训练的结果。

对于给定的输入LR图像块y，可以定义稀疏解决向量为：

(6)

式(6)中，G是特征提取算子用于增强高频成分，式(7)是本文使用的一维滤波器：

g1=[-1,0,1];g2=[-1,0,1]T;

g3=[1,0,-2,0,1];g4=[1,0,-2,0,1]T

(7)

G作为上述一维图像滤波器的串联响应。解向量α*的稀疏性由λ控制。为了在抑制噪声和其他锯齿同时，增强纹理细节，需要求解解向量α*的非零系数的数目，因为增加非零系数的数目提高了纹理信息，而且也提高了噪声的抵抗性。本文使用图像块的标准偏差(σ)来表征局部纹理，λ的经验值表示如下：

(8)

这些σ的范围划分适用于8比特灰度图像，RGB彩色图像与之类似，只不过多了两个通道。对于给定y0映射梯度▽f表示为▽f(y0)=Dhα*.

(9)

式中，N和M是LR和HR图像块的向量形式的元素个数。优化字典可以被计算如下:

(10)

训练的方式采用迭代方法，使用文献[14]的技术交替优化Z和Dc。

3　实验与分析

仿真实验在配置为Windows XP操作系统、intel酷睿II处理器、 2.53 GHz主频、4 GB RAM的笔记本计算机进行。使用MATLAB 7.0平台。

3.1算法参数设置及评价函数

本文选择的图像块尺寸为a= 3，迭代缩放因子为r= 2。输入的LR图像X0双3次插值生成目标HR图像X，滤波标准差为0.4，输入的LR图像X0的低频分量的低频分量Y0。对于干净的图像，本文使用最近邻图像块一阶回归，而在噪声图像的情况下，使用所有9个邻域图像块回归的稳健估计，其中σ是用于计算权重wi,且唯一需要调整变量，如式(4)中所示。原子数K取512，用来训练和构建字典Dh和Dl。

本文使用图像的峰值信噪比(peak signal to noise ratio,PSNR)和均方差表征估计得到HR图像的好坏，PSNR定义如下：

(11)

(12)

式中,g(i，j)代表原始图像每个元素灰度值，处理后，(i,j)位置对应的像素灰度值为G(i，j)，处理前后图像大小不变，(原始图像进行下采样，再上采样，处理前后尺寸大小不变)宽高分别为W，H。

本文所用均方差RMSE形式如下：

(13)

式中，bins(i)代表亮度为i的直方图条块的高度，图像亮度分量均值表达形式为：

(14)

3.2定量结果比较

实验所用图像大多采自文献[11,15]和Matlab平台常用图像，比较的算法是文献[7]提出的IPER算法，文献[8]提出的MSS算法和文献[10]提出SIS算法。

为了获得客观的测量结果，首先使用均方误差RMSE表征结果，如表1所示。从表1可以看出立方插值的结果最差，因为立方插值假设图像是平滑先验的。IPER的效果明显好于立方插值，RMSE明显低于立方插值的RMSE值。SIS和MSS的效果差不多，RMSE的值相差不大，由于这两种算法都采用了局部自相似块从LR图像学习HR图像块。本文算法大多数情况下RMSE值最低，这是由于该方法组合了局部实例图像块和对应的局部相似性，用于学习字典，获得更好的结果。

表1　分辨率增强因子为2时各算法RMSE结果

表2是PSNR的值测量结果，PSNR值越高表示图像的高频成分越多，从表2可以看出本文算法除了一幅图像外PSNR值略低于IPER算法重建的效果，其他重建图像的PSNR值均最高，与原始图像的PSNR值相差最少，丢失的高频纹理信息最少，效果最好。

表2　分辨率增强因子为2时各算结果的PSNR值　dB

3.3定性结果比较

图2、图3和图4分别显示了不同算法在“Starfish”，“Bike”和“Parrots”的结果，可以看出，从“Starfish”图像上，MSS和SIS的算法给出了过多的尖锐图像，造成了视觉的不舒服，IPER算法造成有些模糊的感觉，同样的效果出现在“Bike”图像中，立方插值的效果最差。IPER同样在“Bike”图像上的细节有些模糊。从对比可以看出，本文算法没有牺牲图像的自然性就能恢复局部纹理细节。

图2　第一层左起原始图像，立方插值图像，MSS，第二层左起SIS，IPER和本文算法的效果(缩放因子为3)

图3　第一层左起原始图像，立方插值图像，MSS，第二层左起SIS，IPER和本文算法的效果(缩放因子为4)

图4　第一层左起原始图像，立方插值图像，MSS，第二层左起SIS，IPER和本文算法的效果(缩放因子为2)

3.4算法处理速度比较

一个好的SR算法应该满足以下3大方面：图像纹理、图像自然性和算法处理的速度。本文算法的时间主要集中在字典Dl和Dh的建立上，由于映射函数f的学习用其梯度函数▽f学习取代，变得较为简单。从表3是50幅图像重建的平均时间比较。可以看出，插值算法依然最快，因为算法比较简单。对于256×256的图像“Boy”，“Parthenon”和“Cameraman”，在Matlab7.0平台上，运行时间比IPER的快。这是因为本文局部自相似实例图像块学习获得的非线性映射函数的一阶近似来获得低分辨率图像块相对应的高分辨率图像块。SIS与MSS算法有不少时间用在各个尺度上的图像块匹配。

表3　各算法的平均运行时间比较　s

4　结论与展望

本文提出一种鲁棒的基于一阶回归模型的单帧图像SR算法，巧妙地结合了自相似性。其优势是在同一个图像中结合了从实例图像块的学习和局部自相似图像块的学习，实例图像块的局部回归避免了从LR到HR图像块映射的病态性问题。另一个方面，通过局部自相似图像块的学习，回归模型可以克服实例图像不足的问题。仿真实验表明本文算法结果更接近真实结果，纹理更加清晰，图像更加自然，而且运行时间也略快于其他先进算法。

未来将重点研究基于视频流的，将该方法扩展到多帧情况下，其中主要解决多帧下的字典建立问题和映射函数的学习。

[1] 苏衡,周杰,张志浩. 超分辨率图像重建方法综述[J]. 自动化学报,2013,39(8): 1202-1213.

[2] 杨文波. 航空图像超分辨率重构技术研究[D]. 中国科学院研究生院(长春光学精密机械与物理研究所),2014.

[3] 许宗敏. 基于冗余字典和稀疏表示的卫星图像超分辨率重建[D]. 北京：北京交通大学,2013.

[4] Peng J,Xu Q F,Feng Y Q,et al.自适应正则化超分辨率磁共振图像重建[J]. 南方医科大学学报,2011,31(10): 1705-1708.

[5] Mallat S,Yu G. Super-resolution with sparse mixing estimators[J]. IEEE Transactions on Image Processing,2010,19(7):2889 - 2900.

[6] Freedman G,Fattal R. Image and video upscaling from local self-examples[J]. ACM Transactions on Graphics,2011,30(2):474-484.

[7] Yang J,Lin Z,Cohen S. Fast image super-resolution based on in-place example regression[A]. IEEE Conference on Computer Vision & Pattern Recognition[C].2013,9(4):1059-1066.

[8] 潘宗序,禹晶,胡少兴,等. 基于多尺度结构自相似性的单幅图像超分辨率算法[J]. 自动化学报,2014,40(4):594-603.

[9] 吴炜,郑成林,张莹莹,等. 广义非局部均值和自相似性的超分辨率算法[J]. 西安电子科技大学学报,2014,27(4):100-107.

[10] Yang C,Huang J,Yang M. Exploiting self-similarities for single frame super-resolution[J]. Lecture Notes in Computer Science,2011,29(15):497-510.

[11] Milanfar S F D R M E P. Fast and robust multi-frame super-resolution[J]. IEEE Transactions on Image Processing,2003,13(10): 1327-1344.

[12] 王乐洋,于冬冬. 病态总体最小二乘问题的虚拟观测解法[J]. 测绘学报,2014,43(6): 575-581.

[13] 李俊山,朱英宏,朱艺娟,等. 红外与可见光图像自相似性特征的描述与匹配[J]. 激光与红外,2013,43(3): 339-343.

[14] 兰诚栋,陈亮,卢涛. 利用位置权重稀疏表示的人脸超分辨率算法[J]. 武汉大学学报(信息科学版),2013,38(1):27-30.

[15] Yang J,Member S,Wright J,et al. 1 Image Super-Resolution via Sparse Representation[J].IEEE Transactions on Image Processing,2010,19(11): 2861-2873.

A Single Frame Super Resolution Algorithm Based on Fusion of Regression Function and Local Self-similarity

Zhao Li1,2,Qi Xingbin1,Li Xuemei1

(1.School of Computer,Shanxi University,Taiyuan030013,China; 2.School of Computer,Beijing University of Aeronautics and Astronautics,Beijing100191,China)

Inspired by that high resolution patches,which is the sparse linear combining of the over complete dictionary,can well match the low resolution patches. A new super resolution algorithm based on regression function and local self-similarity is proposed. Compared with the general single-frame super resolution algorithm,the advantage of the proposed algorithm combines the learning of example patches and local self-similarity. Local regression of example patches can avoid the ill-posed problem of LR patches to HR patches. Another aspect,the first-order approximation of the nonlinear mapping function obtained by local self-similar example patches can get the pair of the LR patches corresponding to the HR patches. That overcomes the shortcomings of examples patch algorithms. In this paper,Peak Signal to Noise Ratio (PSNR) and Root-mean-square error (RMSE) is used to compare the results of the algorithms. The data results show that the proposed algorithm has the highest PSNR value and the lowest MSE value in most cases. The experimental graph results show that the image’s texture can be reserved best,the nature of the images is very good. And the execution time of proposed algorithm is less than several other algorithms,which indicates the proposed algorithm is more suitable for applying to settle practical issue.

over complete dictionary; sparse linear combining; super resolution; single frame; local self-similarity; local regression

1671-4598(2016)04-0181-04DOI：10.16526/j.cnki.11-4762/tp.2016.04.053

TP391

A

2015-10-16；

2015-12-04。

山西省基础研究项目计划—青年科技研究基金(2014021039-6)。

赵丽(1980-)，女，硕士，副教授，主要从事算法设计、图像处理等方向的研究。

李雪梅(1962-)，女，教授，主要从事算法设计、图像处理等方向的研究。