单帧学习与多帧重建结合的超分辨率盲重建方法

刘 薇,钱慧芳

(西安工程大学 电子信息学院,陕西 西安 710048)

超分辨率重建(super-resolution)旨在融合多帧图像间的互补信息或者学习样本库中的先验知识来提高图像分辨率,获得比单帧图像更好的视觉效果,在遥感成像、医学图像、安全监控等方面呈现出良好的应用前景[1].在退化模型点扩散函数(Point Spread Function;PSF)已知的情况下,已有多种方法[2-4]得到较为满意的重建效果.然而实际系统的PSF通常未知,在此情况下,超分辨率重建问题的求解一般分为3种思路:(1)为将高分辨率图像的求解与模型参数估计结合在一起,通过设置适当的双正则项来获取所需要的重建结果[5-7],其中对PSF的正则项设计是难点;(2)是采用单帧学习的方法,回避低分辨率图像序列的亚像素配准问题[8-11],但是单帧重建对于由PSF引起的较大模糊,往往在弱边缘以及纹理丰富的区域重建效果不甚理想;(3)分步处理,首先对PSF进行辨识,然后使用辨识到的PSF重建高分辨率图像,此时算法的有效性取决于参数估计的准确性.文献[12]采用误差参数曲线辨识PSF,但曲线中的拐点平坦区域等特征并不显著,影响了参数估计的可靠性.

针对模糊图像的超分辨率重建问题,传统的模糊图像复原方法虽然不能直接适用于超分辨率重建,但其思想仍值得借鉴,文献[13]通过线扩展函数来估计散焦模糊图像的PSF,文献[14]通过评价复原图像质量来估计PSF.对此,本文从模糊PSF的辨识中汲取思路,以单帧学习得到的清晰高分辨率图像内容,作为辨识PSF的依据.进而在最大后验概率框架下,利用多帧重建方法重建高分辨率图像.该单帧学习与多帧重建相结合的方法融合了两种方法的优势,能够在图像弱边缘和纹理丰富的区域得到较单帧学习方法更细致的重建结果.

1 超分辨率重建模型

利用同一场景的多帧低分辨率图像重建一幅高分辨率图像,相应的观测模型可以表示为

yk=DBkFkx+nk.

(1)

其中yk(k=1,2,…,P)为第k幅低分辨率图像按行排列而成的列向量;x为理想高分辨率图像按行排列而成的列向量;D为降采样矩阵;Fk运动矩阵,Bk为模糊矩阵,nk为噪声向量.

假设图像中模糊为空间不变,则Bk(k=1,2,…,P)均相等.对于未知Bk,如散焦模糊,需要确定Bk的参数,即散焦半径r.

在MAP框架下,根据正则化理论定义代价函数:

(2)

其中 逼近项使用L2范数,正则项可采用能够有利于边缘保持的Huber-Markov先验模型.

高分辨率图像的估计泛函为

(3)

2 基于参考块的超分辨率重建算法

2.1 单帧学习超分辨率重建

待重建图像经过插值放大和高通滤波后被分割成与低分辨率样本块同样大小的子块,这些子块与样本库中的低分辨率子块进行比较,选择最相似块(一个或多个)所对应的高分辨率块作为学习到的高频信息叠加到待重建的低分辨率图像上,由此得到重建效果.

然而，从低分辨率块到高分辨率块往往是一对多的映射.尽管Freeman[8]等使用的高分辨率块间的相容性边界,Sun[9]等使用的图像纹理基元可以改善这种映射关系,但是当低分辨率图像比较模糊,可利用的信息被削弱,这种一对多的关系仍然十分明显.低分辨率块不足以提供更多关于高分辨率块的信息,弱边缘及纹理区域的重建效果较差,原始高分辩率图像及学习重建结果,如图1所示.尽管如此，图1(b)中强边缘部分仍能获得较好的重建效果,因此可选择重建效果较好的强边缘部分构建参考信息块,引导多帧重建算法进行PSF辨识,进而获得更优的重建结果.

(a) 原始高分辨率图像 (b) 学习重建结果图2 学习重建结果中提取的强边缘块 图1 原始高分辨率图像及学习重建结果

2.2 参考块提取

设学习重建得到的结果图像为I,取梯度函数为高斯函数的一阶方向导数,并将其离散到3个尺度和6个方向,然后分别与图像I求卷积,滤波结果的最大值作为图像当前的梯度值,即

(4)

为了消除纹理块的影响,提取到强边缘块,定义块内的平均梯度为

(5)

2.3 基于参考块的多帧超分辨率重建

对于模糊图像,强边缘块的单帧学习重建结果显然优于弱边缘块的结果,因此更具指导性.为了克服模糊退化,得到优于单帧学习这种无指导性重建方法的结果,本文以强边缘块的单帧学习重建结果为参考,进一步指导多帧重建方法选择正确的模糊退化参数,利用Huber Markov Random Field(HMRF)模型,在最大后验概率MAP框架下实现对高分辨率图像的估计[6].

(6)

因此,PSF散焦半径r和高分辨率图像x的求解过程转换为

(7)

3 结果与讨论

对标准测试图像Butterfly,分别取散焦半径r=2,r=3,r=4的PSF进行模糊,2倍降采样得到4幅低分辨率图像,分别在散焦半径r=1,2,3,4,5时进行MAP重建[6],其中正则化参数选取0.01,参考块相似度曲线如图3所示.当散焦半径等于实际值时,参考块相似度达到最大,据此可以辨识PSF的参数.

图3 使用不同散焦半径重建时的参考块相似度曲线

为了进一步验证算法的有效性,分别对标准测试图像Lena,Plane,Butterfly等进行实验.使用不同参数的散焦PSF进行降质,2倍降采样.分别使用双立方插值、文献[7]中的双正则方法、文献[11]中的学习方法以及本文方法进行重建.

为了保证学习算法能够有效恢复模糊图像的强边缘,文献[15]提出的方法被用来对插值图像的PSF支持域进行粗判定,使用判定结果对训练用高分辨率图像进行模糊,进而构建样本库.样本块由对应的高分辨率块和低分辨率块组成,低分辨率块用于搜索匹配,大小为7×7,高分辨率块用于重建,大小为5×5.由图4所示的3幅高分辨率图像(256×256)，经7×7块遍历构成样本库,得到187 500个样本块.

(a)双立方插值 (b)双正则方法 (c)学习方法 (d)本文方法图4 “Lena”(r=2)、“Plane”(r=3)、“蝴蝶”(r=4)的重建结果

表1给出了4种方法对参数不同的散焦模糊图像进行重建时所得重建结果的PSNR,无论从主观效果还是从客观评价指标来看,本文方法都较其他方法有更好的重建效果.

进一步测试实拍图像，图5给出了4幅实拍图像Logo放大2倍的重建效果.从图5可以看出，采用本文方法较其他方法更清晰地恢复图像的文字信息和图案纹理.实验结果验证了本文算法的有效性.

表1 不同方法所得重建结果的PSNR

(a)低分辨率图像 (b)双正则方法 (c)学习方法 (d)本文方法图5 实拍图像的重建

4 结束语

针对散焦模糊PSF参数未知时的超分辨率重建问题,提出了一种单帧学习与多帧重建相结合的算法.以单帧学习算法中恢复较好的强边缘块作为参考信息块,指导多帧重建算法进行PSF参数辨识并进行超分辨率重建.实验证明,本文算法对散焦型PSF有比较好的辨识效果,相比于双正则算法以及单帧学习方法,能够获得更好的超分辨率重建结果.

参考文献：

[1] 苏衡,周杰,张志浩.超分辨率图像重建方法综述[J].自动化学报, 2013, 39(8): 1202-1213.

[2] 沈焕锋,李平湘,张良培.一种基于正则化技术的超分辨率影像重建方法[J].中国图象图形学报,2005,10(4): 436-440.

[3] 韩玉兵,吴乐南,张冬青.基于正则化处理的超分辨率重建[J].电子与信息学报,2007,29(7):1713-1716.

[4] 唐斌兵,王正明.基于先验约束的图像超分辨率复原[J].红外与毫米波学报,2008,27(5): 389-392.

[5] HE H,KOINDI P L.A regularization framework for joint blur estimation and super-resolution of video sequences[C].Proceedings of IEEE International Conference on Image Processing,Genova,Italy,2005,3(Ⅲ):329-332.

[6] 王素玉,沈兰荪,卓力,等.一种基于权值矩阵的序列图像超分辨率盲重建算法[J].电子学报,2009,37(6):1198-1202.

[7] 杨浩,高建坡,吴镇扬.基于双正则化的图像超分辨率盲重建[J].中国图象图形学报,2007,12(12):2057-2062.

[8] FREEMAN T W,JONES R T,PASZTOR C E.Example-based super-resolution[J].Computer Graphics and Applications,IEEE,2002,22(2):56-65.

[9] SUN J,ZHENG N N,TAO H,et al.Image hallucination with primal sketch priors[C].Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Madison,USA.2003(2):729-736.

[10] CHANG H,YEUNG D Y,XIONG Y.Super-resolution through neighbor embedding[C].Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Washington,DC,USA.2004:275-282.

[11] FAN W,YEUNG D Y.Image hallucination using neighbor embedding over visual primitive manifolds[C].Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Minnesota,2007:1-7.

[12] 闫华,刘琚,孙建德,等.基于误差-参数分析的超分辨率盲辨识和复原算法[J].通信学报,2009,30(8):62-68.

[13] 王正友,伍世虔,徐升华,等.一种离焦模糊图像客观检测的新方法[J].中国图象图形学报,2007,12(6):1008-1013.

[14] 刘扬阳,金伟其,苏秉华,等.基于超分辨力图像复原算法的模糊系统辨识[J].光电子·激光,2005,16(2):213-216.

[15] CHEN L,YAP K H.Identification of blur support size in blind image deconvolution[C].Proceedings of the 2003 Joint Conference of the Fourth International Conference on Information, Communications and Signal Processing,2003(1):503-507.