改进的超拉普拉斯约束的单幅图像去模糊算法

秦绪佳,柯玲玲,范颖琳,郑红波,张美玉

(浙江工业大学 计算机科学与技术学院,杭州 310032)

1 引 言

图像去模糊问题一直以来在信号及图像处理等相关领域都备受关注,针对这一问题研究人员提出了多种处理模型与算法,但大多模型存在一定的约束条件,在应用于不同的模糊图像时稳定性不够,进而使得算法的适应性差,所以人们仍然孜孜不倦地在探索一种高性能且对一般性真实图像具有普适性的算法.在实际的生产应用中,人们对图像的质量有着很高的要求,但是通过不同手段获取的图像在成像过程中通常都会受到各种不确定因素的干扰,诸如,设备抖动、传感器性能下降、拍摄条件受限、场景中物体运动等,这些都会导致图像失真,已有的图像去模糊处理算法很难满足各类图像对质量的应用要求.因而本文研究的单幅图像快速去模糊算法具有较高的应用价值.

图像的运动模糊是指在拍摄过程中,相机和目标物体之间具有相对运动而产生的模糊.图像的非盲去模糊问题只有在模糊核已知的情况下才有解,现有的很多算法都是将此问题转化为反卷积过程求解.反卷积在图像上的应用方法有很多,这些方法在速度或复杂度上不尽相同.对图像的简单滤波操作速度快,但呈现出的视觉效果并不好.一些效果较好的算法先对图像进行一系列滤波处理,然后匹配原图像中与经处理后的边缘统计信息的类似部分,在实际的求解过程中则表现为对正则化问题的约束.假设图像边缘呈现高斯分布,在经一系列傅里叶变换后仍然满足高斯分布,通过这种方式可以很快恢复图像.L.Rudin[1]、Y.Wang[2]等人分别利用快速L1范数和相应TV范数求解满足拉普拉斯模型的边缘分布,使得在短时间内生成的图像质量较佳.一些文献[3-5]中指出对真实图像的研究表明超拉普拉斯模型能够比较准确地拟合边缘分布,很好地捕捉了边缘分布呈现的“重尾”特性.然而利用超拉普拉斯约束使得问题产生了“非凸性”,增加了求解难度.就满足0

在模糊核未知的情况下,实现单幅图像的盲去模糊相当困难,因为已知量个数小于待求未知量的个数,所以这是一个病态的求解过程.最初提出的盲去模糊算法是假设待求的模糊核满足一般的线性结构,比如高斯模型,然后复原模糊核信息.然而自然图像的模糊核结构通常较为复杂,其中包含有十分突出的边缘特征.在研究图像运动模糊的基础上,通常情况下,对最小化x、k能量方程问题求解可以应用于单幅图像的盲去模糊问题.多数用于解决单幅图像盲去模糊问题的方法是结合模糊核信息的约束性条件以及对自然图像先验知识的理解,将其转化为求模糊核与待恢复的潜在清晰图像之间的联合最大后验概率MAPx、k[7,8]问题,再根据贝叶斯方法得出重要的后验信息,进而推导出未知参数.然而,Levin等人[9]在进行大量实验之后发现,在充分理解先验知识的基础之上直接利用MAPx、k模型进行盲去模糊的方法并不奏效.他们给出了解释:受稀疏性条件的限制,最后得到的结果最有可能是模糊而并非边缘清晰的图像.但这个方法的可行之处在于,x与k的大小是极度不对称的,使得通过最大后验概率方法可以求解出精确的模糊核,将这类问题标记为MAPk[9].S.Cho[10]和Levin[11]等人基于上述内容估算模糊核,提取模糊核信息并结合原图像进行快速反卷积,达到去模糊的效果.Benoit等人[12]建议使用Fuzzy C-Means(FCM)来约束最大似然期望的最大化反卷积方法.Z.Hu[13]在条件随机场框架下,用公式来具体化子区域的选择问题,提出用于去模糊的最佳子区域的判断依据.L.Xu等人[14]使用的方法是将估算模糊核分为初始化过程与精确化过程的快速模糊核估算.这一方法在初始化阶段,利用图像金字塔模型快速且有效地估算模糊核的初始值,从而使得到的初始化结果具有较高的参考与计算价值,大大节省了对模糊核进行精确化处理所需的开销.此外,Sun等人[15]基于稀疏表示和拉普拉斯混合模型提出了一种新的MAP图像去模糊方法,即根据最大化后验概率建立模糊方程结合参数估计算法,制定出解决模糊方程的新的迭代方案.经过去模糊处理后的图像时常会出现振铃伪影,为了有效抑制这一现象,Wen等人[16]提出根据局部图像中高阶导数的性质来计算自适应权值,从而稳定隐式图像复原的解.

在对前人提出的图像去模糊处理算法进行总结并对部分算法的性能进行比较后,本文提出了一种针对正则约束项进行改进的单幅图像去模糊算法,主要由三个部分组成完整的去模糊流程:选取用于模糊核估算的关键子区域、快速估算模糊核以及快速反卷积复原图像.首先,在进行关键区域的选择时,本文算法将参考L.Xu等人[14]在其文章中提到的梯度有效性,提取图像中作用较大的边缘信息,对“最优”子区域进行鉴定与筛选时,使用一般的邻域内响应的最大值作为依据;然后,在快速恢复潜在的模糊核信息阶段,本文借鉴Krishnan和Fergus等人[6]提出的图像复原策略,用超拉普拉斯模型来约束模糊核分布;最后,在快速反卷积复原图像阶段,已有的大多算法都是直接对图像梯度进行超拉普拉斯约束,而本文提出一种新的图像分布约束来替换原先的约束.

2 基于超拉普拉斯约束的图像去模糊

2009年Krishnan和Fergus等人[6]提出了基于先验的超拉普拉斯约束的图像非盲反卷积复原方法.先来介绍什么是非盲反卷积问题,x是具有N个像素点的原始未损坏的线性灰度图像;y是一个是被模糊或噪声污染的降质图像,假设得到的退化图像是由x和模糊内核k做卷积再加上零均值的高斯噪声产生的.现在假定问题为y和k是已知的,试图找到一种有效的算法来复原原始图像x.考虑到问题的病态特性,我们采用补偿函数|.|α来正则化经一系列滤波器f1,…,fj处理x后的结果.这里用加权项λ来控制正则化的强度.从概率上讲,求解的是最大后验概率问题(MAPx)的估计:

p(x|y)∝p(y|x,k)p(x)

(1)

式(1)中前一项是高斯分布的概率,后一项是超拉普拉斯先验图像.p(x|y,k)的最大值等价于最小化代价-logp(x|y,k):

(2)

(3)

这里,β表示权值,在优化过程中会不断地变化,当β→∞时,(3)式收敛于(2)式.

通过对(2)式认真观察,不难发现其实质是下式的变分模型:

(4)

(5)

对于这一问题的求解往往采用迭代交替最小化的方式进行求解,同时文献[6]中也给出了具体的解决方案.

3 改进的超拉普拉斯约束图像去模糊算法

3.1 算法整体流程

Levin等人[9]提出MAPk估算模式,该模式的具体内容是先估算出模糊核,在此基础上再解决图像反卷积问题,这种解决策略生成的图像会更加清晰.采用的方法是先恢复模糊核再恢复图像.Neel Joshi 等人[17]提出一种方法,根据整幅图像中的具有明显特征的边缘信息来解决单幅图像的模糊核估算问题.然而这种解决思路并不能获得最优解,当然利用全局图像的特征来恢复模糊核信息更加不是一个好的选择.此外,L.Xu等人[14]曾指出如果没有仔细选择具有较好的特征区域的前提下,坚持将含有潜在负面效应的整幅图像应用于去模糊流程会产生质量较差的结果,即长度较短的边缘对去模糊有反作用.一种存在一定风险的但在一定程度上能解决该问题的方法是让用户来选择用于去模糊处理的关键区域.

图1 本文算法处理流程Fig.1 Procedure of the algorithm

在不失鲁棒性的前提下,本文中提到的筛选关键子区域的判断方法具有十分重要的作用,即有效地提高了估算模糊核的准确性.在估算模糊核的过程中,仿照Krishnan和Fergus等人[6]提出的解决方法,对模糊核的稀疏性用超拉普拉斯模型进行约束,解决该非凸最小二乘问题也用类似的方法,最后能够迅速恢复模糊核信息;在恢复潜在清晰图像阶段,我们提出了一种有效的约束项替换了Krishnan和Fergus等人[6]提出的算法中的正则约束项,解决了在复原过程中会出现强边缘附近的小梯度区域盲目增强的问题.整个算法的具体流程如图1所示.

3.2 图像关键子区域的选择

通过大量的实验验证可知,选择具有丰富纹理的区域通常比那些平滑的区域能够为估算模糊核提供更多有用的信息,但是,仅将纹理信息作为唯一依据的这类估算方法仍然可能产生较差的结果.实际不能用于模糊核估算的情况是大量重复的边缘区域在边缘方向与实际模糊运动方向比较靠近.图2(a)为原图,其它三幅为文献[13]中选择不同子区域估算模糊核并进行去模糊的结果.图中左、中、右三个方框为三个子区域,图2(b)-图2(d)分别为使用原图中三个不同子区域估算模糊核并进行图像恢复的结果,在每张图右上角方框中标出了对应的模糊核估算结果.很显然,图2(b)呈现的视觉效果最为清晰,主要是因为左侧框中相较于其他颜色框选择的关键子区域包含更多的信号,原模糊核信息能够通过该这些信号被正确恢复.

现阶段的一些研究算法开始注重根据图像边缘比较尖锐凸出的区域或者是边缘的分布来估算模糊核.在合理的假设下,根据尖锐凸出的边缘区域进行模糊核估算同使用纹理区域情况类似,能在图像去模糊中产生很重要的作用.在运动模糊之后,原图像中高对比度区域能够成功保留模糊信息结构是有效利用图像尖锐边缘的前提.L.Xu等人[14]指出当模糊核大小大于边缘大小时,模糊核的估算过程很有可能受到消极影响,针对这一问题本文在对图像进行去模糊处理时采用足够大的边缘图像.

图2 不同模糊核恢复的图像Fig.2 Restored images by using different fuzzy kernel

本文借鉴L.Xu等人[14]提出的算法,为了解决因去除小边缘可能存在的副作用问题,有效地筛选出图像边缘中有利于算法进行的幅值和梯度.梯度有用性γ(p)定义如下:

(6)

其中,Ns(p)是以像素点p为中心的s×s窗口,分母中加上0.5的目的是防止平滑区域的γ(p)值过大.γ值较小时表示是微小边缘或是平坦的区域.通过设定一个阈值τ,可以将单位阶跃函数M(x)=H(γ(x)-τ)用来表示γ(p)的筛选.至此,可以用下面的公式来表示边缘的选择:

(7)

在进行筛选尖锐边缘之前,原模糊图像需要先进行冲击滤波(使边缘信息明显)和双边滤波(一定程度上除去噪声)处理.这样我们就得到了完整图像中经过筛选后的尖锐边缘梯度.本文基于以上的处理步骤,在遍历整幅图像时利用简单的宽度和高度自适应的矩形框,最终得到一个待用区域,该区域中非零幅值的像素点个数量是最多的.图3为使用本文算法基于不同模糊图像筛选得到的供模糊核估算的局部区域.

3.3 快速模糊核估算

(8)

其中,γ为权值.以上方程存在闭合解:

(9)

由于图像会在各种不确定的因素下退化,为了保持图像经一系列滤波处理后不降质,本文对模糊核的稀疏性进行超拉普拉斯约束,从而较为精确地估算出所需的模糊核信息.经本文改进后的能量方程为:

(10)

式中α≤1.0,式(10)中能量方程可以补偿经一系列滤波处理后图像.同时可以看出该能量方程转变成了非凸最小二乘问题.为了达到快速解决以上问题的效果,下面引用Krishnan和Fergus等人[6]的有效解决模式,具体的解决思路:

图3 不同模糊图像采用本文算法选择的子区域Fig.3 Sub-regions screened from different blurred images using the algorithm

1)对每个像素引入辅助变量v,从而可以将k项从补偿函数|.|α的表达式中分离出来,新的代价函数即:

(11)

2)将上式转化为交替求解不同变量:一是从先前的迭代中固定v,则将方程看作关于k的二次方程,此时问题将转化为求k的过程;二是给定k,寻求v的最优解.

(1)在v固定的情况下,可以将上式简化成:

(12)

先对k求导,再将其置零进行傅里叶变换,最后将k表示成下式:

(13)

(2)在k固定的情况下,可将(11)式转化成:

(14)

(14)式中的v值可以通过查询LUT表获得,通过解析法可求得在α=1/2和α=2/3两个特殊情况下的值.

下面将L.Xu[14]等人提出的约束项用于估算模糊核信息得到的结果与本文中提出的新的约束项(α=0.8)处理得到的对应结果进行比较,情况如下:

图4中,(b)为实际模糊核分布;(c)为Krishnan等人的算法恢复出的模糊核;(d)为利用Li Xu算法估算出的模糊核;(e)为本文方法估算出的模糊核.从图中可以看出,本文方法获得的模糊核与实际模糊核相近.

图4 模糊核估算结果Fig.4 Different results of fuzzy kernel estimation

图5为采用图4中4种不同方法得到的模糊核,并利用文献[4]中Levin等提出的非盲反卷积方法对图4处理后的效果.

图5 采用不同模糊核反卷积图像去模糊结果Fig.5 Deblurred results by using different fuzzy kernel to carry out image deconvolution

3.4 快速非盲反卷积恢复

Krishnan和Fergus等人[6]在约束图像稀疏性时,采用的是超拉普拉斯模型,同时提出了一种快速解决问题的模式.他们提出的最小化代价函数:

(15)

反卷积恢复得到的清晰图像可以表示成:

(16)

F1、F2利用Matlab的psf2otf函数生成:F1=psf2otf([1,-1],size),F2=psf2otf([1,-1]，size).

当固定x时,求解最优化ω问题将转化为解决2N个独立的下列形式的一维问题:

(17)

上式中v≡(x⊗fj)i.

(18)

在这里,用I表示清晰图像,Is则为图像对应的尖锐边缘图像.

将Krishnan和Fergus等人[6]在其文章中针对类似问题提出的的解决策略与本文算法做个比较,很容易发现其主要区别在于图像的反卷积复原过程,这一过程中,假设给定辅助变量ω=(ω1,ω2).在本文算法给出的约束条件下,清晰图像可表示为:

将各权值设置为相同的条件下,利用Krishnan和Fergus等人[6]和本文分别提出两种约束下生成的效果分别见图6.

(19)

图6 根据不同约束项复原的清晰图像Fig.6 Clear images that are restored according to different constraints

4 实验结果与分析

本文实验环境为Inter(R)Xeon(R)E5620 CPU@2.40GHz(2处理器),内存16GB,64位操作系统,采用Matlab编程实现.

图7-图9是一些模糊图像及其恢复实验结果:

表1 PSNR(峰值信噪比)Table 1 Peak signal to noise ratio

表2 MSSIM(结构相似性)Table 2 Structural similarity

在图7-图9中,(a)图为原模糊图像;(b)为L.Xu 等人算法得到的结果;(c)Krishnan和Fergus等人算法实现的效果;(d)图为本文算法处理得到去模糊图像.分别用上面的三种算法对这三组图片中的原图像进行去模糊处理得到的各PSNR值和MSSIR值比较见表1-表3.

图7 人物画图像去模糊结果Fig.7 Deblurred results of figure painting

表3 算法时间对比(单位:s)Table 3 Algorithm time contrast (unit:s)

图8 自然场景去模糊结果Fig.8 Deblurred results of natural scene

从表1、 表2中的数据可以观察到用本文算法对图像进行处理后得到的图像的峰值信噪比PSNR值大致介于L.Xu等人和Krishnan和Fergus等人的算法处理图像得到的对应值之间.对于结构相似性MSSIM值,对图7的处理,本文算法介于后两者之间,而三种算法对图8和图9的处理得到的MSSIM值中,本文算法得出的值是三者中最高的.由此可见,本文提出的改进算法对模糊图像处理的效果较好,图像结构更突出.在实验的过程中我们发现本文算法在处理的速度上相较于另外两种算法也有明显提高.

图9 室外场景去模糊结果Fig.9 Deblurred results of outdoor scene

图10 运动模糊风景照片去模糊结果Fig.10 Deblurred results of landscape photos with motion blur

图10为摄影时因相机抖动获得的运动模糊风景照片采用本文提出的算法得到的图像清晰化结果.图10(a)和图10(c)为带运动模糊的图像,图10(b)和图10(d)对应的去模糊结果.

5 结 语

本文在学习研究前人所给出的图像去模糊处理算法基础上,提出了一种改进的单幅图像去模糊算法.算法在图像子区域选择部分不单单从纹理丰富性角度考虑,也重点考虑到小边缘区域是否会产生潜在的副作用,沿用L.Xu等人提出的算法思路,将幅值和梯度有用性作为选择依据,筛选出有用的图像边缘信息.在快速恢复模糊核过程中,本文以Krishnan和Fergus等人提出的解法为指导,采用超拉普拉斯模型约束模糊核的稀疏性分布,使算法估算出的模糊核信息更为准确.最后在非盲反卷积阶段改进了Krishnan和Fergus等人使用的正则约束项,使得生成的图像清晰度高、结构突出.从整个算法流程来看,本文实际上是对单幅图像的一种盲去模糊处理.最后使用该算法对多组图像进行去模糊处理,然后对处理的结果进行比较分析,可以看到本文算法呈现了高效性,并能够获得较好的图像去模糊效果.

：

[1] Rudin L I,Osher S,Fatemi E.Nonlinear total variation based noise removal algorithms[J].Nonlinear Phenomena,1992,60(1):259-268.

[2] Wang Y,Yang J,Yin W,et al.A new alternating minimization algorithm for total variation image reconstruction[J].SIAM Journal on Imaging Sciences,2008,1(3):248-272.

[3] Field D J.What is the goal of sensory coding[J].Neural Computation,1994,6(4):559-601.

[4] Levin A,Fergus R,Durand F,et al.Image and depth from a conventional camera with a coded aperture[J].ACM Transactions on Graphics (TOG),2007,26(3):70(1-9).

[5] Simoncelli E P,Adelson E H.Noise removal via Bayesian wavelet coring[C].IEEE International Conference on Image Processing,1996,1:379-382.

[6] Krishnan D,Fergus R.Fast image deconvolution using hyper-laplacian priors[C].Advances in Neural Information Processing Systems,2009:1033-1041.

[7] Shan Q,Jia J,Agarwala A.High-quality motion deblurring from a single image[J].ACM Transactions on Graphics (TOG),2008,27(3):73(1-10).

[8] Jia J.Single image motion deblurring using transparency [C].Computer Vision and Pattern Recognition,CVPR'07,IEEE Conference on.IEEE,2007:1-8.

[9] Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolution algorithms[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009),2009:1964-1971.

[10] Cho S,Lee S.Fast motion deblurring[J].ACM Transactions on Graphics (TOG),ACM,2009,28(5):145(1-8).

[11] Levin A,Weiss Y,Durand F,et al.Efficient marginal likelihood optimization in blind deconvolution[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR2011),2011:2657-2664.

[12] Lelandais B,Duconge F.Deconvolution regularized using fuzzy c-means algorithm for biomedical image deblurring and segmentation[C].International Symposium on Biomedical Imaging,IEEE,2015:1457-1461.

[13] Hu Z,Yang M H.Good regions to deblur[M].Computer Vision-ECCV 2012,Springer Berlin Heidelberg,2012:59-72.

[14] Xu L,Jia J.Two-phase kernel estimation for robust motion deblurring[M].Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:157-170.

[15] Sun D,Gao Q,Lu Y.A MAP approach for image deblurring based on sparsity prior and Laplacian mixture modeling[C].32nd Youth Academic Annual Conference of Chinese Association of Automation (YAC),Hefei,China,2017:901-906.

[16] Wen J,Zhao J,Wang C,et al.Blind deblurring from single motion image based on adaptive weighted total variation algorithm[J].Iet Signal Processing,2016,10(6):611-618.

[17] Joshi N,Szeliski R,Kriegman D J.PSF estimation using sharp edge prediction[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2008),2008:1-8.