非凸混合总变分图像盲复原

刘巧红,李 斌,林 敏

(1.上海大学机电工程与自动化学院,上海 200073; 2.上海医疗器械高等专科学校医学电子与信息工程系,上海 200093)



非凸混合总变分图像盲复原

刘巧红1,李 斌1,林 敏2

(1.上海大学机电工程与自动化学院,上海 200073; 2.上海医疗器械高等专科学校医学电子与信息工程系,上海 200093)

摘要:为实现模糊噪声图像的盲复原,提出了一种混合非凸总变分和高阶总变分的多正则化约束的图像盲复原方法.首先,根据自然图像边缘的稀疏特性,运用了非凸总变分对复原图像进行正则化约束;然后,结合高阶总变分正则化克服阶梯效应的优势,建立了非凸混合总变分极小化模型;最后,利用增广拉格朗日方法和新的广义p收缩算子对提出的模型进行最优化求解.实验结果表明,提出的方法能够有效保护图像边缘细节,同时消除了图像平滑区域的阶梯效应,获得高质量的复原图像.

关键词:图像复原;非凸;高阶;总变分;增广拉格朗日方法;p收缩算子;优化

图像在采集的过程中,由于成像设备与物体之间的相对运动、对焦不准确或者大气湍流等各种因素,极易变得模糊.模糊的图像不仅降低了自身质量,也会影响到图像的后续处理及应用.图像模糊的过程在数学上可模型化为清晰图像卷积模糊核,并叠加噪声,即f=u*h+n,其中,*表示卷积算子,f表示观测的模糊图像,u表示原始的清晰图像,h表示模糊核函数,或称为点扩散函数(Point Spread Function,PSF),n表示噪声.图像复原是图像模糊的逆过程,根据PSF是否已知,可分为图像盲复原和图像非盲复原两大类.图像盲复原是在PSF未知或已知信息量很少的情况下,对模糊图像进行恢复.很明显,在实际应用中,通常需要处理的是图像盲复原问题,文中的重点即模糊图像的盲复原.

总的来说,图像盲复原是一个病态的反问题,通常在求解中,利用已知的先验知识施加适当的约束,将原始的病态问题转换为良性问题,从而稳定原始问题的解,正则化方法是解决此类问题的有效途径之一.总变分[1](Total Variation,TV)模型最早由Rudin等针对图像去噪问题而提出,由于其具有强大的图像边缘保护能力,成为图像去噪算法中最成功的方法之一.文献[2]首先将TV模型作为正则项应用到了模糊图像盲复原,很好保护了复原图像的边缘.然而TV正则化易于在图像的平滑区域支持分片常数的解,会出现阶梯效应.将高阶偏导引入能量变分模型是其中一种战胜阶梯效应的有效方法,如四阶偏微分方程模型、高阶偏微分方程LLT(Lysaker-Lundervold-Tai,LLT)模型、总广义变分(Total Generalized Variation,TGV)模型等.高阶的扩散能够更好地近似图像平滑区域的变化规律,消除分片常数现象,从而抑制阶梯效应.然而正是由于高阶模型复原图像时趋向于光滑,导致图像的边缘易出现模糊.

面对高阶模型在图像复原时在边缘保持上遇到的困难,结合低阶模型和高阶偏导模型的图像复原方法被提出,组合的模型能充分利用单一模型各自的优势进行图像复原,从而获得更优的复原效果.最早的组合模型是由文献[3]提出的inf-convolution模型,该模型结合了TV约束图像的分片常量部分和TV的导数约束分片平滑区域构成的两个凸正则项,来解决图像的去噪问题.文献[4]将TV模型和LLT模型凸组合,交替地进行求解模型,有效保持边缘和恢复平滑区域.文献[5]在TV模型上增加了一个非平滑的二阶正则项,构造了TV和TV导数合并的凸函数.该模型不仅在避免阶梯效应和边缘保持上极具竞争性,并且能方便简单有效地进行数值求解.组合模型解决图像复原问题,受到持续增长的关注.

相对于上述的凸变分模型,根据统计分析得出自然图像的梯度符合“尖峰重尾”的分布[6],这种统计特性为图像的复原问题提供了非常有用的先验知识.文献[6]指出,超拉普拉斯分布可更好地拟合自然图像的“尖峰重尾”分布特征,并给出了相应的非凸图像非盲复原的快速算法.文献[7]就归纳了多种非凸正则项的基础上,指出非凸正则项在保持图像的边缘性上优于凸正则项.近来的许多研究也表明,非凸正则项在恢复高质量的图像上提供了更多的可能性[8],尤其是在边缘和形状的保持上.而非凸的模型在数值上求解具有一定的困难性,通常非凸问题利用lp拟范式替代凸问题中的l1范式,其中,0＜p＜1.文献[6]在解决非凸图像非盲复原问题时,只是给出了p取几种特殊值的解析解,不够明确.而近来文献[9]设计的广义p收缩算子,给出了非凸问题的统一求解模型,能方便有效地解决此类问题.

受到组合模型及非凸正则化模型优势的启发,为更好地实现模糊图像的盲复原,笔者提出了一种结合非凸TV模型和高阶扩散模型的混合总变分图像盲复原方法.针对混合变分模型的求解,提出一种结合增广拉格朗日方法和广义p收缩算子的求解方法,对相应的代价函数进行最优化的求解.

1 非凸混合变分正则化的图像盲复原方法

1.1 非凸混合正则化模型的建立

针对图像复原问题,非凸正则化模型具有优于凸正则模型的边缘保持性,高阶模型的扩散能力可有效避免阶梯效应和假边缘瑕疵,组合模型综合单一模型各自的优势,从而获得更好的复原效果.在此分析的基础上,文中分别针对自然图像的边缘细节和平滑区域的不同特性,提出了一种非凸总变分和高阶扩散模型的混合总变分图像盲复原模型,可表示为

其中,∇u=(Dxu,Dyu)和∇2u=(Dxxu,Dyyu,Dxyu,Dyxu),分别是一阶和二阶偏导算子的离散形式.将图像正则化约束项分别定义为

式(1)中,R(h)是模糊核函数的正则化约束,由于模糊核通常表现出明显的稀疏性和非负性,因而采用其自身的l1范式进行约束,并且满足:

1.2 结合增广拉格朗日和广义p收缩算子的交替极小化算法

式(1)中的多个约束项由式(2)～式(4)定义后,可写为如下的优化问题形式:

为有效计算出原始图像u和模糊核函数h,采用了交替最小化的策略,将非约束的优化问题式(5)转换成关于u和h的两个子问题交替求解.

1.2.1 原始图像u的求解

求解u时,固定h不变,正则项为非凸TV项和高阶偏导项,可得到

其中,H是模糊核函数h的矩阵表示,其值是由前次的迭代计算中估计得出.针对式(6),根据变量分裂准则,首先引入多个辅助变量ν=(νx,νy),ω=(ωxx,ωyy,ωxy,ωyx),式(6)被转化为约束的优化问题:

针对式(7)的每个约束,增加二次惩罚项,得到对应的增广拉格朗日目标函数

其中,a=(ax,ay),b=(bxx,byy,bxy,byx),是扩展拉格朗日乘子,λ1和λ2是正则化参数.直接求解式(8)非常困难,由于其中数据项和正则项依赖于不同的变量,因而采用交替方向法进行求解,可得到如下子问题:

(1)u的子问题求解.由于子问题式(9)的目标函数是可微的,对u求偏导,并将值设置为0,从而得到

考虑到H及等式左边均为分块循环矩阵,且可用傅里叶变换对角化.式(14)利用傅里叶变换得到

(2)ν的子问题求解.针对式(10)的非凸问题最小化求解,采用p收缩算子实现[9-10],即

(3)ω的子问题求解.关于变量ω的求解,可直接采用shrinkage函数进行更新,即

最后,利用式(12)和式(13)对变量a和b进行更新.

1.2.2 模糊核h的求解

求解h时,固定u不变,得到

其中,U是图像u矩阵表示.由变量分裂准则,引入辅助变量τ替代h,式(19)转换为约束的优化问题为

其中,c是扩展拉格朗日乘子,λ3是正则化参数.类似于u的求解,采用交替方向法对式(21)求解,即

应用拉格朗日算法得到如下的目标函数:

(1)h的子问题求解.通过傅里叶变换求解,得到

(2)τ的子问题求解,变量τ直接采用了soft-threshold函数进行求解,即

最后,利用式(24)对变量c进行更新.

2 实验结果与分析

为验证文中方法的有效性,分别针对人造模糊图像和真实模糊图像做出了两组对比性实验,对比的方法都是近年来在图像盲复原领域中较为先进的方法.实验中,参照文献[6],将p取值为0.66.其余参数需要进行调节,使复原结果达到最佳.

2.1 人造模糊图像实验

在人造模糊图像实验中,选择了两幅大小为512×512的标准测试图像Lena和Peppers,人造模糊核两种:匀速直线运动模糊核,长度为21,方向为135°(Kernel_1);自定义的不规则运动模糊核,大小为7×7 (Kernel_2).图1和图2显示了文中方法与文献[11]方法比较的视觉效果.图1(b)和图2(b)分别是由原始Lena图像卷积Kernel_1,原始Peppers图像卷积Kernel_2,同样添加降晰信噪比(Blur Signal-to-Noise Ratio,BSNR)为40 d B的高斯噪声得到的降质图像.文献[11]方法构造了一个分段函数来拟合自然图像的梯度分布,而提出的混合变分模型中的非凸项采用了高阶拉普拉斯分布更为准确的拟合自然图像的梯度分布.由两种方法的复原图像可看出,文中方法复原的图像振铃效应明显减少,边缘轮廓更加清晰.文献[11]方法盲估计的模糊核的平滑扩散程度过强,而文中方法盲估计的模糊核更接近真实的模糊核.在客观评价上,采用了峰值信噪比(Peak Siginalto Noise Ratio,PSNR)来衡量不同方法的图像复原性能.表1给出了在BSNR 为40 dB时,两种图像盲复原方法的PSNR值,结果表明,文中方法的PSNR值相对于文献[11]方法也有所提高.

图1 Lena人造直线运动模糊图像盲复原的结果

图2 Peppers人造自定义不规则运动模糊图像盲复原的结果

表1 不同方法的PSNR值比较结果　d B

2.2 真实模糊图像实验

为进一步验证文中方法的实用性,选取了真实拍摄的模糊图像Picasso进行复原实验,并与文献[12-13]方法进行比较.为更清晰地展示不同图像盲复原方法的处理细节,增加了局部放大图.从结果来看,文献[12]方法的复原图像边缘细节保持不够好,文献[13]方法的复原图像优于前者,但是去模糊后的图像过于平滑,如Picasso脸部的皱纹等细节部分被平滑掉.而文中方法所产生的去模糊图像显示出更加尖锐的边缘、清晰的轮廓,从整体上提升了图像的视觉效果.

图3 模糊图像Picasso的复原结果对比

3 结束语

基于变分正则化方法提出了一种非凸混合总变分的模糊图像盲复原方法,利用非凸lp拟范式作为一阶总变分的稀疏约束,结合高阶总变分在图像平滑区域的扩散能力,建立一个非凸混合总变分的极小化模型.应用增广拉格朗日方法和交替方向法进行优化求解,得到清晰的复原图像,同时准确地估计出模糊核函数.求解中的非凸极小化问题利用了一种新的广义p收缩算子,降低了此类问题的求解难度.实验结果表明,文中方法能有效保护图像边缘和细节,同时消除了平滑区域的阶梯效应,得到了高质量的复原图像.

参考文献:

[1]RUDIN L I,OSHER S,FATEMI E.Nonlinear Total Variation Based Noise Removal Algorithms[J].Physica D,1992,60(1/4):259-268.

[2]CHAN T F,WONG C K.Total Variation Blind Deconvolution[J].IEEE Transactions on Image Processing,1998,7(3):370-375.

[3]CHAMBOLLE A,LIONS P.Image Recovery via Total Variation Minimization Andrelatedproblems[J].Numerische Mathematik,1997,76(2):167-188.

[4]LYSAKER M,TAI X C.Iterative Image Restoration Combining Total Variation Minimizationand a Second-order Functional[J].International Journal of Computer Vision,2006,66(1):5-18.

[5]PAPAFITSOROS K,SCHONLIEB C B.A Combined First and Second Order Variational Approach for Image Reconstruction [J].Journal of Mathematical Imaging and Vision,2014,48(2):308-338.

[6]KRISHNAN D,FERGUS R.Fast Image Deconvolution Using Hyper-Laplacian Priors[C]//Advances in Neural Information Processing Systems.New York:Curran Associates Incorporated,2009:1033-1041.

[7]NIKOLOVAM,NG M K,TAM C P.Fast Nonconvex Nonsmooth Minimizationmethods for Image Restoration and Reconstruction[J].IEEE Transactions on Image Processing,2010,19(12):3073-3088.

[8]张文娟,冯象初.利用平衡方法的非凸图像修复[J].西安电子科技大学学报,2014,41(5):141-147.ZHANG Wenjuan,FENG Xiangchu.Nonconvex Image Inpainting via Balanced Regularization Approach[J].Journal of Xidian University,2014,41(5):141-147.

[9]CHARTRAND R.Nonconvex Splitting for Regularized Low-Rank+Sparsedecomposition[J].IEEE Transactions on Signal Processing,2012,60(11):5810-5819.

[10]张文娟,冯象初.非凸低秩稀疏约束的图像超像素分割方法[J].西安电子科技大学学报,2013,40(5):86-91.ZHANG Wenjuan,FENG Xiangchu.Image Super-pixels Segmentation Method Based on the Non-convex Low-rank and Sparse Constraints[J].Journal of Xidian University,2013,40(5):86-91.

[11]SHAN Q,JIA J,AGARWALA A.High-quality Motion Deblurring from a Single Image[J].ACM Transactions on Graphics,2008,27(3):73.

[12]KRISHNAN D,TAY T,FERGUS R.Blind Deconvolution Using a Normalized Sparsity Measure[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2011:233-240.

[13]XU L,JIA J Y.Two-phase Kernel Estimation for Robust Motion Deblurring[C]//Lecture Notes in Computer Science: 6311 LNCS.Heidelberg:Springer Verlag,2010:157-170.

(编辑:齐淑娟)

Non-convex hybrid total variation method for image blind restoration

LIU Qiaohong1,LI Bin1,LIN Min2
(1.School of Mechatronic Engineering and Automation,Shanghai Univ.,Shanghai 200073,China;2.Department of Medical Electronics and Information Engineering,Shanghai Medical Instrumentation College,Shanghai 200093,China)

Abstract:A multi-regularization constraint method for imageblind restoration is proposed to recover the blurry-noisy images.First,the non-convex total variation is adoptedas the regularization constraint by taking the sparse edges in the natural image into consideration.Next,the high-order total variation is used to overcome the staircase effects in the smooth regions of the image.Then a non-convex minimization model is proposed.Finally,the augmented Lagrangian method and a new generalized p shrinkage operator are applied to solve the model.The results of numerical experiments show that the proposed method can preserve the image edges while removing the staircase effects effectively.The high quality restored image can be obtained.

Key Words:image restoration;non-convex;high-order;total variation;augmented Lagrangian method;p shrinkage operator;optimization

作者简介:刘巧红(1979-),女,讲师,上海大学博士研究生,E-mail:hqllqh@163.com.

基金项目:上海市教育委员会科研创新资金资助项目(14YZ169)

收稿日期:2014-12-23 网络出版时间:2015-05-21

doi:10.3969/j.issn.1001-2400.2016.02.021

中图分类号:TP751.1

文献标识码:A

文章编号:1001-2400(2016)02-0120-06

网络出版地址:http://www.cnki.net/kcms/detail/61.1076.TN.20150521.0902.018.html