暗通道约束和交替方向乘子法优化的湍流图像盲复原

李晖晖, 鱼轮, 张良, 杨宁

(1.西北工业大学 自动化学院, 陕西 西安 710129; 2.西安卫星测控中心, 陕西 西安 710043 )

地基望远镜在观测天体目标时，由于空间目标发出的光波在经过大气传播过程中，运动随机的大气湍流，会造成空气折射率的变化，导致光波振幅和相位的随机起伏，最终使地基望远镜观测到的天体目标图像出现退化，严重影响系统下一步对目标图像的识别检测和分类。因此，实现大气湍流退化图像的复原，是提高望远镜对目标探测能力和测量定位精度必须解决的关键问题之一。

湍流的最大特点，是具有很强的随机性。这使得建模时，很难描述和测定点扩散函数(point spread function，PSF)的具体形式，必须从观察图像中以某种方式估计出退化信息。对这类严重的病态问题，目前大多数采用盲复原算法进行处理[1]，即在最大后验概率(maximum a posterior，MAP)的框架下，依据模糊核和清晰图像的先验知识，运用有效的估计准则复原出目标图像。利用盲复原算法解决这类去模糊问题的关键,是如何设计有效的清晰图像的先验知识指导图像复原。传统的IBD(iterative blind deconvolution)[2]算法使用的先验知识过于简单，解的收敛性很难得到保证。而近几年研究的清晰图像,其先验知识大多集中在对自然图像梯度分布的统计上，如Fergus、Krishnan等人[3-4]分别采用高斯混合模型、超拉普拉斯分布，来近似图像的梯度分布，但在MAP框架下，如果盲复原算法直接使用这些梯度分布先验知识来进行联合估计模糊核和图像，会更容易得到模糊平凡解，这就产生了矛盾。为了解决这个矛盾，一些学者尝试寻找更合适的清晰图像的约束信息，如Krishnan等人[5]采用稀疏比值l1/l2范数。这种约束项对处理运动模糊图像比较有效，但对湍流退化图像的约束处理，效果则不显著。2016年，Pan等人[6]利用图像去雾中的暗通道理论，在处理运动模糊图像、低照度模糊图像以及非一致模糊图像上取得了不错的效果，但算法自身缺陷是对噪声敏感，当模糊图像存在较大的噪声时，处理结果有振铃效应。另一些学者尝试引入边缘选择[7-8]，利用强边缘来恢复图像，但这类方法的缺点是算法涉及复杂的边缘选择，如何设计“大的梯度保留与小的梯度舍弃”规则是个问题，且在图像边缘的显著性不是很强时，算法会选不到合适的边缘来估计模糊核。

针对上述矛盾问题，受文献[6]的启发，结合优化算法交替方向乘子法(alternating direction method of multipliers，ADMM)[9-10]，提出了一种暗通道约束和交替方向乘子法优化的湍流图像盲复原算法，主要具有以下优点：①对湍流退化图像施加暗通道先验信息约束，构造的代价函数在交替迭代过程中，整体能量更低，更有利于得到清晰解，解决了MAP框架下使用梯度分布先验信息约束易得到模糊平凡解的矛盾。②在基于导数空间的图像复原总变分模型下，采用ADMM优化来求解目标图像，可避免用二次惩罚来近似约束问题中在最优解附近出现目标函数不稳定问题，与用梯度最小化来复原图像相比，本文算法能恢复出更多的图像细节。③针对文献[2,5-6,8]算法抗噪性能差的问题，本文利用总变分模型下的各向异性滤波去噪特性，能去除较多的噪声。

1 大气湍流的退化模型

在等晕区内的远距离非相干成像，可以建模成一个线性移动不变系统，湍流退化模型可简化为目标图像和点扩散函数的卷积过程,即y=k⊗x+n,其中,⊗表示空间卷积运算,y表示观测的模糊图像,k表示点扩散函数值,x表示目标图像,n表示噪声。

2 算法原理

2.1 算法概述

为了准确估计出模糊核,本文算法在MAP框架下,首先对输入图像采用由粗到精的图像金字塔方法。在每一层尺度上,对图像施加暗通道约束和梯度约束,对模糊核施加非负性约束和能量约束,分别估计清晰图像和模糊核。当达到最大尺度时,得到最终估计的模糊核,然后在总变分模型下,采用ADMM优化求解目标图像。最后当算法满足收敛条件时,得到复原结果。算法流程如图1所示。

图1 算法流程图

2.2 暗通道先验约束

对于任意一幅图像I,对其暗通道[11]有如下定义:

(1)

式中,m和n代表像素的位置,N(m)表示中心位置在m处的一个局部区域块,Ic是图像I第c个通道。暗通道值表征的是一个图像块的最小值。何恺明的暗通道先验理论指出,对于大部分室外无雾环境下拍摄的图像,其暗通道值大部分接近于0,即自然图像的暗通道稀疏性比较强。假定1幅图像在位置m处的像素值为0,那么图像变模糊后,该位置对应的暗通道值会变大,即模糊图对应的暗通道稀疏性会减弱,这个性质可以用L0范数来刻画,即:

‖D(y)(m)‖0>‖D(x)(m)‖0

(2)

该性质的理论证明过程如下:

卷积是一个信号与另一个经过翻转、平移后的信号重叠部分的累积,即:

(3)

(4)

由此可知,可以用暗通道理论作为清晰图像的先验约束信息,用‖D(x)‖0作为湍流退化图像复原的代价函数约束项。

2.3 目标图像和点扩散函数的估计

图像复原的本质,即通过目标观测图像y,恢复出最接近原始目标图像x的估计图像。根据最优估计原则,可建立代价函数:

(5)

其中第1项为数据保真项,用以衡量估计图像和原始目标图像之间的相似程度,第2项为点扩散函数的约束项,第3项和第4项分别为对目标图像的梯度约束(为哈密顿算子)和暗通道约束。结合公式(5)和公式(2)可以看出,对目标图像施加暗通道约束项λ‖D(x)‖0,与利用λ‖D(y)‖0作为约束项相比,代价函数的整体能量更低,即更有利于代价函数收敛到清晰解。

2.3.1 目标图像的估计

为采用坐标下降法来交替求解x和k,将公式(5)拆分为以下2个代价函数:

(6)

(7)

公式(6)中存在L0范数和非线性函数D(·),可采用半二次变量分离解决L0最小化问题[12],对D(·)引入辅助变量u;对图像的水平梯度和垂直梯度分别引入g=(gh,gv),于是公式(6)可以改写为:

(8)

对于公式(8),可通过交替迭代最小化x,u和g来进行求解,将求x的部分提取出来:

(9)

其中非线性算子D(x)等于选择矩阵M乘以x:D(x)=Mx,选择矩阵M满足:

(10)

式中,z为选择矩阵M中的第i行的元素,j为图像I在给定的图像块中最小像素值对应的位置。借助选择矩阵M,通过公式(11)估计出每一层尺度下的目标图像x:

(11)

(11)式Tk是模糊核k的Toeplitz矩阵,y,g和u分别代表y,g和u的向量形式,可利用快速傅里叶变换(FFT)方法求解出上式向量矩阵。

2.3.2 点扩散函数的估计

求得当前尺度下估计的x后,公式(7)就成为一个最小二乘问题,可将其改写为:

(12)

模糊核的非负性约束条件和能量约束条件为:

(13)

本文采用Cho提出的由粗到精的图像金字塔方法求解模糊核[7],为了适应不同大小的图像,根据PSF尺寸Pks设置图像金字塔层数为:

模糊核在每一层尺度上的估计算法流程如表1所示:

表1 模糊核估计算法流程

2.4 ADMM优化

在得到最终估计的模糊核k后,Pan采用L0范数梯度最小化[13]来平滑恢复图像,但这样处理容易平滑掉图像细节,且算法自身对噪声敏感。而本文建立的基于导数空间总变分最小化的图像复原模型,通过各向异性滤波器去除噪声,借助ADMM来优化方程。在每一次迭代中,仅需4步快速傅里叶变换,就可以收敛到令人满意的解,从而能快速复原图像,恢复出更多的图像细节。

基于导数空间的图像复原总变分模型,可表示为:

(14)

添加辅助变量f,令f=d,定义增广拉格朗日函数为:

(15)

采用交替方向乘子法更新参数f,d和q(关键是求解d),若给定参数f和q,则d可以通过下式进行求解:

(16)

当更新d时,可构造d的拉格朗日对偶函数:

(17)

KKT条件为:

(18)

对应的解为:

d=B-1(kTDy+δ(f-q)-Dcλ)

(19)

式中，B=kTk+δI,公式(19)可在傅里叶域中求解,ADMM优化算法的执行步骤如表2所示。

表2 ADMM优化算法执行步骤

当满足收敛条件时,x即为最终复原的图像。步骤中F(·)代表对变量做傅里叶变换。

3 实验结果及分析

为验证文中方法的有效性,本文分别针对仿真模糊图像和真实模糊图像做出了2组对比性实验,对比的方法都是近年来在图像盲复原领域中较为先进的方法。模拟数据采用256像素×256像素的海事卫星图像,通过谱反演法模拟大气湍流的相位屏,对卫星图像进行湍流退化模糊的仿真实验,图像实测数据采用文献[14]给定的大气湍流图像测试数据库。客观评价指标上,用峰值信噪比(PSNR)、灰度平均梯度(gray mean grads,GMG)和拉普拉斯梯度模(Laplacian sum,LS)来衡量图像的复原效果。PSNR属于有参评价,其值越大表明图像质量越好。GMG和LS属于无参评价,能有效的反映图像的对比度和纹理变化特征,其值越大表示图像细节越多、边缘越锐利,图像质量越好。

3.1 模拟湍流退化图像复原实验

图2 模拟湍流退化图像实验

由图2可以看出,文献[2]算法基本上未能恢复出目标图像的有效信息,这与IBD对噪声敏感和加入的先验知识较少有关。文献[5]算法由于加入了自然图像边缘的稀疏先验知识,使复原图像比IBD算法的复原图像具有更多的细节,但是无效的梯度导致估计的点扩散函数出现偏差,最终使得复原图像在边缘处产生了较多的伪迹。文献[6]方法的复原图像优于文献[2],但是采用L0范数梯度最小化来恢复图像,使得复原结果过于平滑,如卫星的4块帆板上的细节部分被平滑掉。文献[8]的复原结果相比文献[6],恢复出了较多的细节,如左上角帆板处小部件的轮廓,但复原结果整体还是夹杂着零零散散的噪声。而本文算法的复原结果显示出了更多的目标图像细节,整体上提升了图像的视觉效果,如4块帆板边角和中心位置可以看出较多的轮廓,帆板和天线中间几乎没有噪点。另外从表3客观评价指标上看,本文算法各项指标均优于其他算法。PSNR值越大表示复原图像失真越小,GMG和LS值越大表示复原图像越清晰,轮廓越鲜明。由于本文所提算法的复原结果轮廓鲜明并包含更多的细节信息,因此各项指标值比较大。

表3 卫星实验结果指标统计

3.2 实际湍流退化图像复原实验

为进一步验证本文算法的实用性,选取了文献[14]给定的湍流测试数据库Chimney随机一帧进行复原实验,并与其他算法进行比较。为了更清晰地展示不同图像盲复原算法的处理细节,增加了局部放大图。实验结果如图3所示。

从图3可以看出,由于文献[2]IBD算法计算量小,没有收敛准则,解的唯一性和可靠性不能保证,复原结果不够清晰。文献[5]的复原结果中目标图像的顶部略有增强,但整体细节恢复的还不够好。文献[6]相较前2个算法,处理效果有所提升,但是复原结果有白色光晕,文献[8]复原出的目标图像顶部出现畸变,这说明文献[8]中应用的的稀疏比值l1/l2范数作为先验信息在此处约束并不合适。

图3 实际湍流退化图像实验

从局部放大图来看,本文算法复原结果边缘纹理更清晰,恢复出了更多的图像细节,复原质量得到提升。另外,从表4也可以看出,所提算法的GMG值和LS值均高于其他算法的指标值。GMG值和LS值越大表示图像越清晰,轮廓越鲜明,图像质量越好。综合图3与表4,可以看出本文算法复原结果相较其他的算法,具有更好的质量。

表4 实际湍流退化图像实验结果指标统计

4 结 论

本文提出了一种基于暗通道约束和交替方向乘子法优化的湍流图像盲复原算法，该算法对图像施加暗通道先验约束，使代价函数能量更低，从而解决了MAP框架下使用常见梯度分布先验信息约束可能得到模糊平凡解的矛盾问题。在估计出模糊核后，结合图像复原总变分模型，采用交替方向乘子法优化求解出目标图像，解决了用梯度最小化复原图像容易平滑掉图像细节的问题。实验结果表明，和湍流图像复原领域中具有代表性的算法相比较，无论是仿真数据还是真实数据，本文算法的复原结果具有更好的主观和客观质量。

[1] Levin A, Weiss Y, Durand F, et al. Understanding and Evaluating Blind Deconvolution Algorithms[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009: 1964-1971

[2] Ayers G R, Dainty J C. Interative Blind Deconvolution Method and its Applications[J]. Optics Letters, 1988, 13(7): 547-549

[3] Fergus R, Singh B, Hertzmann A, et al. Removing Camera Shake from a Single Photograph[J]. ACM Trans on Graphics, 2006, 25(25): 787-794

[4] Krishnan D, Fergus R. Fast Image Deconvolution Using Hyper-Laplacian Priors[C]∥International Conference on Neural Information Processing Systems, 2009: 1033-1041

[5] Krishnan D, Tay T, Fergus R. Blind Deconvolution Using a Normalized Sparsity Measure[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011: 233-240

[6] Pan J, Sun D, Pfister H, et al. Blind Image Deblurring Using Dark Channel Prior[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1628-1636

[7] Cho S, Lee S. Fast Motion Deblurring[J]. ACM Trans on Graphics, 2009, 28(5): 89-97

[8] 李晖晖, 钱林弘, 杨宁,等. 基于边缘预测和稀疏约束的湍流图像盲复原[J]. 仪器仪表学报, 2015, 36(4): 721-728

Li Huihui, Qian Linhong, Yang Ning, et al. Turbulence Degraded Image Blind Restoration Based on Sparity Regularization and Edge Prediction[J]. Chinese Journal of Scientific Instrument, 2015,36(4): 721-728(in Chinese)

[9] Boyd S, Parikh N, Chu E, et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations & Trends in Machine Learning, 2010, 3(1): 1-122

[10] Ren D, Zhang H, Zhang D, et al. Fast Total-Variation Based Image Restoration Based on Derivative Alternated Direction Optimization Methods[J]. Neurocomputing, 2015, 170: 201-212

[11] He K, Sun J, Tang X. Single Image Haze Removal Using Dark Channel Prior[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009: 1956-1963

[12] Xu L, Zheng S, Jia J. UnnaturalL0Sparse Representation for Natural Image Deblurring[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2013: 1107-1114

[13] Pan J, Hu Z, Su Z, et al. Deblurring Text Images viaL0-Regularized Intensity and Gradient Prior[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2014: 2901-2908

[14] Zhu X, Milanfar P. Removing Atmospheric Turbulence via Space-Invariant Deconvolution[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2013, 35(1): 157-70