改进混合正则化约束多帧湍流退化图像盲复原方法

叶 霞, 杨书杰

(1. 火箭军工程大学作战保障学院, 陕西 西安 710025; 2. 中国人民解放军96796部队, 吉林 长春 130000)

0 引 言

高超声速飞行器高速飞行状态下,机载成像平台与大气分子发生剧烈碰撞、摩擦形成复杂湍流流场[1-2]。该流场具有强烈的非均匀气体密度变化,引起气体折射率随机脉动[3]。机载成像平台接收目标图像受湍流影响产生抖动,模糊和偏移的湍流退化效应。该效应使得飞行器无法准确识别地面目标,影响了飞行器航迹准确性。在飞行器运行过程中,图像辅助控制单元需要提供高精度湍流退化图像复原[4-6]手段。因此,本文针对湍流退化图像复原精准度需求开展研究。

湍流退化图像去模糊属于具有病态性的反问题,即无法确定唯一解。研究表明,正则化方法[7-8]能有效解决自然图像的图像盲复原问题。近年来,基于稀疏先验[9-10]正则化约束因其良好复原效果成为研究热点,其中以基于L0范数正则项复原方法[11-13]最具代表性。文献[11]通过构造分段函数拟合L0范数离散曲线提出非凸优化的运动图像复原模型,抑制细小边缘和轻微噪声。文献[12]根据文本图像特点,提出了L0正则化文本去模糊方法。文献[13]根据遥感图像模糊机理,提出基于L0正则化模糊和估计方法。上述方法都尝试在严格的优化视角下生成用于模糊核估计的中间清晰图像。然而,图像正则项中单纯的图像梯度L0范数求解,无法避免均匀区域中产生阶梯伪像。同时,湍流退化图像因其模糊、抖动、偏移效应,与一般运动模糊、散焦模糊图像相比较,具备独有特性。现有复原方法无法准确描述湍流退化内在特性,以致无法准确估计湍流点扩散函数。

针对湍流退化图像独有特点,本文构建多帧退化图像复原模型,描述湍流与退化的时空相关关系。该模型相对于图像退化的一般模型,更加贴合湍流图像退化过程。其次,考虑到L0正则化复原方法产生的阶梯伪像,本文增加对图像正则项的L2范数正则约束。实现了额外的平滑效果,在很大程度上减少了阶梯伪像。对于图像模糊核正则项,依据对湍流退化图像点扩散函数分析,提出了一种混合正则化约束。最后,本文采取多尺度图像金字塔[14]的策略提出图像复原算法,避免陷入局部最小值,优化了求解过程,得到较好的复原效果。

1 多帧退化图像复原模型

湍流退化图像具有复杂的退化过程,在观测时间内点扩散函数和噪声呈现随时间随机变化的特点。单帧退化图像有限的信息,使得复原结果稳定性缺失。文献[15]改进了一般图像退化模型,更加准确地描述了湍流与图像退化的一般关系,研究表明,该模型具有良好的复原效果[16]。复原模型为

g(x,y,t)=f(x,y)⊗h(x,y,t)+n(x,y,t)

(1)

式中,观测时间t∈[0,T];退化图像g(x,y,t)随时间变化。假设点扩散函数h(x,y,t)均值已知,即

h(x,y)=E[h(x,y,t)]

(2)

将式(2)代入式(1),可得

(3)

式中,n2(x,y,t)为点扩散函数的噪声项。将式(3)离散化后得到多帧退化图像复原模型为

(4)

式中,k=1,2,…,N,N为所取图像帧数。根据文献[16]推导,相对于一般单帧图像退化模型,该模型能够更加准确描述随时间变化的图像退化过程。因此本文选用式(4)作为湍流退化图像复原模型。

2 改进混合正则约束多帧复原模型

现有正则化方法主要存在以下问题,第一是未有针对湍流退化图像特点的正则约束条件,第二是单一正则项约束不能将点扩散函数特点准确表现。文献[17]提出一种L0-L2混合正则化约束复原模型,通过构建中间清晰图像估计模糊核。然后,利用所估模糊核代入非盲复原算法,求出复原图像。中间清晰图像与原始图像不同,通过更加强调突出边缘信息,同时牺牲弱内容,使得模糊核估计更加准确。本文沿用该思想,并应用于多帧图像复原模型,提出了改进混合正则约束模型。

2.1 复原模型构建

直观地,模糊核估计准确性很大程度上依赖于与模糊核一起重构的清晰图像的质量。L0正则化复原方法约束图像梯度能够保护主要边缘信息,滤除细小边缘,规范自然图像的稀疏特性。然而恢复出的图像仍有一些细小的虚假伪像。这是由于L0范数主要考虑的是数值的有无,并不涉及幅值大小。

湍流退化图像并不是纯稀疏,细微误差会降低复原的质量。L2范数正则约束相对于其他范数正则约束对灰度突变更加敏感。由此本文在使用L0范数约束图像梯度同时,增加对图像正则项的L2范数约束。目标图像正则项为

(5)

由于模糊核具有稀疏性,采用模糊核的范数减小模糊核的中等、强孤立点出现的可能性。考虑到湍流退化图像点扩散函数具备非负性和空间相关性,采用Tikhnonv正则的模糊核梯度L2范数保证支持域的连续平滑特性。模糊核正则项为

(6)

结合多帧图像退化模型,本文改进混合正则约束多帧复原模型为

(7)

2.2 模型讨论

式(7)中,第1项为保真项,表示观测数据与理想数据之间的拟合程度;第2项和第3项分别为图像正则项和模糊核正则项,约束目标函数其中λ1、λ2、α和β为权重。若λ1过小,对于图像约束变小,图像模糊核仍然模糊。若λ1过大,则图像过于锐化,使得边缘结构不准确。参数λ2过小,核的支持域扩散,峰值降低;反之,核的支持域集中,峰值增加。

如果α和β设置得太大,则中间的清晰图像将变得过于平滑,这通常使得边缘结构不准确,且伴随着均匀区域中的阶梯伪像,从而降低了模糊核估计精度。

3 模型求解

首先采用交替迭代的方法将求解模型(7)分解为子问题u过程和h过程。

(8)

(9)

式中,Hi和Ui分别是与u和h做卷积运算的卷积矩阵。下面介绍两式的求解过程。

3.1 过程

(10)

基于增广拉格朗日方法,wi+1和ui+1求解可以转换为无约束问题,即

(11)

(12)

(13)

(14)

3.2 过程

(15)

(16)

(17)

3.3 图像复原算法

为了避免在获取中间复原图像和模糊核估计时陷入局部最小值,本文采用一种多尺度图像金字塔的策略,步骤如表1所示。

表1 本文复原算法

4 实验结果与分析

为了验证本文算法对湍流退化图像复原效果,使用近年来较好的模糊图像复原方法作对比实验。本文使用实验仿真平台为Matlab 2014a。硬件环境为Intel@ CoreTMi7-4710MQ CPU @2.50GHz,RAM 8G。

实验采用2种全参考质量评价指标峰值信噪比(peak signal to noise ratio,PSNR)和特征结构相似度(features similarity index,FSIM)对复原图像结果进行评价。PSNR表征复原图像与原始图像的均方差相反的参量,越大则图像质量越好。FSIM用于评价两幅图像在特征结构上的相似程度,数值越接近1说明复原图像越接近原始图像,复原图像质量越好。

4.1 实验1:仿真图像复原实验

以“海事卫星”为原始图像如图1(a)所示,图像大小为128×128,使用文献[19]仿真软件生成序列湍流退化图像。由于湍流的随机性,每帧模糊核函数随机变化,随机截取3帧模糊图像如图1(b)～图1(d)所示。对照实验涉及到的参数设置与文献[11, 20]相同。

图2和表2为本文方法与文献[11, 20]方法复原结果对比。从图中可以看出,文献[11]复原效果较差,存在阶梯伪像。本文算法相对于文献[20]算法边缘细节复原效果更佳。表2采用两种全参考质量评价指标PSNR和FSIM对复原效果进行客观评价。FSIM和PSNR是全参考评价方法。PSNR由原始图像和待测图像的灰度分布特征计算得出,指标值与图像质量正相关。FSIM是选取人眼视觉敏感的相位一致性和图像梯度为特征,进行特征相似性评价的图像质量评价指标。FSIM取值范围为,其值与图像质量正相关。直观地,本文算法PSNR和FSIM相对与其他两种算法评价指标更高。这是由于本文方法适应湍流退化图像特点,做出了相关模型以及算法调整。

图1 仿真实验原始图像及退化图像Fig.1 Simulation of the original image and the degradation of the image

图2 仿真湍流图像复原结果Fig.2 Simulation of turbulence image restoration results

质量评价指标复原算法质量评价指标PSNRFSIM文献[11]算法63.85050.9675文献[20]算法73.33090.9883本文算法73.61230.9885

4.2 实验2:真实湍流退化图像复原实验

图3中湍流退化图像来源为文献[21]湍流视频“empire”,图3(a)～图3(c)分别截取自第7、36、158帧,图像大小为287×212。

图3(d)～图3(f)分别为文献[11, 20]和本文算法复原结果对比。为了更加明显对比复原效果,框选出“empire”图像字母图案并进行放大。结果显示,文献[11,20]复原结果均存在伪像,而本文算法复原结果边缘清晰度高,复原质量较好。

5 结 论

本文提出了一种改进的混合正则化约束湍流多帧退化图像复原方法。多帧退化图像复原模型更好描述了湍流退化的时空变化关系。图像正则项使用图像梯度L0-L2范数混合正则化约束,减小了单纯L0范数正则化复原方法阶梯伪像瑕疵。多尺度图像金字塔的策略优化了求解过程。仿真图像和真实图像复原实验结果表明,该方法相对于文献[11,20],视觉效果和客观评价指标有所提高。下一步考虑在维持复原精度情况下,提高复原效率。