基于NSST与稀疏先验的遥感图像去模糊方法

成丽波, 董 伦, 李 喆, 贾小宁

(长春理工大学 数学与统计学院, 长春 130022)

遥感图像在采集、 传输、 存储、 显示的过程中会受到诸多因素的影响, 导致获取的图像信息有一定缺失, 图像因此会失真而变得模糊. 模糊图像会严重影响自身信息的丰富性和有效性, 从而影响人们对图像信息的判断. 所以遥感图像去模糊[1-4]的研究至关重要.

在数学的角度上, 模糊图像可视为由清晰图像与某一模糊核进行卷积并叠加噪声的结果[5]. 用数学表达式表示为f=K⊗u+ε, 其中K为模糊核,ε为噪声.根据模糊核K是否已知, 图像去模糊可分为图像非盲去模糊和图像盲去模糊.图像非盲去模糊过程就是在已知模糊核的情况下, 从模糊图像f中复原出清晰图像u的过程, 该问题实质上是一个线性逆问题. 图像去模糊领域中具有稀疏先验的传统方法包括基于稀疏表示的图像复原算法、 基于全变分(total variation, TV)模型的算法等[6-7].

基于稀疏先验的方法是近年来图像去模糊领域中的一个研究重点, 其处理问题的方法是充分利用图像信号的稀疏特征, 将其转化为去模糊问题中的先验约束条件, 从而把病态问题转变为良性问题, 实现图像信号的去模糊. Bredies等[8]针对图像去模糊问题, 建立了以lp范式为约束项的优化模型; Beck等[9]建立了一种二次逼近的图像去模糊算法, 该算法在收缩速度上有一定的提升; Dupe等[10]针对去模糊问题, 提出了由数据保真项、 稀疏促进项、 附加项组成的图像复原框架, 该模型框架也是目前基于稀疏先验的复原方法常用的模型框架. 之后, 诸多研究者在原始复原框架的基础上进行了诸多改良. Daubechies等[11]构造了l1范式正则化的优化问题模型, 并提出用迭代收缩算法处理该优化问题; Pustelnik等[12]提出了多正则项约束优化解决单一正则项存在不足的问题; 孙涛等[13]通过将稀疏模型和全变分模型相结合, 证明了混合模型比单一模型具有更好的图像去模糊性能; 钟秋祥等[14]提出了一种自适应二阶变分模型, 该模型对复原脉冲噪声下的模糊图像可以很好地抑制复原所产生的阶梯效应; Duan等[15]构建了一种最大化l1正则化的图像去模糊算法, 该算法对去除大气湍流模糊具有良好的效果, 并设置了软抑制策略抑制伪影.

一些研究者尝试用图像在小波[16]、 紧框架[17]、 轮廓波[18]等多尺度分析工具下的稀疏特征与稀疏先验的模型框架相结合, 使复原模型得到了改进, 图像复原的效果也得到提升. 例如: Cai等[19]利用图像小波域系数的稀疏性作为约束条件, 所得复原后的图像能很好地抑制噪声和伪迹; 王艮化等[20]通过构建混合空域和小波域的正则化方法, 提升了原始稀疏表示框架的复原性能; 袁存林等[21]在小波变换域中图像系数稀疏的先验假设下, 构建一个包含数据保真项和基于小波框架的正则化项的算法模型, 实现了对图像的去模糊、 去噪; 娄帅等[22]采用轮廓波对图像进行分解, 轮廓波可以更好地刻画图像的细节纹理信息, 并通过对罚函数进行优化, 使复原后的图像具有更丰富的细节特征; 张晶等[23]针对图像复原时出现的纹理、 细节信息丢失的问题, 提出了紧框架小波与全变分协同稀疏的图像复原算法, 该方法可准确刻画图像的细节信息; Shen[24]提出了一种基于小波框架的非凸正则化复原算法用于图像去模糊, 采用多域主动学习(MDAL)算法进行模型的求解, 实验表明该方法具有良好的去模糊和去噪能力.

近年来, 经过改良的多尺度几何分析工具在图像处理领域应用广泛, 非下采样剪切波变换(non-subsampled shearlet transform, NSST)就是一种改良的多尺度几何分析工具, 它具有良好的时频局域性和平移不变性[25-29], 与传统小波相比可以更好地保留图像的细节信息, 更好地刻画图像的结构特征. 目前, 非下采样剪切波变换常用于图像融合的研究, 而在图像去模糊研究中的应用较少, 所以结合非下采样剪切波变换与遥感图像去模糊的研究有意义.

基于上述工作与改良多尺度分析工具的启发, 本文设计一种基于非下采样剪切波变换与稀疏表示相结合的图像复原算法, 利用图像在非下采样剪切波变换下低频和高频图像结构的特性, 对低频、 高频图像分别进行相应的处理, 以有效保留图像复原后的细节信息, 提升图像复原的效果.

1 预备知识

1.1 剪切波变换

剪切波是一种由不同尺度小波所集成的合成波. 相比于单一小波, 剪切波对图像有更细致的分解: 单一小波分解图像只会产生3个高频子带, 而经过剪切波分解的图像可分解出更多的高频子带, 并且低频部分和高频部分的特征分布会随着变换尺度的不同呈现一定的规律.

剪切波对图像在任何尺度上分解的低频系数都是原图像整体轮廓的近似, 且保留了原图像的大部分能量信息; 高频部分是原图像在不同尺度特征值下提取的有效阈值信号, 主要突出原图像的细节信息, 如边缘信息、 纹理信息. 剪切波的定义表示为

SHf(a,s,t)=〈f,ψa,s,t〉,

(1)

其中ψa,s,t为剪切波母函数, 定义为

ψa,s,t(x)=a-3/4ψ(A-1B-1(x-t)),

(2)

a∈+,s∈,t∈2依次表示尺度参数、 剪切参数和平移参数; 矩阵A表示具有各向异性的膨胀矩阵, 定义为

矩阵B表示剪切矩阵, 定义为

1.2 非下采样剪切波变换

NSST是对剪切波变换的改进, 其在保持剪切波变换的频域紧支撑、 时域快衰减等优良特性的同时, 还保证每个尺度上的高频系数都接近于最稀疏的表示. 与剪切波变换相比, NSST具有位移不变性和更好的方向性特征, 可以更准确地刻画图像的细节纹理信息.

NSST主要包括多尺度分解和方向局部化两个步骤[30-33]: 采用非下采样金字塔滤波器组(non-subsampled pyramid filter banks, NSPF)对图形进行n级尺度分解, 实现多尺度化; 采用剪切滤波器组(shearlet filter banks, SFB)实现方向局部化, 最终得到低频子带及由细到粗的高频子带. 图1为NSST分解的示意图.

图1 NSST分解示意图Fig.1 Schematic diagram of NSST decomposition

2 算法设计

2.1 本文算法模型

本文受NSST对图像进行分解后的高频图像具有稀疏性的启发, 构造基于非下采样剪切波变换与稀疏先验的图像去模糊模型, 表示为

(3)

其中‖·‖F表示Frobenius范数,W表示非下采样剪切波变换,Θ(·)表示深度去除噪声的卷积神经网络(convolutional neural network, CNN)去噪器,α>0表示平衡正则项与保真项的正则化参数.

2.2 CNN去噪器

CNN除在图像复原过程中具有良好的去噪性能外, 其高度的并行性还可大幅度缩短运行时间, 图2为本文CNN去噪器的网络结构. 由图2可见, 该网络结构由卷积核为64的卷积层、 归一化单元(batch normalization, BN)和线性整流单元(rectified linear unit, ReLU)三种模块构成, 网络开始部分由一个卷积层和一个线性整流单元组成, 中间部分为若干个由卷积层、 归一化单元和线性整流单元组成的模块组构成, 结尾部分仅由卷积层组成. 该网络已经通过大量的数据集完成去噪训练, 可直接应用于本文算法中, 达到深度去噪的效果.

图2 CNN结构Fig.2 Structure of CNN

2.3 模型求解

对模型(3)的求解, 引入辅助变量d,z, Lagrange乘子c,b.给定约束条件d=Wu,z=u, 则问题(3)变为如下约束形式:

其中λ>0,τ>0是罚参数.

利用交替方向乘子法(alternating direction method of multipliers, ADMM)对问题(4)求解得到如下子问题:

下面求解各子问题.首先, 求解u-子问题.由于求解该问题是可微的, 因此可直接给出u-子问题的闭合解形式:

(10)

其中F表示快速Fourier变换,F-1表示快速Fourier变换的逆变换,F(·)*表示快速Fourier变换的共轭转置, ∘表示矩阵的点乘.

其次, 对d-子问题求解.因为需要对低频和高频图像分别进行处理, 因此将低频图像记作dl、 高频图像记作dh.使用导向滤波对低频图像滤波进行处理, 以最大可能保持图像信息, 采用阈值方法对高频图像进行处理:

(11)

其中G(·)表示导向滤波器,S1/τ(·)表示软阈值算子.

最后, 求解z-子问题.从Bayes角度该问题是一个高斯去噪问题:

(12)

其中w=u+c/τ.

综上, 可得如下算法.

算法1本文的图像去模糊算法.

步骤1) 输入含噪声的模糊图像f, 模糊算子K; 输入变量u,z,b,d,c, 初始化u=f;

步骤2) 对图像u进行分层ui(i=1,2,3);

fori=1∶kdo

步骤3) 利用非下采样剪切波分解退化图像ui;

步骤4) 利用式(11)更新d;

步骤5) 利用式(7)更新b;

步骤6) 利用非下采样剪切波逆变换重构图像ui;

步骤7) 利用式(10)更新ui;

步骤8) 利用式(12)更新z;

步骤9) 利用式(9)更新c;

end

步骤10) 对复原后的u1,u2,u3进行重构;

输出: 复原后的遥感图像u.

3 实验结果与分析

本文在开放的遥感卫星图像数据集[34]中选取6张大小为600×600不同场景的图像(ImageA,ImageB,ImageC,ImageD,ImageE,ImageF)进行仿真实验, 清晰图像如图3所示. 本文算法实验在MATLAB R2020b上进行, 电脑配置为Windows10, Intel(R) Core(TM) i5-6300 HQ CPU @ 2.30 GHz.

图3 实验中使用的清晰图像Fig.3 Clear images used in experiment

使用混合即插即用(hybrid plug-and-play, H-PNP)算法[35]、 基于稀疏组表示(group-based sparse representation, GSR)算法[36]、 L2TV算法与本文去模糊算法进行实验对比. 选用3种模糊, 即平均模糊、 高斯模糊和运动模糊, 其中平均模糊核大小为7×7; 高斯模糊核的宽度为7, 滤波器的标准差为2; 运动模糊核的运动角度为3, 运动长度为17. 噪声均选取均值为0、 标准差为5的高斯噪声.

不同场景图像去模糊的结果分别如图4～图9所示, 作为图像去模糊的主观评价指标. 每种模糊分别选取两种场景, 展示去模糊后的结果, 本文算法可对含有高斯噪声的模糊遥感图像进行有效的图像复原, 既保证复原后的图像不失真, 也更好保留了图像的细节, 同时也克服了图像复原过程中产生的振铃效应. 表1列出了高斯噪声下的遥感图像使用不同算法去模糊的评价指标结果. 由表1可见, 本文算法的客观评价指标峰值信噪比(PSNR)和结构相似度(SSIM)的数值结果较好, PSNR和SSIM值均高于其他去模糊算法. 本文算法相比其他3种对比实验算法, 对同一张含有模糊和噪声的退化图像进行复原, PSNR和SSIM均有显著提升. 在进行去高斯模糊时, 本文算法可将PSNR提升0.28～1.25 dB, SSIM提升0.014～0.175; 在进行去平均模糊时, 本文算法可将PSNR提升0.11～1.61 dB, SSIM提升0.014～0.157; 在进行去运动模糊时, 本文算法可将PSNR提升0.23～1.67 dB, SSIM提升0.004～0.168.

表1 高斯噪声下的遥感图像使用不同算法去模糊的评价指标结果

图4 不同算法对ImageA去除高斯模糊的结果对比Fig.4 Comparison of results for removing Gaussian blurring from ImageA using different algorithms

图5 不同算法对ImageB去除高斯模糊的结果对比Fig.5 Comparison of results for removing Gaussian blurring from ImageB using different algorithms

图6 不同算法对ImageC去除平均模糊的结果对比Fig.6 Comparison of results for removing average blurring from ImageC using different algorithms

图7 不同算法对ImageD去除平均模糊的结果对比Fig.7 Comparison of results for removing average blurring from ImageD using different algorithms

图8 不同算法对ImageE去除运动模糊的结果对比Fig.8 Comparison of results for removing motion blurring from ImageE using different algorithms

图9 不同算法对ImageF去除运动模糊的结果对比Fig.9 Comparison of results for removing motion blurring from ImageF using different algorithms

表2列出了高斯噪声下的遥感图像使用不同算法去模糊的时间对比结果. 由表2可见, 本文算法对退化图像复原的时间相比于L2TV算法的复原时间略长, 相比于H-PNP和GSR算法的复原时间则大幅度缩减. 因此, 本文算法在提升复原效果的同时, 也避免了实现对退化图像复原所用时间过长的问题, 从而实现了对退化图像的高质量、 高速率复原的目的.

表2 高斯噪声下的遥感图像使用不同算法去模糊的时间对比结果

综上所述, 针对遥感图像的模糊问题, 本文设计了一种基于NSST与稀疏先验的遥感图像去模糊方法. 该方法利用遥感图像在非下采样剪切波分解下的高频图像的稀疏特性构造基于NSST与稀疏先验的图像去模糊模型, 采用交替方向乘子法求解模型, 采用阈值方法对高频图像进行约束处理; 为减少由NSST分解多导致的图像信息缺失, 在低频图像进行导向滤波处理, 以最大可能保留图像的细节信息; 在整个复原过程中采用CNN去噪器进行深度去噪; 再将处理后的高频图像与低频图像进行重构, 最终复原出清晰的图像. 本文方法有效复原了高斯噪声下的高斯模糊、 平均模糊、 运动模糊的遥感图像. 实验结果表明: 对6种场景的遥感模糊图像使用本文算法进行去模糊, 取得了较好的实验结果, 在客观评价指标(PSNR,SSIM)的数值结果上相比其他3种对比方法得到了大幅度提升. 在主观视觉上也取得了较好的效果, 大量缩减了复原时间.