基于稀疏正则化和渐近边界假设的运动模糊图像盲复原

2021-02-22杰a卢振坤

济南大学学报（自然科学版） 2021年1期

龚平，贺杰a, 2，刘娜，卢振坤

(1. 梧州学院a. 广西高校图像处理与智能信息系统重点实验室， b. 电子与信息工程学院，广西梧州543002；2. 湖南大学信息科学与工程学院，湖南长沙410082； 3. 重庆大学计算机学院, 重庆400044；4. 广西民族大学电子信息学院，广西南宁530006)

在图像成像的过程中，因相机抖动而产生运动模糊图像的现象普遍存在。在图像处理的相关研究中，将模糊图像复原成清晰图像是一个重要研究内容。图像去模糊的过程中，根据模糊核已知与否的性质可划分为盲复原和非盲复原。对于真实拍摄环境中形成的运动模糊图像，通常模糊核是未知的，模糊图像盲复原的关键是找到图像的退化模型或点扩散函数(PSF)，并采取相反的过程来得到清晰图像。运动模糊盲复原是图像复原中一个极具挑战的重要研究课题。

利用图像的稀疏性和自然图像的重尾分布作为先验知识，模糊图像盲复原取得了较好的研究成果。Fergus等[1]提出一种基于变分贝叶斯的消除相机抖动模糊图像的盲复原方法，利用零均值的混合高斯分布来拟合图像梯度的重尾分布，利用混合指数分布来拟合运动模糊的点扩散函数的分布，并提出多尺度复原的思路由粗至细估算模糊核。Krishnan等[2]采用L1/L2、L1范数作为正则项，建立了基于图像梯度的盲复原目标函数，并通过交替最小化方法求解清晰图像和模糊核的估计值，该方法应用于真实模糊图像的复原效果良好。Xu等[3-4]提出一种基于L0范数的稀疏表示方法用于模糊图像盲复原，利用L0梯度最小化的优化框架实现模糊核盲估计，该优化框架可以全局控制产生非零梯度的数量，以稀疏控制的方式逼近突出结构。针对相机抖动产生的模糊文本图像，Pan等[5]提出基于图像梯度和像素稀疏特性以L0为正则项建立目标函数，利用半二次方分裂法和Fletcher-Reeves(FR)型共轭梯度法交替求解未知的清晰图像和模糊核，该方法也适用于一些自然场景模糊图像。

近年来，以图像的稀疏特性为基础，运动模糊图像盲复原研究中涌现了不少新思路。余义斌等[6]利用卷积核谱特性和清晰图像梯度域超拉普拉斯先验联合建立了含噪图像的盲复原模型，通过迭代策略交替细化模糊核和清晰图像，最后针对超拉普拉斯先验项提出变量分离法计算清晰图像，并采用快速傅里叶变换及封闭阈值公式以提高速度。秦绪佳等[7]在综合考虑图像边缘幅值和梯度的基础上，筛选出用于模糊核估算的图像子区域，并对模糊核的稀疏性进行超拉普拉斯约束以快速、精确地估算模糊核。王凯等[8]针对单幅运动模糊图像建立了基于加权L1范数的模糊核盲估计模型，同时通过迭代收缩阈值数值算法求解模糊核盲估计值，最后基于超拉普拉斯先验对模糊图像进行快速非盲复原。李正周等[9]结合空间目标图像梯度的稀疏特性，采用图像梯度的L0范数提取有利于模糊核估计的图像显著边缘信息，采用Lp范数和L0范数对图像的梯度分布和空间域进行稀疏约束，最后采用拉普拉斯分布先验对模糊核进行约束，采取交替迭代策略求解模糊核和空间目标图像。岳有军等[10]提出一种基于暗通道与低秩先验的图像盲去模糊方法，利用图像暗通道的稀疏性进行中间复原图像估计，并引入带权值的低秩先验约束抑制中间复原图像中的噪声，通过交替迭代的优化策略得到模糊核的估计值。Cho等[11]在图像梯度稀疏性的基础上提出基于能量函数自动选择模糊核尺寸的模糊核估计算法，取得了较好的复原效果。许影等[12]以二值图像为研究对象，利用L0梯度图像平滑方法获得明显的图像边缘以估计模糊核。耿源谦等[13]提出了一种混合正则化约束的模糊图像盲复原方法，采用L0范数正则项对模糊核进行稀疏约束，根据图像梯度的稀疏性，采用混合一阶和二阶图像梯度的L0范数对图像梯度进行正则化约束，并通过交替方向乘子法对模型进行求解，最后非盲复原阶段采用L1范数数据拟合项和全变分(TV)的方法复原得到清晰图像。该方法复原的图像具有较清晰的细节和边缘信息。耿文波等[14]根据自然图像的稀疏特性，提出一种结合梯度域和空间域的稀疏先验模型对复原图像进行正则化约束，并根据运动模糊核的稀疏平滑特性提出结合L0先验和Lp(0

为了进一步提升盲复原效果，一些研究者通过假设复原模型中图像的边界条件来抑制振铃。经典的边界条件有零边界、循环边界、Neumann边界、抗反射边界等。这些边界条件在传统的非盲复原中能比较有效地抑制振铃，但是不适用于许多新的复原方法。Liu等[16]提出了一种简单的平滑扩展边界方法，将该边界条件的优点与快速傅里叶变换的有效性相结合，在很大程度上减少了由边界值问题引起的视觉伪影。Zhou等[17]提出一种基于反卷积框架的边界条件，将卷积矩阵看成部分卷积矩阵与边界条件矩阵的结合，通过计算边界条件矩阵的伴随矩阵来求解清晰图像。赵明华等[18]提出一种正弦积分拟合的图像复原边界振铃效应抑制方法，能够有效地控制计算量，并且能够较完整地保留图像边缘信息。

为了减少振铃干扰，本文中提出一种新的渐近边界作为边界假设条件，在盲复原方面，建立基于Lp范数的稀疏表示方法用于估计模糊核，更好地保持模糊核的稀疏性；利用Lp范数表示图像梯度域的超拉普拉斯稀疏先验，结合TV范数有效地保持图像的结构信息；基于渐近边界条件进行图像复原，更好地消除振铃影响。

1 盲复原模型

在不考虑噪声的情况下，运动模糊图像的形成定义为

y=k⊗x，

式中：y为观察到的运动模糊图像；k为模糊核；x为清晰图像； ⊗为卷积符号。

运动模糊盲复原是在k和x都未知的情况下，通过y得到估计的k和x。图像的梯度先验知识广泛应用于运动模糊图像的去模糊，已有研究证明，它们在抑制伪影方面是有效的。文献[5，19]中的研究表明，模糊图像的梯度非零值比清晰图像的分布更密集，也就是说，模糊图像的梯度具有明显的稀疏性。鉴于此，本文中采用Lp范数(0

大量研究和模拟实验表明，相机抖动的模糊核也具有明显的稀疏性，因此本文中以Lp范数 (0

建立求解k、x估计值的目标函数为

(1)

1.1 清晰图像的估计

根据式(1)建立的目标函数，对于给定的k，求解x估计的公式为

(2)

采用半二次方分裂法求解，引入2个额外的参数u和g=(gh,gv)分别近似x和x，其中gh为水平方向的梯度，gv为垂直方向的梯度。式(2)改写为

(3)

式中λ、μ为正则化参数。

在交替求解x和k的过程中，求解x的公式为

(4)

x的闭合解为

(5)

对于u和g，有

(6)

(7)

进而有

(8)

式中dTV(u)为矩阵u的TV范数的导数。

对于式(7)，Lp范数是凸函数；但是不可导，因此用可导的近似函数作为Lp范数的近似替代。在交替求解的迭代过程中，g的近似求解公式为

(9)

(10)

1.2 模糊核的估计

根据式(1)，对于给定的x，求解k的估计的公式为

(11)

大量的实验研究验证了基于图像梯度的方式具有更好的效果，因此将式(11)改写为

(12)

(13)

式中:ki为模糊核k中的每项元素；σ为常量且趋于0。模糊核k中的元素应具备大于或等于0的特点，此外，为了保证算法的稳定性，应对k进行归一化处理。

2 边界条件

图像复原的结果通常会受到振铃干扰，其中一种有效的减少振铃影响的方法是假设边界条件。本文中提出一种基于邻近像素的渐近边界假设条件，将运动模糊图像y通过8个附加区域进行扩充为I，如图1所示。

1—8—区域编号。

假设模糊图像y的高度为H(单位为像素)、宽度为W(单位为像素)，即y的尺寸为H×W，运动模糊核的尺寸为n×n，图1中区域5—8的大小均为n×n。区域1、 4的像素通过靠近模糊图像y的方向上的3个相邻像素取均值并逐行填充。区域2、 3的像素通过靠近模糊图像y方向上的3个相邻像素取均值并逐列填充。特别地，端点像素取靠近y方向的2个像素的均值。

以区域1、 2为例。对于区域1，

y(i+1,n+j+1)], 1≤i≤n，1≤j≤W；

(14)

对于区域2，

y(n+j+1,i+1)], 1≤i≤n，1≤j≤H。

(15)

填充的顺序由内向外，如图1中箭头方向所示。因为填充方式呈现对称性，所以区域3、 4采用同理的方法进行填充。

然后对区域1—4实施渐近变化的处理，

(16)

区域5—8分别用区域1—4最邻近的行与列填充其上三角部分或下三角部分，如图2标注的箭头方向所示。以区域5为例，该区域的上三角部分通过区域1最左侧的一列进行填充，下三角部分通过区域2的最上方的一行进行填充，对角线上的元素取二者的均值。

1—8—区域编号。

通过上述8个附加区域对模糊图像填充完成之后，在式(2)—(10)的计算中用I代替y。

3 算法描述

在盲复原阶段，通过交替求解x和k最终确定模糊核的估计值。具体算法描述如下。

输入：进行了边界条件假设的运动模糊图像I。

输出：估计的模糊核k。

初始化：设置金字塔等级N，初始化模糊核k，并将清晰图像估计值x赋初值为I。

循环从1到N进行：

1)通过式(5)求解x；

2)通过式(12)求解k；

3)通过金字塔的递进关系调整模糊核k的尺寸。

得到模糊核k的估计值后，相机抖动运动模糊图像复原问题变为非盲复原问题。通过再次求解式(2)进行最终的非盲复原。由于扩展了模糊图像的边界，因此需要按模糊图像y的尺寸截取x，从而得到清晰图像。

4 结果与分析

实验分为2个部分： 1)对比模糊核盲估计，针对相机抖动运动模糊图像对比不同复原算法得到的模糊核估计值； 2)对比边界条件对盲复原的影响，利用不同的边界条件，对比盲复原效果。实验参数设置如下：α=4×10-3，β=4×10-3，φ=10-4，τ=10-6，σ=10-6，式(10)中p取值为2/3，式(12)中p取值为0.1。部分实验用图像如图3所示。

4.1 模糊核盲估计实验

与文献[5，20]中的盲复原算法进行对比实验，比较不同算法得到的模糊核估计值，部分实验结果如图4—6所示。

从图4—6中可以看出，本文中提出的方法得到的模糊核估计值与文献[5，20]所得到的模糊核具有相似的结构，说明本文中提出的方法是可行的。

4.2 模糊图像盲复原实验

将本文中所提出的边界假设条件与文献[16]中所提出的边界条件、经典的循环边界条件和Neumann边界条件进行对比实验，部分复原效果如图7—9所示。

从图7—9中可以看出，采用经典的循环边界、Neumann边界作边界条件时复原结果中具有明显的振铃效应，复原效果明显劣于文献[16]中的方法和本文中提出方法的复原效果。从主观评价的角度来看，本文中提出的方法在一些图像细节上的复原效果比文献[16]中的方法略好。在客观评价上，采用灰度平均梯度值(GMG)和图像熵作为客观评价图像复原效果的指标。GMG值越大，表示图像越清晰，噪声越小，细节越完整，图像恢复质量越好；图像熵值越大，说明图像的信息量越大，保留的细节越丰富，相应图像的恢复质量越好。本文中提出的方法与文献[16]中的方法复原效果客观评价结果见表1。由表可知，针对不同的相机抖动运动模糊图像，与文献[16]中的方法相比，本文中提出的方法的复原结果具有更大的灰度平均梯度值和图像熵值，说明用该方法恢复的图像质量更好。