多正则化混合约束的模糊图像盲复原方法

唐 述谢显中

(重庆邮电大学计算机网络与通信技术重庆市重点实验室 重庆 400065)

多正则化混合约束的模糊图像盲复原方法

唐 述*谢显中

(重庆邮电大学计算机网络与通信技术重庆市重点实验室 重庆 400065)

图像复原是一个长期的且极具挑战性的逆问题。为了实现模糊图像的盲复原，该文提出一种多正则化混合约束的模糊图像盲复原方法。首先，运用一种图像的局部结构提取策略(Local Structure Extraction Scheme, LSES)将图像中的大尺度图像边缘准确地提取出来。然后，在模糊核(Blur Kernel, BK)的估计阶段，将提取的大尺度图像边缘与前期研究中所提出的一种结合稀疏性和平滑特性的双重正则化约束模型相结合，实现模糊核更加准确的估计。在图像的复原阶段，为了得到高质量的复原图像，提出一种结合全变差(Total Variation, TV)模型和Shock滤波器不变特性的多正则化约束模型，从而实现模糊图像的清晰化复原。最后，通过半二次性的变量分裂策略对提出的模型进行最优化求解，能够在准确地估计出BK的同时得到高质量的复原图像。在人造的模糊图像和真实的模糊图像中进行了大量的实验，证明了所提方法的有效性，且与近几年的一些极具代表性的模糊图像盲复原方法相比，不仅主观视觉效果得到了显著的增强，而且客观评价指标也得到了明显的改进。

图像盲复原；多正则化混合约束；局部结构提取策略；全变差(TV)模型；Shock滤波器不变特性

1 引言

在成像过程中，由于外部环境条件的限制和成像设备自身的物理局限性等众多因素的影响，不可避免地会导致拍摄得到的图像出现模糊。本文主要针对线性空间不变系统的模糊图像的盲复原问题进行了研究，即模糊核(Blur Kernel, BK)是线性的且空间不变的。

模糊图像的盲复原就是在BK未知的情况下，仅利用观察到的模糊图像来对BK进行准确的估计，同时复原出原始的清晰图像。2006年，Fergus等人[1]首先利用自然图像梯度的统计特性和变分贝叶斯估计方法对由相机抖动所造成的模糊核进行了准确的估计，然后再利用Richardson-Lucy(RL)算法和估计的BK对模糊图像进行复原。但是因为RL算法的引入，导致该方法最终得到的复原图像会出现一定程度的振铃瑕疵。2008年，Shan等人[2]提出了一种连续的分段函数来近似自然图像梯度的严重拖尾分布，同时对BK进行了像素值强度的L1范数的稀疏性约束。该方法利用幅值较大的图像边缘对BK进行估计，并随着迭代的进行再逐渐丰富图像的边缘细节。2009年，Cho等人[3]利用双边滤波器，Shock滤波器和梯度阈值法直接提取出图像中幅值较大的强壮边缘，然后仅利用提取的强壮边缘对BK进行估计。2011年，Krishnan等人[4]提出了一种L1/L2的图像正则化约束项。该方法利用前一次迭代得到的复原图像的梯度的L2范数来作为L1范数的权重。2012年，Li等人[5]将分裂的布雷格曼迭代方法引入到了对BK的估计中，提出了一种扩展的分裂布雷格曼盲复原方法。在我们前期的研究成果中，提出了一种稀疏平滑特性的多正则化混合约束图像盲复原方法[6]。该方法很好地融合了BK的稀疏性和连续平滑特性，不仅能够估计出更加准确的BK，而且还能够很好地适用于多种不同类型的模糊。2010年，Xu等人[7]的研究发现，实际上，BK的估计结果与图像中边缘的尺度有着更加密切的联系：只有当图像中边缘的尺度大于BK的尺度时，这样的边缘才更有利于BK的估计(图像边缘的尺度即是指图像中边缘的宽度，而BK的尺度即是指BK的支持域的宽度)。2013年，Xu等人[8]提出了一种L0的稀疏表示方法来实现模糊图像的盲复原。但是L0的稀疏表示是根据图像边缘幅值的大小而定，因此该方法主要利用图像中幅值较大的边缘来实现对BK的估计。2013年，Patil等人[9]提出了一种基于Canny边缘检测的图像盲复原方法。虽然该方法在测试库图像上具有一定的复原效果，但是它却并不适用于实际的模糊图像。2014年，Ohkoshi等人[10]提出了一种结合全变差(Total Variation, TV)模型和Shock滤波器的图像盲复原方法。因为该方法只利用了TV模型来移除图像中的纹理成分，因此，该方法仍然是基于幅度值的大小来提取图像边缘。2014年，Oliveira等人[11]基于模糊图像的频谱，提出了一种针对匀速直线运动模糊图像的盲复原方法。但是该方法只能适用于简单的匀速直线运动模糊图像，而不能适用于不规则的复杂运动模糊图像。

由以上的分析可知，现有的方法主要存在两方面的缺陷：一方面，在BK的估计阶段，几乎都是根据图像边缘的幅值而非图像边缘的尺度来进行BK的估计[2,3,7,8]。因此，现有的方法并不能真正实现对BK的准确估计(在本论文中，将尺度大于BK尺度的图像边缘称之为有利的图像边缘；反之，将尺度小于BK尺度的图像边缘称之为有害的图像边缘)。另一方面，在图像的复原阶段，现有方法针对图像复原所提出的代价函数在面对过大尺度的BK时并不能复原出高质量的清晰图像[2,4−8]。

针对现有方法存在的两方面缺陷，本文提出了一种多正则化混合约束的模糊图像盲复原方法。为了实现更加准确的BK估计，本论文首先利用一种图像的局部结构提取策略[12](Local Structure Extraction Scheme, LSES)将有利的图像边缘准确地提取出来，并将提取的有利边缘与我们前期研究中所提出的一种结合稀疏性和平滑特性的双重正则化约束模型相结合[6]，实现了对BK更加准确的估计。接下来，在图像的复原阶段，本论文提出了一种结合TV模型和Shock滤波器不变特性[13]的多正则化约束模型，克服了现有方法中存在的不能复原出高质量清晰图像的问题。大量的实验结果证明，与近几年的一些较为成功的图像盲复原方法相比，不仅主观的视觉效果得到了明显的改进，而且客观的评价指标也得到了明显的增加。

2 提出的盲复原方法

其中，f为观察到的大小为M×N的模糊噪声图像，k为未知的模糊核(BK), u为原始的大小为M×N的清晰图像，n为零均值的加性高斯噪声，∗表示卷积运算。本文提出的模糊图像盲复原方法采用了图像盲复原领域通用的一种从粗到精的多层图像金字塔策略。由粗到精的多层图像金字塔策略能够有效地避免局部最优化解的产生，保证得到的解趋近于全局最优化，尤其是在模糊程度较为严重的大尺度BK的情况下，该策略的优势就尤为明显[1−3]。该策略的主要思想是：首先，利用双线性下采样对模糊噪声图像f建立多层图像金字塔，下采样因子为2；然后在图像金字塔的每个分辨率层都循环地执行以下3个步骤(每层的循环次数均为7次)：(1)有利的图像边缘的提取和锐化(Favorable Image Edges Extraction and Sharpening, FIEES)；(2)BK的估计(Blur Kernel Estimation, BKE)；(3)原始清晰图像的复原(Image Restoration, IR)。接下来本文将分别对FIEES, BKE和IR进行详细的介绍。

2.1 有利边缘的提取和锐化

图像的模糊退化模型可由式(1)表示：

为了能够真正准确地提取出有利的图像边缘，在步骤FIEES中，本文首先利用LSES逐局部地对图像进行有利边缘的提取操作。LSES是一种图像编辑方法，它首先定义一个窗口，然后提出了一种相对全变差的测量方法对一幅图像进行局部窗口的操作。LSES可以将宽度大于窗口宽度的图像边缘准确地提取出来，是一种基于图像边缘的尺度而非幅值的图像边缘提取方法。因此我们想到：只要将图像窗口的宽度设置为等于或略大于BK支持域的宽度，就可以利用LSES将图像中所有的有利边缘准确地提取出来。在本文方法中，假设BK支持域的宽度是已知的。在得到了一幅只含有有利边缘的图像之后，再利用复数的Shock滤波器[14](Complex Shock Filter, CSF)对提取的有利边缘进行进一步的锐化，从而一幅锐化的有利边缘图像将被运用到对BK的估计中。

2.2 模糊核的估计

为了进一步促进BK的准确估计，在我们前期研究的基础上，本论文对BK进行了稀疏平滑的双重正则化约束[6]。本文提出的针对BK估计的双重正则化约束的代价函数为

2.3 清晰图像的复原糊的复原图像，最极端的情况则是u=f，即得到的复原图像完全没有任何的去模糊效果。为了有效地克服这一问题，本文利用Shock滤波器的不变特性[13]，提出了一种针对复原图像的新的正则化约束项：

正如引言中所讨论的，如果只利用全变差模型来对复原图像进行正则化约束，则会倾向于得到模

其中，μ为正则化参数，u*表示真实的原始清晰图像，SF(u*)表示对u*进行Shock滤波处理。由Shock滤波器的不变特性可知，如果u接近u*，那么u中就会包含正确的，锐化的图像边缘，那么就会很小[13]；相反，模糊的，有瑕疵的u就会产生出错误的图像边缘，从而导致较大。因此，最小化会得到正确的清晰锐化图像。由此可见，本文提出的正则化约束项式(3)能够很好地补偿全变差模型中出现的模糊效应，有效地克服了现有方法中存在的不能复原出高质量清晰图像的问题。结合式(3)和全变差模型，本文提出的针对图像复原的多正则化约束的代价函数为

因为真实的原始清晰图像u*无法得到，因此本文采用在第m−1次迭代中所得到的um−1来近似u*。

3 本文方法的求解

3.1 半二次性的变量分裂策略

本节将利用一种半二次性的变量分裂策略[2]对提出的模型进行最优化求解。引入两个约束项：b1=k和b2=∇u，那么本文提出的模型式(2)和模型式(4)将分别转化成两个非约束的最优化问题：

接下来，将采用一种交互式的迭代方法来对式(5)和式(6)进行求解：

(1)固定u和b1，求解k： 首先将式(5)表示为矩阵与向量相乘的形式：

然后利用矩阵和向量的求导运算，在式(7)中求关于模糊核k的导数，并令该导数为0，可得

其中，F(·)和F−1(·)分别表示快速傅里叶变换和逆变换，F*(·)表F(·)的复共轭，°表示逐元素相乘。

(2)固定k和b2，求解u：类似于k的求解，同样利用快速傅里叶变换，可以得到

对于变量b1和b2的更新问题，本文采用了一种广义的收缩方法来对变量b1和b2进行更新：

3.2 时间复杂度分析

本文方法采用了一种从粗到精的多层图像金字塔策略，假设在第l层图像的大小为Ml×Nl，那么本文方法的时间复杂度为

其中，nk为估计BK时所需的循环次数，nu为图像复原时所需的循环次数，L为图像金字塔的层数。

4 实验结果及分析

为了验证本文方法的有效性，在实验结果及分析部分，本文分别在人造的模糊图像和真实的模糊图像上进行了大量的实验。所有的方法均是在Windows7的操作系统上运行的，仿真软件为Matlab7.0版本。

4.1 人造模糊图像的实验

在人造模糊图像的实验中，本文采用了6种不同的模糊核(图1)和3幅255×255大小的灰度级标准测试库图像(图2)，一共可产生18幅人造的模糊图像来模拟实际应用中存在的真实模糊情况。

在人造模糊图像的实验中，本文方法将分别与文献[4]和文献[8]中的方法进行比较。本文对所有的18幅人造模糊图像均进行了比较实验，但是因为篇幅的原因，本节只给出了测试图像Face和其中一种模糊核的人造模糊图像的主观比较实验结果，见图3。如图3所示，文献[4]中的方法所估计的BK会产生出类似拖尾的瑕疵，同时该方法所得到的复原图像也并没有达到较好的去模糊效果(图3(b))。与文献[4]相比，虽然文献[8]中的方法能够得到更好的结果，但是它们所估计的BK仍然具有较多的瑕疵，因此仍然不能得到具有较高质量的复原图像(图3(c)：具有一定程度的振铃瑕疵并且像素值明显偏暗)。相比之下，本文方法所估计的BK(图3(d)的右下角)最接近真实的BK(图3(a)的右下角)，并且能够得到最高质量的复原图像(图3(d))。图4证明了在人造的模糊图像中，本文方法能够得到最好的主观视觉效果。

表1从客观的评价指标方面对3种方法进行了比较。表1所示为3种方法在所有人造模糊图像的实验中所需的平均运行时间和逆卷积错误比率值[8](Ratio Between Deconvolution Error, RBDE)。文献[8]已经证明只有当RBDE＜2时，得到的复原图像的质量才可以接受[8]。表1列出了3种方法在所有的18幅人造模糊图像的盲复原实验中，满足RBDE＜2的所有复原图像所占的百分比和3种方法各自的平均运行时间。如表1所示，本文方法明显优于其余的两种盲复原方法，在RBDE＜2的情况下达到了最高的98.87%。在运行时间方面，本文方法所需的运行时间远小于文献[4]中的方法，而仅略大于文献[8]中的方法。因此相对于文献[8]而言，本文方法只花费了较少的时间代价，却换来了较大的性能的提升；而相比于文献[4]，本文方法则远远优于文献[4]中的方法。

4.2 真实模糊图像的实验

图1 模糊核BKs

图2 3幅灰度级标准测试图像

图3 3种方法在人造模糊图像中的比较试验

表1 3种方法在18幅人造模糊图像的实验中所需的平均运行时间(s)和RBDE＜2的复原图像的统计百分比

图4 真实模糊图像“Tree”的盲复原结果

为了进一步验证本文方法的性能，在本节中，本文方法将被运用到真实模糊图像的盲复原中，并与文献[4]和文献[8]中的方法进行比较。

图4(a)为一幅大小为454×588的真实模糊图像(“Tree”)，估计的BK的支持域被设定为35×35个像素。如图4所示，在BK的估计方面，文献[4]和文献[8]所估计的BK均含有或多或少的瑕疵。而在模糊图像的复原方面，文献[4]和文献[8]会产生过度平滑的复原图像(图4(b)和图4(c))。相比之下，本文方法不仅能够估计出最准确的BK，而且还能在有效抑制其它方法瑕疵的同时复原出更多的图像边缘细节，得到高质量的清晰复原图像(图4(d))。

图5所示为大尺度BK的真实模糊图像示例。在图5中，真实模糊图像的大小为685×561 (“Toy”)，对应的估计BK的支持域被设定为95×95个像素。针对大尺度BK的真实模糊图像而言，文献[4]不能估计出正确的BK，从而导致该方法得到的复原图像总是会出现严重的瑕疵(图5(b))。文献[8]似乎能够估计出较为合理的BK，但是在复原图像方面，该方法仍然会引入过多的振铃瑕疵(图5(c))。相比之下，本文方法不仅能够合理的估计出准确地BK，而且还能在有效抑制其它方法中存在的各种瑕疵的同时得到更加清晰的高质量复原图像(图5(d))。图4和图5证明了针对真实的模糊图像，本文方法也能得到最好的主观视觉效果。

5 结束语

本文针对现有方法存在的缺陷，提出了一种多正则化混合约束的模糊图像盲复原方法。首先，在模糊核的估计阶段，利用LSES和CSF实现了对有利图像边缘的准确提取和锐化，并与前期研究中所提出的一种稀疏平滑的双重正则化约束模型相结合，实现了对BK的准确估计。然后，在模糊图像的复原阶段，利用Shock滤波器的不变特性，提出了一种结合全变差模型和Shock滤波器不变特性的多正则化约束模型来强制得到的解趋向于清晰的锐化图像。

分别在人造的模糊图像和真实的模糊图像上进行了大量的实验，实验结果证明了本文方法的可行性和有效性，且与近几年的一些较为成功的模糊图像盲复原方法相比，主观的视觉效果和客观的评价指标均得到了明显的提升。将本文方法运用到对模糊视频序列的清晰化复原和对空间变化的模糊核的准确估计是接下来研究工作的重点。

图5 真实模糊图像“Toy”的盲复原结果

[1] Fergus R, Singh B, Hertzmann A, et al.. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(3): 787-794.

[2] Shan Q, Jia J, and Agarwala A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3): 73:1-73:10.

[3] Cho S and Lee S. Fast motion deblurring[J]. ACM Transactions on Graphics, 2009, 28(5): 145:1-145:8.

[4] Krishnan D, Tay T, and Fergus R. Blind Deconvolution using a normalized sparsity measure[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, 2011: 233-240.

[5] Li W H, Li Q L, Gong W G, et al.. Total variation blind deconvolution employing split Bregman iteration[J]. ELSEVIER Journal of Visual Communication and Image Representation, 2012, 23(3): 409-417.

[6] 唐述, 龚卫国, 仲建华. 稀疏平滑特性的多正则化约束图像盲复原方法[J]. 软件学报, 2013, 24(5): 1143-1154. Tang Shu, Gong Wei-guo, and Zhong Jian-hua. Sparsity and smoothing multi-regularization constraints for blind image deblurring[J]. Journal of Software, 2013, 24(5): 1143-1154.

[7] Xu L and Jia J. Two-phase kernel estimation for robust motion deblurring[C]. The 11th European Conference on Computer Vision (ECCV), Crete, 2010(6311): 157-170.

[8] Xu L, Zheng S C, and Jia J. Unnatural L0 sparse representation for natural image deblurring[C]. IEEE Conference on Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Portland, 2013: 1107-1114.

[9] Patil P and Wagh R B. Implementation of restoration of blurred image using blind deconvolution algorithm[C]. Tenth International Conference on Wireless and Optical Communications Networks (WOCN), Bhopal, 2013: 1-5.

[10] Ohkoshi K, Sawada M, Goto T, et al.. Blind image restoration based on total variation regularization and shock filter for blurred image[C]. IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, 2014: 217-218.

[11] Oliveira J P, Figueiredo M A T, and Bioucas D J M. Parametric blur estimation for blind restoration of natural image: linear motion and out-of-focus[J]. IEEE Transactions on Image Processing, 2014, 23(1): 466-477.

[12] Xu L, Yan Q, Xia Y, et al.. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): 139:1-139:10.

[13] Xu L and Jia J. Depth-aware motion deblurring[C]. IEEE International Conference on Computational Photography (ICCP), Seattle, 2012: 1-8.

[14] Gilboa G, Sochen N A, and Zeevi Y Y. Regularized shock filters and complex diffusion[C]. 7th European Conference on Computer Vision (ECCV), Copenhagen, 2002(2350): 399-413.

唐 述： 男，1981年生，博士，讲师，研究方向为信息获取与处理、图像处理等.

谢显中： 男，1966年生，博士，教授，研究方向为无线通信技术、通信应用软件等.

Multi-regularization Hybrid Constraints Method for Blind Image Restoration

Tang Shu Xie Xian-zhong
(Chongqing Key Laboratory of Computer Network and Communications Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

Image restoration is a long-standing and challenging inverse issue. In order to recover an image from its blurry version blindly, a multi-regularization hybrid constraints method is proposed. First, the large scale edges are extracted from the image with a Local Structure Extraction Scheme (LSES). Then, in the Blur Kernel (BK) estimation step, the extracted large scale edges are used for BK estimation, and a sparsity and smoothness dual-regularization constraints model proposed in the previous study, is also employed for estimating BK more accurately. In the image restoration step, a multi-regularization constraints model, which combines the Total Variation (TV) model and Shock filtering invariance, is proposed for obtaining high-quality restoration image. Finally, in order to exactly estimate the BK and simultaneously obtain high-quality restoration image, the proposed models are addressed with a half-quadratic variables splitting scheme. A large number of experiments are performed on both synthetic blurred images and real-life blurred images. The experimental results demonstrate the effectiveness of the proposed method, while in comparison with several recent representative image blind restoration methods, not only the subjective vision, but also the objective numerical measurement has obvious improvement.

Blind image restoration; Multi-regularization hybrid constraints; Local Structure Extraction Scheme (LSES); Total Variation (TV) model; Shock filtering invariance

TN911.73

： A

：1009-5896(2015)04-0770-07

10.11999/JEIT140949

2014-07-07收到，2014-12-09改回

国家自然科学基金(61271259, 61301123)，重庆市自然科学基金(CTSC2011jjA40006)，重庆市教委科学技术研究项目(KJ120501, KJ120502, KJ110530)，重庆邮电大学青年科学研究项目和重庆邮电大学科研基金项目(A2014-10)资助课题

*通信作者：唐述 tangshujay@163.com