快速非均匀模糊图像的盲复原模型

程俊廷，左旺孟

(1.黑龙江科技大学 机械工程学院，哈尔滨 150022；2.哈尔滨工业大学 计算机科学与技术学院，哈尔滨 150001)

快速非均匀模糊图像的盲复原模型

程俊廷1，左旺孟2

(1.黑龙江科技大学 机械工程学院，哈尔滨 150022；2.哈尔滨工业大学 计算机科学与技术学院，哈尔滨 150001)

针对目前非均匀模糊图像盲复原算法在复原效果、计算和存储复杂性以及自动化程度方面存在的问题和不足，研究基于广义可加卷积模型的非均匀模糊计算方法，建立改善估计准确度或增强复原图像视觉质量为目标的图像先验模型，并改进模型的复原效果和效率。结果表明：非均匀模糊图像盲复原算法可有效复原出模糊图像。与传统算法相比，该算法复原效率较高，具有一定的实用价值。

图像盲复原；去模糊；退化图像；稀疏建模

0 引 言

成像技术的局限性、环境的复杂性、场景的三维特性、目标的动态性和非配合性等诸多因素都会导致获取的图像为有强噪声、低品质和失真等特性的退化图像。图像模糊是一种典型的图像退化形式，焦距、相机抖动、感知目标的运动等因素都会造成图像模糊，导致系统性能急剧下降[1]。研究模糊图像的复原问题，即图像去模糊[2]，从人观察的角度来说将有助于提升图像的视觉质量；从系统的角度来说将有助于改善系统的稳健性，因而有着重要的理论价值和应用意义。

早期的模糊图像复原研究往往假设退化模型已知，主要集中在数学模型和算法方面。而实际上，模糊图像的盲复原是一个更加严重的不适定问题和更具挑战的实际问题。Fergus等[3]研究了图像的先验模型，提出了一个均匀模糊图像的盲复原方法。其他学者随后研究发现实际的模糊图像往往是非均匀模糊，并针对相机抖动提出了若干个退化模型[4-5]。非均匀的运动模糊、图像散焦模糊图像复原问题也得到了一定程度的关注[6-7]。

虽然模糊图像的盲复原研究取得了一定进展并在实用化道路上迈出了很大一步，但仍然存在许多亟待解决的问题：(1)复原图像品质不高。主流的复原指标是最小均方差(MSE)和峰值信噪比(PSNR)，而图像品质评价(IQA)的研究表明小MSE值和高PSNR值并不能保证复原结果的高品质[8]。(2)计算复杂性过高。为了复原一幅512像素×512像素的非均匀模糊图像，目前最快的算法在普通PC上仍需要10 min[9]，Gupta等[5]和Hu等[9]的算法则需要8～16 GB的内存。显然，如此之高的计算和内存复杂性，使得目前的算法仍然只能停留在研究阶段，很难真正应用于相机、计算机和视觉分析系统。(3)自动化程度不高，待调节参数过多。虽然能够估计出均匀或非均匀模糊模型的参数，但目前的盲复原模型中仍然包含一定的超参数，需要用户根据经验或结果来设定和调整。

针对上述问题，笔者以相机抖动造成的非均匀模糊为例，深入分析其特点，建立高效的非均匀模糊计算模型；针对模糊模型估计和非盲图像复原问题，在稀疏和低秩模型的基础上引入新的图像先验，借鉴IQA前沿成果，研究改善复原效果的有效途径。

1 模型建立

1.1 非均匀模糊建模

用一组滤波器和清晰图像卷积的广义线性加进行非均匀模糊建模，即采用如下形式的广义可加卷积模型:

其中，x是清晰图像，ki是第i个基滤波器，fi和gi为任意的线性变换。根据具体的非均匀模糊的类型，设定具体的fi和gi，从而实现非均匀模糊的快速计算。例如，对于散焦模糊，令gi(x)=x，fi(x)=wi∘ x，其中“∘ ”表示点乘算子，则散焦模糊模型可以表示为

其中，wi和ki可以利用主成分分析(PCA)预先计算出来，因此这一模型可称为可加卷积模型。通过将fi和gi设定为旋转或极坐标变换算子，进一步将相机抖动模糊建模为广义可加卷积模型。旋转角度一定时，不同平移作用下的相机抖动模糊可以表示为

其中，Rθ表示角度为θ的旋转操作，kti表示大小为t的平移操作。据此，将相机抖动模糊建模为

Kx=ΣθRθ(kSθ⊗x)。

类似地，通过定义hPT(·)和hIPT(·)为极坐标变换和逆极坐标变换，平移一定时，不同旋转角度下的相机抖动模糊可以表示为

相机抖动模糊因而可以建模为

Kx=ΣthIPT(wt⊗hPT(Ktx))。

1.2 图像先验建模

为了避免陷入局部最优，目前通用的方法是在模糊模型估计阶段和非盲图像复原阶段使用不同的图像先验模型。不同于通用方法，采用从模糊模型估计阶段的图像先验模型到非盲图像复原阶段的图像先验模型的渐进过渡策略，从而将模型估计和非盲图像复原纳入到一个统一的框架下。例如，以超拉普拉斯(Lp)稀疏梯度先验为例，在盲复原初级阶段采用较小的p范数，然后在迭代过程中逐渐增加p值直到自然图像统计中的最优p值范围，即0.5

1.3 非均匀模糊图像复原模型

非均匀模糊图像的复原包括退化算子A估计和高品质图像复原。当然，可以简单地使用最大化后验概率框架(MA,x)来同时估计退化算子和高品质图像。然而，MA,x框架往往是不可行的。因此，目前的做法是首先估计退化算子，然后再进行非盲复原。

针对退化算子估计，重点探索两种模型：

(1) MA框架

假设MA,x框架的损失函数是L(A,x)，采用如下的退化算子估计模型：

{A}=argminA∫L(A,x)dx。

(2)结合特定图像先验的MA,x模型

近年来研究发现，通过在MA,x框架使用特定的图像先验模型，也能较好地估计退化算子。此外，在MA,x框架下引入双通滤波和冲击滤波器，同样能够用于估计退化算子。因此,沿着这个思路进行探索，并结合理论推导和实验验证来揭示MA,x模型和MA模型的等价性。

最后，在给定A的情况下，结合图像先验模型方面的研究成果Ψ(x)，利用标准的Mx框架进行非均匀模糊图像复原：

2 实验结果与分析

文中提出可加卷积模型(ACM)将非均匀模糊图像表示为一系列基础滤波器与清晰图像卷积结果的空间变化加权和：

表1 ACM与SBM方法复原模糊图像的计算效率Table 1 Computational efficiency of restcration blurred image with ACM and SBM

a 抖动图像及复原结果

b 散焦图像及复原结果

c 基础滤波器数量的优化

图2为基于广义可加卷积模型的相机抖动模糊盲复原效果。由图2可知，文中算法实现了基于广义可加卷积模型的相机抖动模糊盲复原，能够对真实的相机抖动图像取得满意的复原结果。在相同图像环境下，通过多次分别运行文中算法、Whyte等、Gupta等、Hu & Yang算法，通过软件计时器计时，得到文中算法的平均速度分别是Whyte等、Gupta等、Hu & Yang算法的100.0、8.0和2.5倍。同时，所需内存平均仅为Gupta等、Hu & Yang的方法的1/5。

3 结束语

在实际成像过程中，散焦、相机抖动和运动模糊等因素都会造成图像的非均匀模糊，进而导致图像视觉品质和计算机视觉系统性能的急剧下降。针对日益受到广泛关注的非均匀模糊图像复原问题，笔者研究基于广义可加卷积模型的非均匀模糊算法，采用图像先验模型改善模糊模型估计准确度或增强复原图像视觉质量，并进行实验验证。结果表明，文中算法提高了模糊图像盲复原的复原效果和效率，其速度分别是Whyte等、Gupta等、Hu & Yang算法的100.0、8.0和2.5倍，所需内存仅为Gupta等、Hu & Yang方法的1/5。在今后的研究中，将进一步从图像先验模型、自适应参数估计和优化算法等方面深入研究。

[1] Gopalan R,Taheri S,Turaga P,et al.A blur-robust descriptor with applications to face recognition[J].IEEE Trans Pattern Analysis and Machine Intelligence,2012，34(6): 1220-1226.

[2] Biemond J,Lagendijk R L,Mersereau R M.Iterative methods for image dDeblurring[J].Proc IEEE,1990,78: 856-883.

[3] Fergus R,Singh B,Hertzmann A,et al.Removing camera shake from a single photograph[J].Acm Transactions on Graphics,2006,25(5): 787-794.

[4] Whyte O,Sivic J,Zisserman A，et al.Non-uniform deblurring for shaken images[J].Int J Comput Vis,2012,98(2): 168-186.

[5] Gupta A,Joshi N,Zitnick C L,et al.Single image deblurring using motion density functions[J].Proc Europ Conf Comput Vis,2010,63(11),171-184.

[6] Zheng S,Xu L,Jia J.Forward motion dDeblurring[C]//Proceedings of ICCV,Sydney: IEEE,2013: 1465-1472.

[7] Zhu X,Cohen S,Schiller S,et al.Estimating spatially varying defocus blur from a single image[J].IEEE Trans on Image Processing,2013,22(12): 4879-4891.

[8] Wang Z,Bovik A C.Mean squared error: love it or leave it-a new look at signal fidelity measures[J].IEEE Signal Processing Magazine,2009,26(1): 98-117.

[9] Hu Z,Yang M H.Fast non-uniform deblurring using constrained camera pose subspace[J].Proc British Mach Vis Conf,2012,13(6): 1-11 .

(编校 王 冬)

Fast blind deblurring models for restoration of non-uniform blur images

ChengJunting1,ZuoWangmeng2

(1.School of Mechanical Engineering,Heilongjiang University of Science & Technology,Harbin 150022,China;2.School of Computer Science & Technology,Harbin Institute of Technology,Harbin 150001,China)

This paper follows from the need for addressing the problems with the existing non-uniform image deblurring methods in terms of restoration quality,computational and memory complexity,and automatic parameter selection.The study provides a novel model for improving the restoration quality and reducing computational and memory complexity; enhancing the computational efficiency for non-uniform blurring,using the generalized additive convolution model; and developing novel image prior models for enhancing image visual quality.The results demonstrate that the non-uniform blurred image blind restoration algorithm enables a more effective restoration of the blurred image and provides a higher restoration efficiency than the traditional algorithm.

image blind restoration; deblurring; degradation image; sparse modeling

2017-02-23

程俊廷(1973-)，男，内蒙古自治区凉城人，教授，博士，研究方向：计算机视觉、图像处理、增材制造，E-mail：chengjunting@163.com。

10.3969/j.issn.2095-7262.2017.02.021

TP391

2095-7262(2017)02-0196-04

A