结合各向异性扩散和高阶扩散的视频盲去模糊复原方法

张乐平

(怀宁县委党校，安徽 安庆 246121)

结合各向异性扩散和高阶扩散的视频盲去模糊复原方法

张乐平

(怀宁县委党校，安徽 安庆 246121)

为了能够有效的去除模糊，得到高质量的视频图像，提出了一种结合各向异性扩散和高阶扩散的视频盲去模糊方法.利用基于全变差的各向异性扩散和shock滤波器来准确提取模糊视频中每幅模糊图像帧的大尺度边缘，并利用提取的大尺度边缘，结合稀疏性约束来对模糊退化函数进行准确的估计；在模糊视频图像的复原阶段，为了保证连续的视频图像帧之间的时间一致性，在视频的时间轴上，提出了一种基于高阶扩散的连续性正则化约束项，以在时间上对连续的视频图像帧进行较好的一致性约束.提出的方法能够在较好复原模糊视频的同时有效地抑制复原视频中的振铃瑕疵，同时进一步增强复原视频中的时间一致性.

模糊视频盲复原；各向异性扩散；模糊退化函数；高阶扩散；时间连续性

引言

与模糊图像的盲复原相比，模糊视频的盲复原是一个更加具有挑战性的病态逆问题，而模糊视频复原的目的也是从观察到的模糊视频中复原出原始的清晰视频画面.与图像模糊的原理一样，造成视频模糊的原因仍然是模糊退化函数(Blur Degeneration Function：BDF)，且根据BDF是否已知，模糊视频的复原可以分为模糊视频的非盲复原和模糊视频的盲复原两大类.在模糊视频的非盲复原方面，2011年，Chan等人提出了一种模糊视频的非盲复原方法，该方法将全变差模型引入到模糊视频的复原中，提出了一种增广拉格朗日式方法来对该全变差模型进行求解[6].同年，Takeda等人提出了一种结合时间和空间的方法来有效复原由运动模糊所造成的模糊视频图像[7].在现实生活中，由于拍摄条件和外在环境等众多原因的影响，有可能导致一段视频中一部分的视频图像帧是模糊的，而其余的视频图像是清晰的，因此，在模糊视频的盲复原方面，Lee等人于2013年提出了一种利用视频中清晰的图像帧来复原模糊的图像帧的模糊视频盲复原方法.Lee等人根据视频图像帧的归一化边缘能量测量来探测一段视频中的模糊视频图像帧，然后再利用该模糊视频图像帧附近的清晰视频图像帧来对该模糊视频图像帧进行有效的复原[8].2012年，Cho等人同样利用视频中的清晰图像帧，并结合基于图像块的合成，提出了一种适用于手持摄像机的模糊视频盲复原方法[9].为了有效解决在拍摄时，由于被拍摄物体的三维旋转运动所造成的视频中的运动模糊，2012年，Deng等人利用极坐标来模拟向平面内的旋转运动，提出了一种有效的去除平面内旋转模糊的模糊视频盲复原方法[10].

由以上的分析可知，针对现有的一些具有代表性的模糊视频复原方法而言，模糊视频的非盲复原方法考虑了整段模糊视频的去模糊问题，但是在非盲的方法中，却假设BDF是已知的.对于模糊视频的盲复原而言，现有的盲复原方法要么是利用视频中的清晰图像帧来对视频中的模糊图像帧进行复原[8, 9]，要么只研究了视频中前景物体的去模糊问题[10]，而没有考虑整段视频中所有的视频图像帧，包括前景物体和背景场景都存在模糊时的盲复原问题.

因此，针对现有方法存在的缺陷，本文提出一种针对整段模糊视频的基于时间一致性的模糊视频盲复原方法.因为视频在拍摄的过程中摄像机的运动是随机的，且被拍摄的场景是随着时间变化的，因此，当整段视频都出现模糊时，其中的每一幅模糊的视频图像帧的BDF并不是完全相同的.针对模糊视频的这一特点，本文提出的方法将分为两个阶段：BDF的估计阶段和模糊视频图像帧的复原阶段.在BDF的估计阶段中，提出一种基于各向异性扩散[11]和shock滤波器[12]的BDF估计方法来对BDF进行准确的估计；在模糊视频图像帧的复原阶段，提出一种三维立体的时间掩膜，在有效复原出每一幅原始的清晰视频图像帧的基础上，保证复原视频中帧与帧之间的时间一致性，得到更高质量的复原视频.大量的实验结果表明本文所提出的方法能够很好的复原整段模糊视频，且较近几年的一些具有代表性的模糊视频盲复原方法相比，在主观的视觉效果和客观的评价指标方面均有显著的提升.

1 提出的模糊视频盲复原方法

1.1 模糊视频帧的BDF估计

当整段视频都出现模糊时，其中的每一幅模糊的视频图像帧的BDF并不是完全相同的，因此在BDF的估计阶段本文将对每幅模糊视频图像帧各自的BDF分别进行估计.

视频图像帧的模糊退化模型可用如下的数学模型进行表示：

g=k*L+n

(1)

其中，g为观察到的模糊噪声图像，大小为M×N，k为已知的BDF，L为原始的清晰图像，n为零均值、方差为σ2的加性高斯噪声，*表示卷积运算.BDF估计阶段的目的就是在仅仅已知g的情况下，准确地估计出k.2010年，Xu等人发现大尺度的物体边缘能够估计出更加准确的BDF[13].因此，在BDF的估计阶段，利用一种各向异性扩散的结构提取策略和shock滤波器来准确提取每幅模糊视频图像帧中的大尺度边缘，然后仅利用提取的大尺度边缘对BDF的准确估计.因此，在BDF的估计阶段，提出BDF估计数学模型：

(2)

如公式(2)所示，对BDF的估计是一个二次性L2范数的最优化问题，因此，对公式(2)求解关于k的导数，并利用快速的傅里叶变换可以得到：

(3)

为了得到具有物理意义的解，在每一次迭代中，还采用图像盲复原方法中通用的一类约束条件对估计的BDF进行约束：

(4)

其中，(i,j)表示图像中像素点的坐标，max(km+1)表示求取km+1中数值最大的元素，P和Q表示k的大小.

1.2 模糊视频的复原

其在模糊视频的复原阶段，为了有效抑制噪声和振铃瑕疵，首先利用图像的一阶梯度和二阶梯度信息；其次，为了保证复原视频中帧与帧之间的时间一致性，提出一种立体的三维时间掩膜来对复原视频中图像帧之间的时间一致性进行有效的正则化约束.模糊视频图像帧复原的数学模型为：

(5)

(6)

由公式(6)可知，本文提出的三维立体时间掩膜▽T将每个视频图像帧与该帧之前和之后的两个相邻帧联系到了一起，通过最小化它们之间的内容差异性(公式(5))来保证相邻帧在时间上的一致性.为了求解公式(5)，将公式(5)的最后两项结合到一起，得到：

(7)

(8)

1)固定L，求解u，得到：

(9)

由u=▽∧L可知，辅助变量u由ux，uy和uT三部分组成，因此利用shrinkage函数来对变量u的每一部分进行求解：

(10)

2)固定u，求解L，得到：

(11)

由公式(11)可知，关于L的求解只涉及到二次性的L2范数，因此，对公式(11)求解关于L的导数，并利用快速的傅里叶变换得到：

(12)

为了得到具有物理意义的解，在每一次迭代中，还将对求解的复原视频图像帧进行非负的约束：

(13)

在提出的方法中，利用观察到的模糊视频图像帧的最低分辨率层作为最初的L来初始化整个算法，将其代入到公式(2)中，开始对BDF的估计；然后估计出k的又将被代入到公式(5)用于模糊视频图像帧的复原.如此循环，直到得到满意的复原结果为止.

2 实验结果及分析

2.1 实验环境的配置

在实验结果及分析部分一共采用了两段模糊的视频(如图1所示为两段模糊视频中的第5帧图像)来验证所提方法的有效性.在两段模糊视频的实验中，提出方法的参数均被设置为：ω0=0.025，ωx=ωy=0.012 5，λ=1 200，α=40，ωxx=ωyy=ωxy=0.625，β=0.02，γ=0.1.当‖Lm+1-Lm‖2/‖Lm‖2<0.001时停止迭代，算法结束.

图1 实验中采用的两段模糊视频中的第5帧图像：(a)“text”视频；(b)“house”视频

由公式(9)和(12)可知，参数γ越大，每次迭代对变量u的更新就越少，从而导致复原图像L的更新速度就越慢,算法迭代次数增加.因此，为了在不影响算法性能的条件下尽可能的提高算法的效率，通过反复的实验得到，在本文所有实验中，对参数γ进行如下设置：γ=10λ.

2.2 提出方法的性能比较实验

对文中所提方法与近几年的一些具有代表性的模糊视频盲复原方法(文献[8]和文献[10])进行比较，以进一步验证本文所提出方法的性能.

图2所示为所有三种方法在“text”模糊视频实验中的复原结果.图2所示为“text”复原视频中帧复原图像(a)结果(所有方法估计的BDF和对应的复原图像帧).如图2所示，因为Lee等人提出的方法[8]是利用视频中存在的清晰图像帧来复原其余的模糊图像帧，而没有涉及到对BDF的估计，因此当整段视频都出现模糊时，该方法就无法找到合适的清晰图像帧来对模糊图像帧进行复原，因此Lee等人的方法在复原的图像帧中引入了严重的振铃瑕疵，且没有估计的BDF(图2(b)).Deng等人的方法[10]虽然不依赖于清晰的图像帧，但是却只考虑了前景物体出现模糊的情况，因此当视频中的背景同样也出现模糊时，虽然该方法估计的BDF与本文提出方法所估计的BDF相似，但是在复原视频图像帧方面，该方法也会引入少量的瑕疵(图2(c)).相比之下，本文提出的方法不仅实现了BDF的准确估计，同时还很好地保证了各个视频图像帧之间的时间一致性，本文提出的方法不仅能够估计出准确的BDF，同时还能够复原出最清晰的视频图像帧(图2(d)).

图2 所有三种方法在“text”模糊视频中的复原结果

图3所示为所有三种方法在“house”模糊视频实验中的复原结果.同样的，图3所示为“house”复原视频中帧复原图像(b)的结果.如图3所示，在“house”模糊视频中，文献[8]和文献[10]中的方法均不能得到令人满意的复原结果.不仅不能很好地去除模糊，而且还在复原图像帧中均引入了不同程度的边缘效应和振铃瑕疵，同时文献[10]中方法所估计的BDF也存在较为明显的瑕疵(图2(b)和图2(c)).相比之下，本文提出的方法不仅能够估计出最准确的BDF，而且还能够有效抑制边缘效应和振铃等瑕疵，同时保证视频图像帧之间的时间一致性，得到最清晰的视频图像帧.

图3 所有三种方法在“house”模糊视频中的复原结果

通过利用峰值信噪比(PeakSignal-to-NoiseRatio：PSNR)指标来客观评价本文提出方法的性能见表1.表1所示为所有三种方法在两段模糊视频实验中所得到的平均PSNR，即先计算出复原视频中每一幅复原图像帧的PSNR，然后再对其求取算数平均.如表1所示，较文献[8]和文献[10]相比，本文提出的方法在两段模糊视频的实验中均能得到最高的平均PSNR值，达到最好的视频复原效果.

表1 实验中所得到的平均PSNR (dB)值

3 结论

为了实现对模糊视频的清晰化盲复原，针对现有方法存在的缺陷，提出了一种针对整段模糊视频的基于时间一致性的模糊视频盲复原方法.所提方法主要由两部分组成：1)在BDF的估计阶段，首先采用各向异性扩散的图像结构提取策略和shock滤波器将模糊视频中的每幅模糊图像帧中的大尺度边缘准确地提取出来，然后仅利用提取的大尺度边缘对BDF进行准确的估计.2)在模糊视频的复原阶段，提出了一种立体的三维时间掩膜，在有效复原出每一幅原始的清晰视频图像帧的基础上，保证复原视频中帧与帧之间的时间一致性，同时有效的抑制了边缘效应和振铃等瑕疵，进而得到更高质量的复原视频.大量的实验结果表明本文提出的方法能够很好的复原整段模糊的视频，且较近几年的一些具有代表性的模糊视频盲复原方法相比，在主观的视觉效果和客观的评价指标方面均有显著的提升.

[1]R.Fergus,B.Singh,A.Hertzmann,S.T.Roweis,W.T.Freeman.Removingcamerashakefromasinglephotograph[J].ACMTransactionsonGraphics, 2006, 25 (3): 787-794.

[2]Q.Shan,J.Jia,A.Agarwala.High-qualitymotiondeblurringfromasingleimage[J].ACMTransactionsonGraphics, 2008, 27 (3): 73:1-73:10.

[3]M.S.C.Almeida,L.B.Almeida.Blindandsemi-blinddeblurringofnaturalimages[J].IEEETransactionsonImageProcessing, 2010, 19 (1): 36-52.

[4]D.Krishnan,T.Tay,R.Fergus.BlindDeconvolutionUsingaNormalizedSparsityMeasure[C].IEEEComputerVisionandPatternRecognition(CVPR), 2011: 233-240.

[5]J.F.Cai,H.Ji,C.Q.Liu,Z.W.Shen.Framelet-BasedBlindMotionDeblurringFromaSingleImage[J].IEEETransactionsonImageProcessing, 2012, 21 (2): 562-572.

[6]S.H.Chan,R.Khoshabeh,K.B.Gibson,P.E.GillandT.Q.Nguyen.AnaugmentedLagrangianmethodfortotalvariationvideorestoration[J].IEEETransactionsonImageProcessing, 2011, 20 (11): 3079-3111.

[7]H.TakedaandP.Milanfar.Removingmotionblurwithspace-timeprocessing[J].IEEETransactionsonImageProcessing, 2011, 20 (10): 2990-3000.

[8]D.Lee,S.C.Jeong,Y.LeeandB.C.Song.Avideodeblurringalgorithmusingaccurateblurkernelestimationandresidualdeconvolutionbasedonablurred-unblurredframepair[J].IEEETransactionsonImageProcessing, 2013, 22 (3): 926-940.

[9]S.Cho,J.WangandS.Lee.Videodeblurringforhand-heldcamerausingpatch-basedsynthesis[J].ACMTransactionsonGraphics, 2012, 31 (4): 64:1-64:9.

[10]X.Deng,Y.Shen,M.Song,D.Tao,J.BuandC.Chen.Video-basednon-uniformobjectmotionblurestimationanddeblurring[J].Neurocomputing, 2012, 86 (1): 170-178.

[11]P.PeronaandJ.Malik.Scale-spaceandedgedetectionusinganisotropicdiffusion[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1990, 12 (7): 629-639.

[12]G.Gilboa,N.A.Sochen,Y.Y.Zeevi.RegularizedShockFiltersandComplexDiffusion[C].The7thEuropeanConferenceonComputerVision(ECCV), 2002 (2350): 399-413.

[13]L.Xu,J.Jia.Two-PhaseKernelEstimationforRobustMotionDeblurring[C]. 11thEuropeanConferenceonComputerVision6133 (ECCV), 2010: 157-170.

A Video Blind Deblurring Method Based on Anisotropic Diffusion and High-order Diffusion

ZHANG Le-ping

(Huaining Party School, Anqing Anhui 246121, China)

In order to remove the blur and obtain the high quality restoration video, this paper proposes a blind video deblurring method which combines the anisotropic diffusion and high-order diffusion. This study uses the anisotropic diffusion based on total variation and shock filter to accurately extract the large scale edges of each fuzzy image frame in a fuzzy video, and uses the extracted edges to accurately estimate the fuzzy degradation function. In the restoration stage of fuzzy video image, the study proposes a continuity regularization constraints based on higher-order diffusion in order to guarantee the time consistency between continuous video frames base on the time axis of the video to carry out a better consistency constraint of continuous video frames in time. The proposed method can effectively restrain the ringing in video restoration while restoring the fuzzy video and further enhance the temporal consistency in the restored video.

blind restoration of fuzzy video; anisotropic diffusion; fuzzy degradation function; high-order diffusion; time continuity

1673-2103(2017)02-0026-07

2016-10-05

张乐平(1974-)，男，安徽安庆人，讲师，研究方向：计算机.

TN911.73

A