运动模糊车辆图像复原方法研究

史海玲，邱晓晖

(南京邮电大学 通信与信息工程学院，江苏 南京 210003)

运动模糊车辆图像复原方法研究

史海玲，邱晓晖

(南京邮电大学 通信与信息工程学院，江苏 南京 210003)

在获取车辆图像过程中，有很多因素会影响车辆图像的质量，如摄像机与车辆之间的相对运动引起的运动模糊，会导致车牌识别系统识别出来的车牌是错误的甚至识别不出车牌。根据运动模糊图像的特点，分析了运动模糊图像的退化模型，提出了基于改进的点扩散函数估计和全变分(TV)正则化的综合图像复原算法。利用改进的Radon变换法进行粗略计算，得到运动方向的近似解；通过双谱模型进行粗略计算，得到运动长度的近似解。得到上述两项结果后，通过TV正则化方法的应用，复原出模糊的图像，并采用梯度追踪算法求解该问题。从全方位的角度出发，对通过不同的方法得到的复原图像的质量进行评估。实验结果表明，经过优化的综合算法，不但能够提供较为准确的运动模糊参数，而且通过其复原出的车辆图像效果也是比较令人满意的。

运动模糊；点扩展函数；Radon变换；双谱模型；图像复原；TV正则化

0 引 言

对于智能交通系统领域而言，过去所发明的车牌识别技术基本上只能用于研究速度比较缓慢乃至于静止状态下被拍摄到的车辆图像，这样获得的车辆图像通常比较清晰。不过在具体生活中拍摄车辆图像时，如果以摄像机为参照物的话，车辆是处于运动状态的，并且曝光时间比较短暂，因此最终得到的图像基本上都是较为模糊的。从而给后续一系列的工作，比如车牌定位、字符区分和鉴定等工作带来不必要的麻烦，甚至产生错误或无法识别车牌。因此，在对车牌识别技术进行研究时，应该将模糊车辆图像复原当作一项重点进行分析[1]。

目前，运动模糊图像复原的方法主要包括两类[2]：系统点扩散函数(PSF)确定的图像非盲复原法(如差分复原法、约束最小二乘法、逆滤波复原法等)；系统点扩散函数尚未确定的图像盲复原法。在具体实践中，模糊图像的退化十分复杂，如果要彻底了解这一过程几乎是不可能的。因此相比而言，第二种方法在实践中有着更大的应用价值。从复原具体流程的角度来看，图像盲复原法包括两种：

(1)以模糊图像的特点为依据进行粗略计算，得到PSF的近似值，接着通过图像非盲复原法完成图像的复原。这种方法包含了两步，计算量并不大，不过若第一步得到的PSF值的误差过大的话，就会使得最终复原的图像存在严重的误差。

(2)把PSF的粗略计算和复原当做数学问题，在此基础上利用数值算法对该问题进行求解，最终获取复原图像。应用神经网络、遗传算法的方法，都属于此类方法。它们的共同点在于计算量大，应用过程更为复杂。

文中研究的是匀速直线运动造成的模糊车辆图像的复原问题，因此其对应的的模糊核应该是时空不变的。而且车辆作为一刚体，其区域内所有的点在模糊的过程中方向和长度都相同。所以采用盲复原方法的第一类方法来实现运动模糊车辆图像的复原，先估算出PSF，再运用非盲复原算法复原图像。在分析常见的图像复原方法存在的问题的基础上，首先利用改进的Radon变换法和双谱模型估算出运动模糊参数，然后根据估算得到的PSF，通过应用TV范数的正则化方法得到复原后的图像。

1 运动模糊图像的退化模型

在摄像机拍摄照片的过程中，考虑到二者之前并不是相对静止的，这一事实就会导致图像中的车辆目标不够清晰，这样的模糊现象即为运动模糊。主要成因是：

(1)成像系统的光敏原件和微处理器的处理速度在拍摄瞬间小于被拍摄车辆在那时刻运动的速度，造成图像画面延滞重叠，使图像模糊难以辨认。

(2)由于环境因素，光照亮度降低，成像系统需要更多的光通量进入，使光敏原件处理时间延长。

就算车辆并不超速，也会出现图像模糊的现象。从某种程度来看，能够将一段时间内发生的速度和方向均有所变化的无规律运动当作很多一瞬间匀速直线运动的集合，因此在摄像机拍摄的曝光时间内，以摄像机为参照物的话，车辆保持匀速直线状态。图1即为运动模糊图像的退化模型[3]。

图1 运动模糊图像的退化模型

用数学表达式表示为：

g(x,y)=f(x,y)*h(x,y)+n(x,y)

(1)

其中，“*”为卷积；g(x,y)为退化图像；f(x,y)为最初的清晰图像；n(x,y)为加性噪声，一般为高斯白噪声；h(x,y)为模糊核，也叫做点扩散函数，其定义为：

(2)

其中，L为运动模糊长度，是指拍摄物体和摄像机之间相对移动的距离，一般用图像的像素数表示；θ为运动模糊方向，是指拍摄物体的运动方向和水平正方向的夹角。

2 运动模糊参数的估算

对式(2)进行分析可知，要通过计算得到更为准确的点扩散函数，最重要的参数是L以及θ。常见的运动模糊参数估算方法包括两大类：以空域为基础的方法和以频域为基础的方法。在应用第一种方法时，把图像描述成所有位置的灰度值，然后从中选择相对比较完美的特征为依据展开分析求解，这种方法的应用过程十分复杂，并且计算量很大。如果采用第二种方法，就要粗略地计算出运动模糊参数，首先必须确定图像的频谱特征以及运动模糊参数的关系，该方法不但大大降低了计算量，而且估算结果误差更小。频域零点法、倒谱辨识法都属于此类方法。文中在研究模糊图像的频谱特征和模糊参数彼此间的关系和噪声污染情况下模糊图像存在的问题的基础上，提出了一种改进的算法来估算运动模糊参数。

在不考虑噪声的情况下，联立式(1)、(2)，然后展开傅里叶变换就可以得到模糊图像在频域中的计算式，也就是：

G(u,v)=F(u,v)×H(u,v)=F(u,v)× ∬h(x,y)e-j2π(ux+vy)dxdy=F(u,v)×sinc[πL(ucosθ+vsinθ)]e-jπL(ucosθ+vsinθ)

(3)

其中，G(u,v)、F(u,v)、H(u,v)分别为运动模糊图像、原始图像、PSF的频域响应。

文中先使用改进的Radon变换法来估算运动模糊方向，再利用双谱模型来估算运动模糊长度。

图2 模糊图像的频谱特性

2.1 运动模糊方向θ的估算

无噪声影响的运动模糊图像的频谱图中存在等间距的平行暗条纹，且实验表明这些暗条纹的方向与运动模糊方向有一定联系[6]：

(4)

其中，θ为拍摄物体的运动方向和水平正方向的夹角；α为暗条纹的方向，即平行直线的斜率所对应的角度；M、N为图像大小。

所以要估算出运动模糊方向，可通过检测运动模糊图像的频谱图中的暗条纹方向来实现。特别是当M=N时，暗条纹的方向与运动模糊方向是垂直的。

在具体实践过程中，很多噪声都会导致运动模糊图像发生变化。在这种情况下运动模糊图像的频谱图里面的暗条纹的数量就会低于正常情况，甚至完全不见，不过同时会出现一条白带，其方向正好和暗条纹是相同的[7]。因此如果模糊图像被噪声影响后，难以直接判断模糊方向的话，可以通过白带方向进行估算。

目前在粗略地计算运动模糊方向时，应用最为广泛的方法是以Radon为基础的方法，并且都是以该变换的上限值为依据进行估算。如果模糊长度比较长，采用该方法得到的估算结果的误差较小，但对45°等特定角度，其估算准确度较低。文中利用一种改进方法来估算运动模糊方向：通过计算得到Radon变换结果的一阶导数，将其绝对值全部相加，然后确定总和的上限值所对应的角度，这一角度就是运动模糊方向。整个过程如下：

(1)对于模糊图像g(x,y)，通过计算得到其二维傅里叶变换：G(u,v)=fft2(g(x,y))；

(2)进一步缩小傅里叶变换的区域：D(u,v)=log[1+|G(u,v)|]；

(3)对上述结果展开多次的移位，确保低频成分和谱图中心是相对的:C(u,v)=fftshift(D(u,v))；

(4)计算C(u,v)的Radon变换：R(x,θ)=Radon(C(u,v))；

(5)计算出变换结果的一阶导数，并计算出其绝对值的总和；

(6)确定绝对值总和的上限值所对应的角度，将其代入式(4)中进行计算，得到最终的运动模糊方向。

对二维图像而言，Radon变换是指图像g(x,y)在角度为θ、距离原点为r(其中r=xcosθ+ysinθ)的直线上的投影。其定义如下：

R(r,θ)=∬g(x,y)δ(r-xcosθ-ysinθ)dxdy

(5)

其中，δ()为脉冲冲激函数。

2.2 运动模糊长度L的估算

实验表明，无噪声影响的运动模糊图像的频谱图中相邻暗条纹的距离与运动模糊长度成反比[6]。所以，无噪声影响的运动模糊图像的运动模糊长度的估算，可通过检测频谱图中相邻暗条纹的距离来实现。而受噪声影响的运动模糊图像的频谱图中的暗条纹会变少甚至消失，就不能利用相邻暗条纹的距离与运动模糊长度之间的反比关系来估算出运动模糊长度。传统的运动模糊长度估算方法是先去除噪声(如滤波法)，然后在去噪后的图像上估计模糊参数。但去除噪声的同时也会去除图像中一些可以用于估算模糊参数的重要信息，影响复原效果。因此文中利用双谱模型来估算运动模糊长度。

双谱属于高阶谱范畴，它最主要的特点是阶数低、计算过程简单且高效，因此在高斯噪声的剔除中得到了广泛的应用。假定有一双谱表达式的信号序列：

(6)

如果是运动图像的话，能够根据运动模糊方向，把图像里面的所有行都当做彼此不相干的序列，并通过计算得到所有行的双谱[8]：

(7)

其中，Gi、Fi、Ni依次代表模糊图像序列、原始图像序列和噪声序列的傅里叶变换。

在式(7)中，只有第一项不受到噪声的影响，并且这种噪声主要是均值为零的高斯噪声，因此从理论的角度来看，剩余项的平均值都是零。因此能够得到运动模糊图像的双谱平均值：

(8)

对式(8)进行分析可知，运动模糊图像的双谱有着和点扩散函数的频域响应特点比较相似的特征。也就是其结构和sinc函数存在共同点，双谱的中央主峰宽度会随着运动模糊长度的缩短而增大。对一幅像素为512×512的图像进行分割处理，得到1×512的子序列，该序列的双谱模型见图3(a)。实验结果显示，若叠加次数达到一定值时，双谱的中央主峰宽度基本上不会受到噪声的影响，见图3(b)。因此可以首先进行检测，得到双谱中央主峰宽度，然后根据公式d=2N/R得到运动模糊长度。其中，R代表正中间主峰的宽度，N代表图像的列数。

3 基于TV正则化的图像复原

3.1 经典的图像复原算法

点扩散函数估算出来后，接着就能够通过图像非盲复原法实现图像的复原了。这里可以采用的方法有很多：逆滤波法[9]是最早应用于图象复原的一种复原技术，该算法抗噪能力较差，当噪声较大时，图像的复原效果就会很差。维纳滤波法[10]最大的优势在于能够有效地抵抗噪声的影响，不过该方法使用了一项新的常数K来替代噪声功率和最初图像功率的比值，因此导致复原图像质量并不理想。约束最小二乘法[11]是一种基于线性表达的恢复方法，尽管从数学层面上分析得到的结果是最理想的，不过如果用主观感受进行评价的话，通过该方法复原出的图像的质量并非最理想，并且结果中往往伴随振铃问题。R-L算法[12]的应用十分复杂，在迭代次数上升的过程中，噪声会被放大，而且对点扩展函数很敏感，一旦点扩展函数估算错误，则RL算法复原出来的图像会有严重的振铃现象。

综上所述，传统的图像复原方法通常在噪声较低、PSF估计精度较高以及迭代次数较多的情况下才能获得较为理想的复原效果。在过去的几年间，部分学者认为可以采用稀疏表示来解决图像复原的问题，如基于正则化的图像复原方法，使模糊图像的复原效果不断提高。

3.2 基于TV正则化的图像复原算法

图像的退化过程实际上也是g=Hf+n。其中，g、f、n依次为退化图像、最初的清晰图像以及加性噪声逐行串接获取的列向量；H为依据点扩展函数得到的矩阵。图像的复原，实际上就是反卷积的过程，它属于病态问题。所以，Tikhonov及其研究小组认为，可以引入正则化方法，创建额外的约束或调整求解策略，从而让问题拥有不变且唯一的解，简单来说就是把病态问题转变成良态问题[13-14]：

(9)

为了解决这一问题，Rudin及其研究小组[15]创建了总变分正则化(TotalVariation，TV)方法。这一正则项不但能够降低噪声影响，并且不会将图像边缘信息剔除出去，从而保障复原不会产生太过平滑的图像。

(10)

考虑到TV范数具有不可微的特点，但F范数属于兼具可微和光滑特点的函数，此时就能够利用式(11)将图像复原问题转变成压缩感知问题[16]：

(11)

要得到以上压缩感知问题的解，可以选择梯度追踪算法，计算过程为：

(1)用x0表示x的最初值，x(k)=x0；

(2)计算f的梯度值：g=F(x)；

(3)通过计算确定步长α，此项计算通过前或后向线搜索实现；

(4)更新：x(k+1)=x(k)-αg；

(5)k=k+1，查看结果有没有违背终止准则，如果没有违背的话，就提供输出值x(i+1)，如果违背的话，重新回到步骤(1)。

4 实验结果与分析

实验主要使用的是基于人工生成的运动模糊车辆图像。首先选取一幅大小为256×256的清晰车辆图像，如图4(a)所示。对其加模糊长度为10像素、模糊方向为45°的运动模糊，并加SNR=10dB的高斯噪声，如图4(b)所示。用文中的点扩散函数估算方法，其运动模糊长度、运动模糊方向的估算值分别为10像素、46°，从而可发现其估计精度较高。然后将文中的复原算法与经典复原算法—维纳滤波法、约束最小二乘法、R-L算法的复原效果进行比较，如图4(c)～(f)所示。

图4 实验图像的复原效果图

表1第一列均为评价指标。其中，PNSR代表峰值性噪比，复原得到的图像的质量和它的值之间呈正相关关系，也就是说它的值越大，证明复原算法性能越突出；MSE代表均方误差，复原得到的图像的质量和它的值之间呈负相关关系，也就是说它的值越小，证明复原算法性能越突出[17]。

表1 不同方法对含噪运动模糊图像复原性能对比

对图4和表1进行分析可知，采用文中实施的复原方法可以得到质量较高的复原图像，无论是从主观还是客观的层面来看，该方法都有助于提高复原图像的质量。

5 结束语

结合运动模糊车辆图像的特征，详细分析了图像复原过程，并在此基础上提出了一种基于改进的点扩散函数的估算和TV正则化的运动模糊图像复原方法。通过优化的Radon变换方法粗略地计算出运动模糊方向，利用双谱模型计算出运动模糊长度的近似解。得到点扩散函数的近似解后，通过TV正则化方法完成运动模糊图像的复原。最后从主观及客观的角度评价并分析了各种复原算法所复原图像的质量。实验结果表明，提出的算法在计算运动模糊参数近似解方面误差较小，而且最终能够得到质量较高的复原图像。

[1] 陈建功,李其申,肖冬杰.运动模糊车牌图像的恢复与定位[J].信息通信,2012(4):37-38.

[2] 付晓莉.运动模糊车牌图像的恢复、定位、校正及分割方法研究[D].南京:南京航空航天大学,2008.

[3] 范群贞.运动模糊图像复原方法的研究[J].电子测量技术,2013,36(6):73-76.

[4]ShuaiJia,JieWen.Motionblurredimagerestoration[C]//Procofthe6thinternationalcongressonimageandsignalprocessing.[s.l.]:[s.n.],2013:384-387.

[5]MoghaddammME,JamzadM.Motionbluridentificationinnoisyimagesusingradontransformandpowerspectrummodeling[C]//Procofthe12thinternationalworkshoponsystems,signalandimageprocessing.[s.l.]:[s.n.],2005:347-352.

[6] 李俊鹤.运动模糊图像复原技术研究[D].武汉:武汉理工大学,2012.

[7] 赵志刚,程 姝,吕慧显,等.含噪运动模糊图像恢复[J].青岛大学学报:自然科学版,2014,27(1):77-82.

[8]MoghaddamME,JamzadM.Motionbluridentificationinnoisyimagesusingmathematicalmodelsandstatisticalmeasures[J].PatternRecognition,2007,40(7):1946-1957.

[9] 陈华玲,冯 桂,寥家亮.数字图像的逆滤波复原[J].电视技术,2010,34(2):17-18.

[10] 金 飞,张 彬,司 璇,等.基于维纳滤波的图像复原[J].中国传媒大学学报:自然科学版,2011,18(4):19-23.

[11] 郝 明,方 亮.有约束最小平方复原在图像复原中的应用[J].实验科学与技术,2010,8(5):21-23.

[12]TaiYuwing,BrownMS.Richardson-Lucydeblurringforscenesunderaprojectivemotionpath[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,33(8):1603-1608.

[13] 唐 梦,彭国华,郑红婵.基于正则化方法的图像盲去模糊[J].计算机应用研究,2014,31(2):596-599.

[14]TikhonovAN,ArseninVY,JohnF.Solutionsofill-posedproblems[M].WashingtonDC:VHWinston&Sons,1977.

[15]RudinLI,OsherS,FatemiE.Nonlineartotalvariationbasednoiseremovalalgorithms[J].PhysicaD,1992,60(4):259-268.

[16] 郭玉锦.基于压缩感知的模糊车牌图像预处理及其识别研究[D].西安:长安大学,2012.

[17] 王鹏飞.运动模糊图像复原算法研究[D].重庆:重庆大学,2013.

Research on Method of Image Restoration of Motion Blur Vehicle

SHI Hai-ling，QIU Xiao-hui

(College of Communications and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

In the process of taking vehicle images,there are many factors which can influence the quality of the vehicle images,such as motion blur caused by relative motion between video cameras and vehicles.It leads to the results that the license plate to identify by recognition system is wrong,and even that the system couldn’t recognize the license plate.According to the characteristics of the motion blur image,the degradation model of motion blurred image is analyzed,and an image restoration algorithm is proposed based on point spread function estimation and TV regularization method.Improved Radon transform is used to estimate the motion blur direction,and bi-spectrum model is applied to evaluate the motion blur length.After estimating the point spread function,the TV regularization method is used to recover the blurred image,and the gradient tracking algorithm is utilized to solve the problem.It evaluates and analyzes the quality of restored images from the perspective of subjective and objective in this paper.The experiment shows that the improved comprehensive algorithm can estimate the blurred parameter of motion-blurred images accurately and obtain satisfied effect.

motion blur;point spread function;Radon transform;bi-spectrum model;image restoration;TV regularization

2014-12-29

2015-06-08

时间：2016-07-29

江苏省自然科学基金(BK2011789)；东南大学毫米波国家重点实验室开放课题(K201318)

史海玲(1989-)，女，硕士研究生，研究方向为图像处理与模式识别；邱晓晖，教授，研究方向为信号与信息处理及图像处理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160729.1833.004.html

TP301

A

1673-629X(2016)08-0060-05

10.3969/j.issn.1673-629X.2016.08.013