雨天条件下基于总变差和频域处理的车牌检测

陈 丽，黄玉清，郭 江

(西南科技大学信息工程学院，四川 绵阳 621000)

雨天条件下基于总变差和频域处理的车牌检测

陈 丽，黄玉清，郭 江

(西南科技大学信息工程学院，四川 绵阳 621000)

在恶劣的雨天环境中，随机分布了大量快速运动的雨滴，造成目标物体与背景光线的反射和折射，使得图像对比度降低、成像模糊、细节信息丢失，从而降低成像系统获取的汽车图像质量，影响了车牌检测的效果。针对该问题，提出了一种基于相对总变差模型和频域处理的车牌检测方法。首先,基于相对总变差模型分解图像，可以得到包含雨线的纹理图；然后，将纹理图作离散傅里叶变换后，在频域内有效地对雨线进行分析和滤除，对去除雨线后的纹理图与结构图重构得到去雨后的汽车图像；最后，采用基于局部统计滤波的方法对去除雨线后的图像进行车牌检测。试验结果表明，该方法可以有效地检测出雨天条件下的车牌，并且车牌检测准确率高、耗时短，具有实际工程应用意义。

智能交通； 车牌检测； 频域处理； 傅里叶变换； 滤波； 图像

0 引言

智能交通系统(intelligent transportation system，ITS)在日常生活中扮演着重要角色[1]。车牌识别系统是ITS的重要组成部分，一般分为车牌检测、字符分割和字符识别三部分[2-3]。车牌检测是车牌识别系统的关键步骤[4]，很多文献[5-8]已经针对雾天条件下的车牌检测作了相关研究，但雨天条件下的车牌检测相关研究相对较少。

针对图像中雨线去除的问题，已经有不少优秀的研究成果。Kang等[9]提出利用双边滤波器分解图像的方法去除雨线；周远等[10]采用符合人脑感知与理解信息的内部生成机制理论,结合稀疏编码方法实现了单幅图像的雨线检测与去除。

本文首先采用相对总变差模型分解图像；然后，图像经傅里叶变换后，在频域内对雨线进行分析和滤除；最后，采用基于局部统计滤波方法对去除雨线后的汽车图像进行车牌检测。

1 基于相对总变差模型的图像分解

相对总变差模型可以有效分解图像中的结构信息和纹理信息，并且对纹理的规则或对称情况没有特别要求。该模型具有一般性和随意性，适用于非统一的或各向异性的纹理[11]，可以在频域内对分解得到的纹理信息进行分析和滤波。

在实际分解过程中，不同图像的纹理是千变万化的，不能直接确定纹理的类型。因此，引入D来度量一个总像素窗口的总变差，将D按x、y两个方向分解为：

(1)

(2)式中：p为二维图像像素点的索引；q为以p点为中心的正方形区域内所有像素点的索引；R(p)为以p为中心的矩形区域；S为输出的结构图像；gp,q为高斯核函数。

该高斯核函数可以写为：

(3)

式中：σ为窗口大小的影响因子。

σ决定了窗口的大小，其选取取决于纹理的尺度大小，对结构纹理分解至关重要。一般σ在0～8之间。为了得到更好的结构纹理分解效果，经过试验，将σ设为3。

为了从纹理图像中提取结构图，还引入L来度量一个新窗的内在变差，同理将其按x、y两个方向分解为：

(4)

(5)

(6)

由基于相对总变差的模型可以得到结构图S，如果用T表示纹理图，则：

T=I-S

(7)

基于相对总变差模型，对包含雨线的汽车图像进行结构纹理分解，效果如图1所示。图1(b)中没有明显雨线，图1(c)中包含纹理部分和雨线。后文会对分解所得的包含雨线的纹理图中作去除雨线处理。

图1 结构纹理分解效果图

2 汽车图像雨线去除

为了去除纹理图中的雨线，本文将图像作离散傅里叶变换(discrete Fourier transform，DFT)之后，在频域内进行雨线分析和滤除。该方法将雨线作为一种周期性噪声，并将该周期性噪声作为一个集中爆发的能量出现在傅里叶变换的图像中,从而通过抑制雨线作为噪声所产生的能量来达到去除雨线的目的。

2.1 原理与实现过程

基于周期性噪声在傅里叶变换图像中作为能量的思想，找到了一种能有效去除雨线的方法。

①将包含雨线的纹理图T进行离散傅里叶变换,得到傅里叶图像F1，并规定F1中所有系数值在0～1的范围内。为了保证系数值显著，以0.5作为阈值，F1中任何小于0.5的系数值都被换成0。

纹理图和原始图像的离散傅里叶变换效果图分别如图2、图3所示。

图2 纹理图的离散傅里叶变换效果图

图3 原始图像的离散傅里叶变换效果图

图2(a)为纹理图T，其中两条带箭头的黑线分别为雨的下落方向和雨的能量爆发方向；图2(b)为傅里叶图像F1；图2(c)为被阈值化的傅里叶图像F2。在F2中，虚线白框框出的区域是由于雨的能量爆发引起的。

图3(a)～图3(c)分别表示带雨线的原始图像及其傅里叶图像和阈值傅里叶图像。通过对比可以发现，如果选择直接对原始图像进行傅里叶变换，在频域内对雨进行分析时，图像的部分非雨元素被归为雨元素，会造成过度去雨，使图像失去有用元素。由此可以证明，在对图像进行分解之后再进行傅里叶变换的方法更可靠。

②确定雨的能量爆发方向。由于周期性噪声的方向(假设雨为正弦噪声)垂直于雨线的方向，那么能量爆发的方向垂直于图像T中雨线的方向。为了定位阈值傅里叶图像F2中雨的能量爆发方向，对每个方向的能量构造能量直方图。因为T中雨线的方向相对于垂直方向不超过45°也不低于-45°，所以直方图的方向范围也为-45°～45°。能量爆发方向分析如图4所示。

图4 能量爆发方向分析示意图

在图4(a)中，包含了能量直方图计算过程中所考虑的所有方向(用91条白色线表示)。由于阈值傅里叶图像F2是沿中心轴垂直对称的，因此在能量直方图计算过程只需要考虑阈值傅里叶图像F2的右半部。图4(b)是阈值傅里叶图像F2右半部的例子，其能量爆发的方向是23°。图4(c)为阈值傅里叶图像F2右半部的能量直方图，其方向在-45°～45°之间。从该图也可以看出，从能量直方图选择一点可以给出能量爆发的方向信息；同时，该图显示了能量直方图的峰值，且其方向为23°。

得到雨的能量爆发方向之后，在该方向上设置一个雨罩，并且将雨罩应用于傅里叶图像F1，消除了傅里叶图像F1中雨的能量部分。对傅里叶图像F1求离散傅里叶反变换，得到去除雨线后的纹理图T′如图5所示。

图5 去除雨线后的纹理图

根据上述算法，可以得到去除雨线后的纹理图T′，然后再采用基于相对总变差图像分解的方法，将结构图S与T′相加来重构图像，即：

I′=S+T′

(8)

式中：T′为重构得到图像，即去除雨线后的汽车图像。

2.2 去雨效果分析

为了验证本文方法的去雨效果，通过Adobe Photoshop软件对无雨的汽车图像人工添加雨线。

Azam 等[12]采用在频域内进行雨线分析和滤除的方法直接对雨天图片的灰度图进行去雨处理。这种方法造成了过度去雨，可以发现去除雨线后的图像部分轮廓变得模糊一些，这是由于在去除雨线时部分轮廓信息被当成雨滤除掉了。本文是对图像分解后的纹理图在频域内进行去雨处理，对比表明，本文方法更有效。

周远等[10]采用符合人脑感知与理解信息的内部生成机制(internal generative mechanism,IGM)有关理论,结合基于形态学分量分析(morphological component analysis,MCA)的稀疏编码方法，实现了图像中的雨线检测与去除。但在去除雨线的同时，该方法对车牌字符和车牌检测效果影响较大，并且稀疏编码过程比较耗时，使时效性大大降低。与周远等的方法比较，本文方法得到的去除雨线后的汽车图像可以大大提高车牌检测准确率，并且具有时效性。

3 车牌检测

对去除雨线后的汽车图像进行车牌检测，由于我国车牌一般是由一个汉字和几个数字或字母组成，车牌区域的显著特征在于它由若干个相同高度或宽度的字符按照一定的规则排列而成。在进行车牌检测时会出现多个疑似车牌区域的候选区域，而真正的车牌区域内会出现多个与车牌字符几何特征相似的连通体，所以可以通过匹配车牌字符几何特征的方式筛选出真正的车牌区域。本文采用基于局部统计滤波器的车牌检测方法。首先，比较整幅图像的标准差和均值来进行二值化；然后，利用局部统计滤波器及形态学开运算检测出所有的可能车牌区域；最后，根据车牌字符的排列规则，设计两组变长的方波模板对候选车牌区域进行匹配，最佳匹配的为车牌区域，并以最佳切割位置切割车牌区域。

3.1 标准差和均值二值化

在灰度图中，由于车牌字符的密度和背景特点，车牌区域具有明显的局部不规则性[12]。也就是说，字符和背景之间的像素对比度很有可能在车牌区域体现，在二值化过程中发现灰度图中的所有局部不规则区域形成了高度密集的白色像素区。在二值化过程中，采用一个大小为l×l的窗与重构得到的灰度图，按照文献[13]中的步骤进行卷积来计算局部标准差，且把每个像素点作为窗的中心，最终得到与灰度图I′同样大小的标准差图SD。再用一个大小为l×l的窗与灰度图I′卷积计算得到均值图M。根据标准差图像SD和均值图像M，并基于以下条件得到二值图B1。具体计算公式如下：

(9)

式中：(i,j)为像素位置；k为在0～1范围内的经验值，对于雨天图像,k的最佳值为0.3。

上文所述的l为字符与字符之间的间距，通过使用本文二值化方法可以把所有分开的字符连接在一起，一般l=5。

二值化法效果图如图6所示。

图6 二值化法效果图

3.2 局部统计滤波和形态学开运算

本文采用局部统计滤波器来保留二值图中高度密集的白色区域，但是有一些微小的高度密集区域被同时保留下来。采用一个大小为h×h的窗与二值图B卷积，h为车牌高度的一半，由于采用的车牌高度为40像素，那么h为20像素。同时，对窗口中的白色像素计数，如果局部窗口中的白色像素超过50%，则将中心像素点置1，否则置0。经局部统计，滤波后的图像中，除了存在多个大块白色区域以外，还存在微小的白色区域，这些微小的白色区域会给检测带来不必要的干扰。

采用数学形态开运算[14](先腐蚀后膨胀)消除了在上一阶段存在的微小白色区域，并且大块的白色区域面积相对增大，在图像中更加明显。运算过程中，采用一个半径为20像素的圆盘形结构元，其半径取决于车牌区域的大小，最后得到的白色区域为候选车牌区域，要得到实际的车牌还需下一阶段处理。

3.3 车牌区域匹配

为了在多个候选车牌区域中筛选出实际车牌区域，本文根据车牌字符的排列规则，设计了两组变长的方波模板[15]，对水平和垂直投影曲线进行匹配，最佳匹配区域即为车牌区域，并以最佳切割位置切割车牌区域。在匹配之前，需要对车牌进行几何纠正。在进行水平投影匹配时，可以针对高度不确定的字符设计多个不同大小的方波模板。当方波模板与投影曲线的相关程度最大时，可以估计车牌字符的上下边界。在垂直投影匹配中，由于我国车牌一般为7个字符，故根据这7个字符的宽度和间隔设计一组由7个方波组成的模板。通过垂直投影匹配，可以确定车牌字符宽度和左右边界；当垂直投影相关程度最大时，对应车牌区域最有效，则该车牌区域被认为是实际车牌区域。按水平投影和垂直投影确定的边界切割出实际车牌，切割车牌的位置准确，车牌中的字符清晰度高。

4 试验结果

本文基于MatlabR2013a仿真平台，对所提出的方法进行了大量的试验。选取了300张400×300像素的普通无雨汽车图像，通过AdobePhotoshop软件对无雨图像人工添加雨线来模拟雨天条件。利用周远等提出的基于稀疏编码的方法对雨天条件下的图像去除雨线后，采用本文同样的车牌检测方法进行车牌检测，然后与本文方法的车牌检测效果进行对比。2种车牌检测方法的检测效果对比如表1所示。

表1 2种车牌检测方法的效果对比

5 结束语

本文提出的基于相对总变差模型和频域处理的车牌检测方法，适用于雨天条件下的车牌检测。本文的工作重点及创新点在于：提出基于相对总变差模型实现图像分解，并对分解后的纹理图像进行离散傅里叶变换来滤除雨线；采用去除雨线的汽车图像进行车牌检测，通过基于局部统计滤波和形态学开运算后得到候选车牌区域，并以方波模板匹配的方法得到实际车牌。与周远等提出的基于稀疏编码的方法相比，本文的方法可以成功检测雨天条件下的车牌，并且检测准确率较高，检测时间较短。

当然，本文的方法也存在不足。该方法主要针对快速运动雨滴导致图像对比度降低、成像模糊的问题，雨天条件还可能存在光线暗、雾气等影响图像的因素，在进一步研究中将会针对这些因素进行改进。

[1] DEB K,HOSSEN M K,KHAN M I,et al.Bangladeshi vehicle license plate detection metho geometrical properties[C]//IEEE,2012:1-5.

[2] DUN J Y，ZHANG S Y，YE X Z，et al． Chinese license plate localization in multi-Lane with complex background based on concomitant Colors[J]．IEEE Intelligent Transportation Systems Magazine，2015,7(3):51- 61．

[3] ANGELINE L，KOW W Y，KHONG W L，et al．License plate character recognition via signature analysis and features extraction[C]//IEEE International Conference on Computational Intelligence， Modelling and Simulation， 2012:1- 6．

[4] DU S,IBRAHIM M,SHEHATA M,et al.Automatic license plate

recognition(ALPR):A state-of-the-art review[J].IEEE Transactions on Circuits & Systems for Video Technology,2013,23(2):311-325.

[5] 王静,王欢,刘洁.恶劣天气环境下车牌识别方法研究与仿真[J].计算机仿真，2011(10)：358-361.

[6] 兰希.恶劣条件下车牌识别关键技术研究[D].苏州:苏州大学,2014.

[7] 唐红梅,申瑾,周亚同,等.雾霾天气条件下车牌信息的识别[J].电视技术,2014(5):194-197.

[8] 张晓娟.雨天雾气干扰下的车牌图像识别技术仿真[J].计算机仿真,2015(12):133-136.

[9] KANG L W,LIN C W,FU Y H.Automatic single-image-based rain streaks removal via image decomposition[J].IEEE Transactions on Image Processing,2012,21(4):1742-1755.

[10]周远,韩裕生,周浦城.一种单幅图像雨滴去除的方法[J].图学学报,2015(3):438-443.

[11]GONZALEZ R C,WOODS R E,EDDINS S L.Digital image processing using MATLAB[M].2nd ed.Beijing:Publishing House of Electronics Industry,2009.

[12]AZAM S,ISLAM M M.Automatic license plate detection in hazardous condition [J].Journal of Visual Communication & Image Representation,2016,36(C):172-186.

[13]GONZALEZ R C,WOODS R E.Digital image processing[M].3rd ed.Upper Saddle River: Prentice Hall,2008.

[14]何新英,王家忠,孙晨霞,等.基于数学形态学和Canny算子的边缘提取方法[J].计算机应用,2008(2):477-478+483.

[15]苗立刚.基于最近邻链的车牌检测算法[J].自动化学报,2011(10):1272-1279.

License Plate Inspection Based on Total Variation and Frequency-Domain Processing under Rainy Condition

CHEN Li，HUANG Yuqing，GUO Jiang

(School of Information Engineering,Southwest University of Science and Technology,Mianyang 621000,China)

In the harsh environment of rain,a lot of fast moving and randomly distributed raindrops cause the reflection and refraction of the light on the objects and background,so the image contrast is reduced,the image becomesblurred,and the detail information may be lost.Thus,the quality of images of vehicle obtained by the imaging system is worse,and the license plate inspection is greatly influenced.To deal with this problem,the license plate inspection method based on total variation and frequency domain processing is proposed.Firstly,the image is decomposed based on the model of relative total variation for extractingtexture image with rain lines.Secondly,the texture image is transformed by discrete Fourier transformation,so the rain lines are effectively analyzed and filtered out in frequency domain;then,the vehicle image is obtained by reconstructing the structural image and texture image without raindrops.Finally,the license plate inspection is conducted by adopting the method based on local statistic filtering and the image with rain removing.The experimental results show that this method can detect the license plate effectively under rainy conditions,and it is of higher accuracy and shorter time consuming,and providing practical applicable significance in engineering.

Intelligent transportation; License plate inspection; Frequency domain processing; Fourier transform; Filtering; Image

陈丽(1992—)，女，在读硕士研究生，主要从事图形图像处理技术、目标识别技术的研究。E-mail：2653849707@qq.com。 黄玉清(通信作者)，女，硕士，教授，硕士生导师，主要从事图像处理与机器视觉、智能技术、无线测控及无线通信技术的研究。E-mail：228696851@qq.com。

TH164;TP391.9

A

10.16086/j.cnki.issn1000-0380.201704018

修改稿收到日期：2017-01-12