基于OpenCV的行驶车辆车牌定位实现

程挥竣，应　捷

(上海理工大学 光电信息与计算机工程学院，上海 200093)

基于OpenCV的行驶车辆车牌定位实现

程挥竣，应捷

(上海理工大学 光电信息与计算机工程学院，上海 200093)

摘要车牌定位是车牌自动识别系统中的一个关键问题。系统从两方面进行了设计。一是视频中移动车辆的定位，采用高斯背景建立模模块。二是静态图像中车牌提取系统，采用顶帽变换、能量滤波、寻找联通区域等多模块结合精确定位出车牌区域。该移动车牌定位算法在QT平台上采用OpenCV和C++编程，实现了综合利用车牌结构特征和纹理特征，提高了车牌定位可靠性。实验结果表明，该方法速度快、准确度高，可满足实时监控的需求。

关键词车牌识别；混合高斯建模；顶帽变换；能量滤波

目前，车辆牌照是机动车最直观、有效的管理标识符号，在交通运输管理中具有重要的作用。车辆以及车牌的定位研究对于防控交通违章和交通事故，具有重要意义。

车牌识别核心内容包括车牌图像预处理、车牌区域定位、车牌字符分割和字符识别等。其中车牌区域定位最为关键。对车牌定位的方法，主要是使用现有的图像分割算法与先验知识相结合。但是，由于车辆牌照的情况差别较大，也面临着诸多困难。因此，在研究过程中，要对各种车牌的共性与异性进行综合考虑，国内有众多学者在车牌识别系统方面提出了新的算法[1]。比如通过边缘检测得到图像，使用大津法得到二值图像的阈值，进行二值化；对二值化后的图像投影来确定车牌的位置，提取出车牌。

针对传统的特征提取车牌识别方法，图像灰度特征不明显而不能准确识别相似字符，造成车牌误识别的问题。设计了一种顶帽能量滤波的车牌识别系统。顶帽变换初步处理，然后进行能量滤波进行识别。在Qt平台上，首先进行车辆的识别，然后只对包含车辆的帧进行车牌识别，减少了些不必要的运算，接下来对该帧进行预处理，并利用OpenCV中查找轮廓的方法粗定位出车牌区域，再根据能量滤波精确定位出车牌区域。

1车牌定位系统

行驶中车辆的车牌定位系统由车辆定位部分和车牌定位系统两大组成部分。车辆定位系统流程如图1所示。

图1　车辆定位结构设计

车牌定位系统流程如图2所示。

图2　车牌定位流程图

系统经过高斯背景建模后可精确得到车辆在图片中的位置，然后使用顶帽变换处理静态的车牌，减小复杂背景对车牌提取的干扰，再此效果下对图像进行能量滤波，比在灰度图上效果好。有效减少外界环境对车牌定位的干扰。对车牌定位的过程使用了能量滤波器，比通过颜色等先验知识判定车牌位置的效果好。能量滤波的使用，能较好地反应车牌的纹理信息，使得该方法能够使用在复杂背景、天气环境、车辆颜色等诸多不利条件，使得系统可得到广泛应用。

2运动车辆定位

2.1高斯背景建模定位车辆

采用OpenCV实现车牌实时区域定位，只对经过车辆跟踪识别后保存下来的帧进行识别，提高了识别效率。首先需要初始化参数。然后，在参数的基础上，对传来的第一帧图像，对图像进行高斯混合模型处理流程如下：

(1)用第一帧图像数据初始化背景模型，其中std_init经过试验调试设置为20。

(1)

(2)

σ0=std_init

(3)

(2)用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点[2]。在时刻t，帧的每个像素值Xt和它对应的混合高斯模型进行匹配检验：检测前景与背景像素，若像素值Xt与混合高斯模型中第i个高斯分布均值的距离小于其标准差的2．5倍(λ=2.5)，则定义该高斯分布Gi与像素值Xt匹配。背景像素检测公式

|Xt-μt-1|<λσt-1

(4)

前景像素检测公式

|Xt-μt-1|≥λσt-1

(5)

μi,t=(1-ρ)×μi,t-1+ρ×Xt

(6)

(7)

ρ=α×η(Xt|μi,t-1,σi,t-1)

(8)

式中，α为参数估计的学习效率;

(4)返回(2)直至停止。

2.2车辆定位实验结果与分析

运行程序得到效果如图3所示。

图3　高斯背景建模效果

从图3可看出，在视频的前景图中，需要找到像素0的像素点集中的区域，可判定为该区域为车辆的区域。

由于背景建模在图像中各个位置的效果有一定的差异且计算量较大，为避免影响视频的流畅播放，增加寻找运动车辆的准确率和效率，在图像中固定的部分寻找运动车辆。如图4所示，其固定区域为视频原图的横线区域，需要在相应前景图的该区域内寻找像素值为0像素点的聚集区域，聚集区域即是寻找的运动车辆，其定位效果如图5所示。

图4　判定视频中运动车辆的标记区域

图5　判定视频中运动车辆的标记区域

3车牌定位算法

3.1使用Open Top-Hat处理静态车辆图像

当成功从视频中定位到运动的车辆，并得到该车辆的图像后，需从静态的图像中准确的定位处车牌。

由于背景以及车辆的颜色信息较为复杂，因此，首先需要对静态车辆图像的背景进行处理。使用的基本方法是开顶帽原理(Open Top-Hat)，首先对图像进行开运算，即先对图像进行腐蚀，在对图像进行膨胀。其数学表达为入式(9)[3]

OTHA，B=A-AΘB

(9)

式(9)中A为原图；B为结构元素；AΘB为开运算，最后得到顶帽变换后的图像T。顶帽变换的效果如图6所示。

图6　开顶帽变换效果图

在车牌定位中使用Top-Hat变换，根本原因是车牌区域字符与车牌底色的跳变。由于车牌中字符笔划的宽度小于字符笔划间距，为突出车牌区域，结构元素的大小应介于字符笔划的宽度和字符笔划间距之间。

3.2使用能量滤波处理顶帽变换后的图像

对静态的车辆图像使用顶帽变换得到的二值图像，能够较为清楚地发现，在车牌区域，颜色变化集中。因此，需要找到颜色变化明显的区域，定义该区域为车牌区域。在数字图像处理中，能量是描述纹理特征的统计参数[4]，其表达式为

(10)

式(10)中，E(x,y)表示(x,y)点的能量值；P(x,y)为坐标(x,y)的特征值；I(x,y)表示(x,y)点的像素值。根据车牌特有的灰度特征，车牌在水平方向上亮度变化剧烈且集中，选择P(x,y)为水平方向上的亮度差分值，定义(x,y)处的像素点的能量E如下[6]

E(x,y)=|I(x-1,y)+I(x+1,y)-2I(x,y)|2

(11)

使用上述能量运算，并且统计能量相对较大且集中的区域，能够得到车牌的区域。为提高运算效率，可首先将图像分成若干等分，统计每一份能量的和，可提取出能量较大的若干份。文中将图片分成8×8块，统计每一块的能量值，若能量值大于规定阈值，定义该部分是车牌区域，否则不是车牌区域，如式(12)所示

(12)

其中，Th代表阈值；c(i)代表横向的第i(i≤8)块；r(j)代表纵向j(j≤8)块；B(c(i),r(j))代表第(c(i),r(j))块是否为车牌区域。

从上式可看出存在两点不足：(1)阈值的选取，对车牌定位的准确度起到了至关重要的作用；(2)得到的符合规定的车牌能量块，不一定满足是真正的车牌区域。

系统在阈值的选取上，使用了自适应阈值的方法，能使得系统的稳定性提高，应用的范围扩大。为解决问题(1)，在系统中使用自适应阈值的方法。首先，阈值设为极大值。当为寻找到满足要求的车牌区域时，阈值自动减小，重新迭代寻找，直到寻找到合适的车牌区域。为解决问题(2)系统规定，在寻找完成后，检查找到的车牌区域的连通域中，是否存在满足车牌长度的先验知识。若不满足，则阈值减小，再次寻找。

因此，改进后的算法的步骤如下：

(1)定义阈值T的取值范围Tmin≤T≤Tmax,且定义图像中车牌最小长度L，初始阈值T=Tmax；

(2)由式(12)得到B，判断得到的车牌连通域的长度是否>L；若是，执行步骤(3)；否则，执行步骤(4)；

(3)判断该区域的颜色是否符合标准车牌的颜色；若是，则将该车牌区域输出，算法结束；否则，将B(c(i),r(j))赋值0；

(4)减小阈值，若T≥Tmin则执行步骤(2)，否则直接输出不能识别，算法结束。

4车牌定位实验结果

对静态的车辆图片使用顶帽变换效果如图7所示，在车牌的区域，显示的像素值为255的像素点较为集中，因此，下一步需要使用能量滤波的方法将该区域寻找出来。

图7　对静态车牌使用高帽变换前后对比

通过该算法，可将车牌的区域寻找出来，在输出过程中，由于划分的块不一定能够很好地满足要求，因此，可适当扩大找到车牌的区域，其系统运行效果如图9所示。

图8　软件单步演示运行过程图

图9　静态图像中车牌的定位实验结果

5结束语

先进行车辆的识别和跟踪可以减少运算量，并使后续移动车牌的定位更加快速。结合OpenCV实现多特征融合的移动车牌定位方法可快速和准确地定位出车牌区域。在灰度对比不明显的情况下也能较准确识别车牌，速度快、准确率较高，车牌识别算法效果良好，可应用于实时的移动车牌识别系统，准确地确定车牌位置。实验结果表明，该方法简单且定位准确、迅速、为后继字符分割和识别奠定了基础。

经过大量实验，本系统还存在不足之处，有方面并未达到预期效果：(1)使用顶帽变换和能量滤波，能较好地将图像中的车牌定位出来，但系统中找到的车牌区域相对大，并不能只将纯粹的车牌从图像中定位出来；(2)系统在寻找车牌区域时，要对照的车牌进行颜色判定，并以此来确定该区域是否是车牌区域，但颜色信息会受到光照的影响。因此，使用RGB颜色信息来判定是否是车牌的方法仍需改进。

参考文献

[1]李雄,裴承鸣,郑华.几何特征形态学车牌识别系统研究[J].计算机仿真,2012,29(4):353-370.

[2]郭晓,郭晓金.基于时空的混合高斯背景建模的运动目标检测[J].电视技术,2013,37(3):185-187.

[3]蔡勇智.一种改进的神经网络算法车牌识别算法研究[J].科技通报,2012,28(10) 128-130.

[4]朱士虎.形态学高帽变换与低帽变换功能扩展及应用[J].计算机工程与应用,2011,47(34) 190-218.

[5]You Shihjui, You Zhisheng, Zhao Shelong. Practical homography-based perspective correction method for license plate recognition[C].Berlin: International Conference on Information Security and Intelligence Control (ISIC),2012.

[6]Anagnostopoulos C, Anagnostop O I, Psoroulasi, et al. License plate recognition from still images and video sequences: a survey[J].IEEE Transactions on Intelligent Transportation Systems,2008,9(3):377-391.

[7]姜文涛,刘万军,袁姮.基于曲量场空间的车牌定位与识别[J].电子学报,2011,39(11):2554-2560.

[8]薛丽霞,李涛,王佐成.一种自适应的Canny 边缘检测算法[J].计算机应用研究,2010,27(9):3588-3590.

[9]依玉峰,高立群,程伟,等.自适应随机游走图像分割算法[J].东北大学学报:自然科学版,2011,32(8):1092-1097.

[10]冯慧娜,白艳萍,胡红萍.一种基于图像处理和投影的车牌定位方法[J].电子科技,2010,23(11):5-7.

[11]梅雪,张继法,许松松,等.分级特征提取与选择及在自动目标识别系统中的应用[J].遥感技术与应用,2012,27(5):712-715.

Vehicle License Plate Location Based on the Travel OpenCV Implementation

CHENG Huijun，YING Jie

(School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology，Shanghai 200093, China)

AbstractThe license plate location is a key problem in the automatic recognition system of the license plate. More in-depth design did in two areas. Firstly, the video of the mobile vehicle positioning that mainly involved in the Gauss background modeling. Secondly, the static image of the license plate extraction system included the top hat transform, energy filtering, to find the area of the Unicom area and other modules to accurately locate the license plate region. The mobile license plate location algorithm using OpenCV and C++ programming is based on the QT platform to achieve a comprehensive use of the structure and texture features of the license plate, improving the reliability of the license plate location. Experimental results show that the method is faster and more accurate. The system can meet the needs of real-time monitoring.

Keywordslicense plate recognition；hybrid gauss modeling；top hat transformation；energy filtering

收稿日期:2015-11-07

作者简介:程挥竣(1992-)，男，硕士研究生。研究方向：图像处理与模式识别。

doi:10.16180/j.cnki.issn1007-7820.2016.06.043

中图分类号TP751.1

文献标识码A

文章编号1007-7820(2016)06-150-04