一种融合深度特征图和形态学的车牌定位方法

2016-12-05童冰郑东生黄金华

长江大学学报(自科版) 2016年28期

关键词：图块车牌字符

童冰，郑东生，黄金华

(漳州职业技术学院计算机工程系,福建漳州 363000)

许冲

(闽南师范大学计算机学院, 福建漳州 363000)

一种融合深度特征图和形态学的车牌定位方法

童冰，郑东生，黄金华

(漳州职业技术学院计算机工程系,福建漳州 363000)

许冲

(闽南师范大学计算机学院, 福建漳州 363000)

车牌定位是车牌识别的关键步骤。针对传统车牌定位方法鲁棒性差、定位时间长等问题，提出了一种融合深度特征图和形态学的车牌定位方法。该方法首先利用深度结构构建深度特征图产生框架，提取纹理特征丰富的车牌图像特征图，接着将车牌特征图缩放到原始车牌图像的尺寸，并对缩放后的图像进行Sobel运算，增强车牌的边缘特征，最后利用形态学中的闭操作, 对二值化后的图像进行先膨胀后腐蚀的形态学运算，连通整个车牌图块，完成车牌定位。试验结果表明，该方法对包含纹理鲜明的背景条形图块、车身和车牌颜色相似的干扰图像具有更好的鲁棒性，提高了定位速度。

特征图;形态学; 卷积神经网络(CNN); Sobel;车牌定位

随着生活水平的提高，与日俱增的机动车数量给交通系统的监管带来了严峻的挑战。智能交通监控在交通系统中显得越来越重要。而车牌识别是智能交通监控系统中的关键技术，在停车管理、高速车速监控、交通拥堵监管等方面发挥着重要作用[1]。车牌识别主要分为2步：先车牌定位和再字符识别。只有准确定位出车牌，才能进行后续的字符识别。因此，车牌定位是车牌识别的关键环节。

车牌定位是对一个包含车牌的图像进行分析，最终截取出只包含车牌的一个图块。常用的车牌定位方法主要包括基于纹理特征定位、基于颜色特征定位、基于字符特征定位、基于频域特征定位等。基于纹理特征的定位方法[2]主要根据车牌字符间连通的边缘、较为一致的宽度、规则的字体等特性，实现对车牌的定位。对于车牌干净、图像清晰的图像，该算法效果较好，但对于前景和背景区分性较差、背景复杂的图像，则容易将背景误定位为车牌。基于颜色特征的定位方法[3,4]是根据车牌的颜色设定RGB图像各通道的取值阈值，除去和车牌颜色差异较大的背景图，留下车牌，实现定位。若背景颜色和车牌颜色不相似，则定位效果较好，但需要处理3个通道，实时性较差，而且在车身颜色和车牌颜色相近时算法失效。基于字符特征的定位方法[5,6]是根据车牌字符的跳变次数、字符大小、长宽比例等特征实现车牌定位。该方法可以实现车牌定位，但需要考虑的字符特征信息较多，实现较复杂，而且对于车牌变形、污损的情况则难以保证定位效果。基于频域特征的定位方法[7]是将原始车牌图像转换到频域空间，并在此空间中对图像进行分析得到车牌的特征信息，从而实现车牌定位。但该方法计算量较大，往往还要结合多种方法才能实现较好的定位。

根据上述方法存在的问题，笔者提出了一种融合深度特征图和形态学的车牌定位方法，以提升车牌定位的鲁棒性，并提高车牌定位的速度。

1 深度特征图提取

卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型，其不仅能学习复杂、泛化能力强的结构，还可以通过交替的卷积和采样过程，从不同层面获取原始图像的特征，提升图像特征信息的抽象能力。

为获取车牌图块特征显著的特征图，构建如图1的CNN深度特征图提取结构。该深度结构共12层，分别包含4个卷积层、4个采样层、2个全连接层以及1个原始图像输入层和1个SoftMax层。4个卷积层的卷积核大小均为3×3，卷积核个数依次为64、128、256和512个。4个采样层的采样窗口大小为2×2，移动步长为2。输入层为三通道RGB图像原始像素输入，SoftMax用于计算训练误差以调整整个网络的参数。

图1 CNN深度特征图提取结构示意图

当整个网络训练好后，按如下步骤获取图像的深度特征图：

1)获取输入层的输入窗口，并将原始图像缩放到输入窗口大小：

Image′=resize(Image,WinSize)

(1)

式中， resize(·)为图像尺寸缩放函数；Image为原始图像；WinSize为窗口大小，取224×224(可以取不同的窗口尺寸，笔者取的是经验值，根据问题规模，综合考虑执行速度和执行效果而选取的尺寸值)； Image′为缩放后的图像。

2)获取第1层卷积层(第1层输出的特征图较大，便于车牌定位)的卷积核参数和偏置参数，并进行卷积操作获取特征图：

FtrMapi=f(Ki⊗Image′+bi)

(2)

式中，Ki为第i个卷积核；bi为第i个卷积核对应的偏置；⊗为卷积运算； FtrMapi为计算得到的第i张特征图；f(·)函数定义如下：

f(x)=max(0,x)

(3)

2 特征强化和形态学

为了提升车牌定位的鲁棒性，尽量减小非车牌区域被误判为车牌的可能性，需要对提取到的特征图做Sobel运算，以将车牌中的字符和车身以及背景区分出来，为最后的形态学操作做好基础。

图2 Sobel运算原理

Sobel算子的工作原理是对图像近似求一阶导数，包含水平和垂直2个方向，并根据导数的大小来判定图像边缘信息。Sobel使用卷积模板近似求解导数，即模板与图像对应点相乘并累加得到图像对应模板中间点的值。Sobel求解图像导数的过程如图2所示，原始图像中间的红色像素值，经过卷积运算(- 1×3+1×2-2×3+2×7-1×4+1×6=9)后，红色像素值5变为9。

边缘检测算子有多种，将Sobel与Laplace和Scharr算子的检测效果进行对比，具体情况如图3所示。图3结果显示，Laplace的检测效果比较灰暗，车牌位置字符的边缘不够突显；Scharr算子的检测效果较为精细，容易将车牌边缘多余的部分也检测出来，但不利于后续的定位；Sobel算子得到的结果较为理想，既能增强车牌字符部分的边缘特征，又不至于过于精细地提取车牌的边缘特征导致下一步的形态学运算效果不佳。因此，笔者选用Sobel算子进行边缘增强。

图3 Sobel和其他算子的比较

形态学操作主要是为了改变图像的形态，在图像处理技术中有着重要作用。它可以实现将不连通的区域连通起来，也可以实现将连通的区域断开成不连通区域。经过Sobel边缘检测后，车牌中字符的边缘被明显增强，并且字符间的间距很小。通过形态学操作可以将所有字符连成块，形成车牌图块。

在图像处理中，形态学操作包括腐蚀、膨胀、开操作和闭操作。其中，开操作和闭操作是由腐蚀和膨胀操作组合而成的。腐蚀产生的效果是细化图像的边缘。它通过一个矩形框遍历图像中的所有像素，并用矩形框中的最小值修改像素值。具体表示如下：

AΘB={z|(B)z∩Ac=∅}

(4)

式中，Θ表示腐蚀运算；A为图像像素集合；B为结构元素；∅为空集。

膨胀操作则和腐蚀相反，其用矩形框中的最大值修改像素值，表示如下：

(5)

图4 腐蚀和膨胀操作效果

腐蚀和膨胀后的效果如图4所示，图4中白色区域为前景，黑色区域为背景。经过腐蚀后，前景图的边缘被细化，即被腐蚀；经过膨胀后，前景图的边缘被粗化，即被膨胀。

闭操作是对图像先做膨胀操作后做腐蚀操作：

A▯B=(A⊕B)ΘB

(6)

该操作可以将相邻的小图块连成一个大的连通区域，刚好适用于车牌图块的连通，膨胀将车牌中的字符小图块连通起来，形成整个车牌的轮廓。接着腐蚀过程将被粗化的车牌边缘重新细化，以确保车牌区域的准确定位。闭操作后的效果如图5所示，经过闭操作，车牌中的字符被连成图块，整个车牌形成一个独立的大图块，完成了车牌位置的定位。

图5 闭操作效果

3 车牌定位框架

整个车牌定位的流程如图6所示，主要包含2个大过程：

第1个过程是图6中第1行所呈现的过程，主要涉及深度神经网络的构建及深度特征图的提取。为了方便后续形态学等相关运算，要对式(2)获得的最原始的FtrMap做进一步的转换，使FtrMap中每一个像素的取值限定在0～255。转换后的FtrMap′的每个像素值按如式(7)计算：

(7)

式中，f(x,y)为FtrMap中坐标为(x,y)的像素值；f(x,y)′则为FtrMap′对应像素的像素值。

经过式(7)的转换，原始特征图就被转换为数字图像中的灰度图，如图6中②的输出图。

图6 融合深度特征图和形态学的车牌定位流程

第2个过程是图中第2行所呈现的过程，主要包含Sobel边缘强化和闭操作连通字符区域。在进行Sobel运算之前需要将灰度特征图缩放到原始图像的尺寸，以保证后续的车牌提取能准确定位到原始图像。缩放过程按如下式子表示：

FtrMap″=resize(FtrMap′,Size(Image))

(8)

式中， FtrMap″为缩放后的灰度图； Size(Image)为原始图像Image的尺寸。

经过Sobel运算，车牌中字符的边缘特征被增强，各字符紧密连在一起，结果如图6第④步处理后的输出图。接着对强化后的灰度特征图执行膨胀操作，将紧密连在一起的字符连成块，然后再用腐蚀操作细化车牌边缘多余的像素，完成车牌图块的定位，结果如图6第⑤步处理后的输出图。最后根据二值化的车牌图块，重新定位到原始图像中的相关位置并提取车牌，最终的效果如图6最后一步的输出图。

4 试验部分

笔者随机选取256张交通路上抓拍的包含车牌的场景图作为试验数据集。该数据集涉及闽、京、粤、浙等19个省市的蓝、黄车牌，而且图像涵盖白天、黑夜、复杂路况等情况。

评价指标包含查全率R、查准率P、F值(该指标用来平衡指标R和P的，R过低或P过低都会导致F值偏低，即F值用以评价模型的综合效果)和执行时间等。查全率和查准率按如下方法计算：

(9)

(10)

(11)

式中， #correct为准确定位出的车牌数； #Plate为车牌总数； #locatedPlate为定位出的图块总数。

深度特征图的提取是笔者提出方法的重要步骤，相比普通灰度图，它可以更加鲜明地区分图像对象的特征，以提升后续车牌定位的效果。随机选取3张包含车牌的图像进行深度特征图提取，并展示在表1中。从表1可以看出，特征图有效弱化了图像背景特征，并凸显了车牌部分的特征，恰好适用于处理车牌定位问题。

每一张图像可以提取多张不同的特征图，笔者统一提取第2通道的特征图(第3层输出的第2张特特图)作为后续试验特征图(因从该通道提取的特征图效果较好，而且具有普适性)。

图7 对比背景干扰下的车牌定位

图8 对比颜色干扰下的车牌定位

为了验证笔者提出方法的鲁棒性，在同样条件下对比了几种典型车牌定位方法的车牌定位效果，如图7和图8所示。从图7可以看出，若车牌背景包含纹理、边缘特征较明显的条形块，则很容易被误定位为车牌。基于边缘检测的定位方法，容易将边缘特征丰富的背景块定位成车牌；基于形态学的定位方法，容易将纹理特征丰富的背景块误定位为车牌。这2种方法误定位车牌的过程将增大车牌定位的开销，而笔者提出的方法准确定位出了车牌，加快了整个车牌定位的过程。从图8可以看出，对于车身颜色和车牌颜色相近时，则基于颜色特征的定位方法难以分辨出车牌部分，造成定位失败，而笔者提出的方法可以将车牌定位出来。

笔者将整个数据集的试验结果统计在表2中，从表2可以看出，基于边缘检测的方法，因其难以区分哪些边缘是车牌，定位出了较多的可能为车牌图块，覆盖了较多的车牌，所以R较高，P较低；基于颜色特征的方法，将定位的区域限定在蓝色或黄色图块，因此较大幅度减小了可能为车牌的图块数，能获得较好的P；基于形态学的方法表现出中规中矩的定位效果；而笔者提出的方法充分利用了深度特征图良好的特征表达特性，较好地排除了背景的干扰，有效提升了F值，又由于深度特征图是单通道灰度图，减少了直接用三通道彩色图像进行定位的时间，有效提升了车牌定位效率。

表2 不同车牌定位方法的试验结果

5 结论

1)提出了融合深度特征图和形态学的车牌定位方法：首先构建了多层的CNN深度特征图提取框架，实现了车牌图块特征显著、背景区域特征弱化的深度特征图的提取；接着利用Sobel垂直边缘检测的优良特性，实现了车牌中字符特征的增强；最后对增强后的特征图进行二值化，并用形态学操作连通车牌区域，实现车牌定位。

2)多个评价指标的试验结果验证了笔者提出方法具有较强的鲁棒性和较快的实现速度。

[1]Badawy W, Ibrahim M, Shehata M. Automatic license plate recognition (ALPR): a state of the art review[J]. Circuits and Systems for Video Technology, 2013, 23(2):311～325.

[2] 郭延祥, 陈耀武. 基于边缘检测和颜色纹理直方图的车牌定位方法[J]. 计算机科学与探索, 2014, 8(6):719～726.

[3] 王建, 刘立, 王天慧.基于四元数特定颜色对边缘检测的车牌定位[J].计算机应用, 2011, 31(3):729～732,759.

[4] 郑成勇. 一种RGB颜色空间中的车牌定位新方法[J]. 中国图象图形学报, 2010, 15(11):1623～1628.

[5] Zheng Danian, Zhao Yannan,Wang Jiaxin. An efficient method of license plate location[J]. Pattern Recognition Letters, 2012, 26(15):2431～2438.

[6] 牟韵文, 潘明. 基于改进LoG算子的车牌定位识别系统实现[J]. 广西大学学报(自然科学版), 2016, 41(2):570～578.

[7] 尚赵伟, 国庆, 马尚君. 基于二进小波变换的多车牌定位算法[J]. 计算机工程, 2011, 37(3):16～18.

[8] 罗斌, 郜伟, 汤进, 等. 复杂环境下基于角点回归的全卷积神经网络的车牌定位[J]. 数据采集与处理, 2016, 31(1):65～72.

[9] 廉宁, 徐艳蕾. 基于数学形态学和颜色特征的车牌定位方法[J]. 图学学报, 2014, 35(5)：774～779.

[10] 孙金岭, 庞娟, 张泽龙. 基于颜色特征和改进Canny算子的车牌图像定位[J]. 吉林大学学报(理学版), 2015, 53(4):693～697.

[11] 吕文强, 杨健. 一种有效的提高车牌首字符识别率的方法[J]. 计算机科学, 2013, 40(6A): 176～179.

[12] 王剑书, 樊养余, 张辰锐. 基于左上边缘点检测的快速车牌定位算法[J]. 计算机仿真, 2013, 30(11): 143～147.

[编辑] 张涛