神经网络在车牌识别中的应用

王 力，王小华，王 莉

(长沙理工大学 电气与信息工程学院，湖南 长沙 410076)

车辆牌照自动识别系统LPR(License Plate Recognition)是把计算机视觉理论和技术应用于车辆牌照识别的专用系统，是计算机视觉与模式识别在智能交通领域中的综合应用，涉及到图像处理、人工智能、信息论、通信技术和工程学等多门学科。LPR是智能交通系统ITS(Intelligent Traffic System)中的关键技术之一[1]。近年来，随着ITS在社会生活中的广泛应用，LPR也发展得非常快，已经逐渐地应用到现实生活中。由于LPR具有广阔的发展前景，它的开发和研制工作在国内外均受到极大的关注。

在车牌识别系统中，由于实际使用条件的影响，存在着许多影响识别率的因素，包括背景复杂程度、光照条件的变化、车牌污损以及由于拍摄角度或车辆运动等原因导致字符变形歪斜等。这些都对图像处理和识别算法提出了很高的要求。识别算法中值得重视的是算法的学习能力，当出现新的车牌模式时，算法应能很方便地适应新模式。目前常用的字符识别算法包括模板匹配、轮廓匹配、拓扑特征检测、基于Hausdo距离的模板匹配、模糊模式识别和神经网络等。其中，神经网络识别方法具有稳健性好、识别率高、对残损字符识别效果好等优点，是目前较为流行的识别算法[2]。

但是目前这些技术大多依赖于图像预处理前阶段的训练和分类。而本文设计了一种没有直接预处理的像素车牌结构的卷积神经网络。卷积神经网络方法的应用避免了图像预处理以及由其出现的去噪问题的影响，以确保没有相关资料的不切实际的假设，最大程度地保证了丰富的原始信号被保留。而且本卷积神经网络已被成功应用于视觉图形装置，例如手写字符识别、一般对象识别、人脸识别和行人跟踪等。

1 卷积神经网络

卷积神经网络是近年发展起来并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时，发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络CNN(Convolutional Neural Networks)。目前，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂的前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用[3]。FUKUSHIMA K在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进，其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”[4]，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。

CNN的基本结构一般包括两层：(1)特征提取层。每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，与其他特征间的位置关系也随之确定下来。(2)特征映射层。网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数[5]，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的二次特征提取结构减小了特征分辨率。

CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显示的特征抽取，而隐式地从训练数据中进行学习。同时，由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络，这一特点避免了特征提取和分类过程中数据重建的复杂度。

2 卷积神经网络在车牌识别中的应用

为了提高车牌字符的识别率，本文采用一种改进的基于卷积神经网络的识别机完成字符识别，其网络结构如图1所示。图中，S层为简单(simple)神经元组成的神经层，完成特征提取，其输入连接是可变的，并在学习过程中不断更正。C层则是由复杂(complex)神经元组成的神经层，它的输入连接是固定的，不可修改，显示接收信心被激励位置的近似变化。网络中C层的最后一层为识别层，可以显示模式识别的结果。经过学习，网络可以自动地识别输入模式，而不受输入图片扭曲、缩放和位移的影响。

图1 卷积神经网络结构

从图1可以看出，网络由输入层U0，差异提取层UG、4组 S层和 4组 C层组成，主要流程如下：U0→UG→US1→UC1→US2→UC2→US3→UC3→US4→UC4。 其 中 差 异 提 取层对应于视网膜中的中心细胞，由加强中心感受野神经元平面和抑制中心神经元平面两部分构成，UG层的输出作为第一个S层的输入；US1层中的S神经元通过有监督训练，提取输入图像中不同方向的边缘成分，它的输出作为UC1的输入；第二组和第三组中S层的神经元是无监督竞争学习的自组织神经元；US4层通过监督竞争学习的训练来正确识别所有样本；UC4层是网络的输出层即识别层，显示网络最终的模式识别结果[6]。

差异提取层UG的输出如下：

S层S神经元的响应函数如下：

式中，asl(ν，φ，k)(≥0)是上一层 C 神经元 ucl-1(n+ν，φ)至该层S神经元的连接函数，同一神经元平面的所有神经元的输入连接是相同的[7]。θl是第l层S神经元的阈值，asl是隐含层数 V 的半径。 当 l=1 时，ucl-1(n，k)即为 uG(n，k)，此时，kcl-1=2。在识别过程中，Us4层S神经元的最大输出决定最终的识别结果。

除Uc4层外，其余三层C层的神经元响应函数如下：

式中，acs(ν)是 C 层的输入。

3 训练集和测试集的描述

在训练集中同时需要常规积极样本和消极样本，因此本文建立了人工采样的不同领域收集得到实时交通场景的400辆车牌图像积极训练集。大多数基于学习方法的中国牌照的车牌识别使用一个大约为16×48的输入窗口[9]，因为作为最小的一个窗口可以做到不遗漏任何重要信息。考虑到字符识别的进程，选择了中央部分窗口车牌，如大小为20×60的直方图、均衡和整体亮度校正都没有强度，正常情况下都适用于裁剪的车牌。卷积神经网络的鲁棒性具有规模和地位上的优势，因此本文的目标是为其鲁棒性提供不规范的样本。

为了创造更多的样本，并加强不变性的强度，色彩转换和对比还原转换适用于所有原有的训练样本，最后得到的积极样本训练集包括2 400块车牌。图2是一些车牌的实物图。

图2 车牌实物图

4 实验结果

实验共分两步进行，前期对采集到的车牌图片进行预处理(包括定位、分割等)，后期首先选取理想预处理条件下得到的 200个20×60的样本图片(每个字符为20个)[10]训练卷积神经网络，得到各层的权值、阈值及神经元细胞平面数，然后使用优化后的神经网络识别机对200个 20×60的(每个字符为 20个)测试样本字符图像进行识别，其正确的识别率达到99%。

对于神经网络，过度训练是一个不可忽视的严重问题。当过度训练时，虽然训练错误不断减少，但是随着时间的推移，测试误差经过最小值后开始一定数量的增加迭代，并且可以观察到这一现象的识别率并不稳定。其学习曲线如图3所示。

图3 有无牌照的识别效率

实验结果表明，CNN用于车牌识别切实可行，训练样本空间覆盖越完备则识别率越高。卷积神经网络通过避免显式的特征提取过程，隐式地从训练样本中获取对构筑训练样本空间贡献较大的特征，与传统网络相比有更高的识别率和抗干扰性[11]。识别失败原因是该类样本在训练样本库中未曾出现或出现较少。

本文利用神经网络的优势，采用一种改进的基于卷积神经网络的识别机制对车牌照中的字符进行识别。该识别方法通过对理想预处理条件下的车牌字符图片的学习，优化了网络系统中各层的权值参数，大大提高了车牌照中的字符识别率。但实际应用中，前期预处理会出现车牌定位不清、字符分割错误等缺点，这些都会影响识别效果，降低实际识别率。因此，在今后的工作中，将对网络结构提出进一步的改进，使其可以识别预处理较差条件下的车牌字符。

[1]高隽.智能信息处理方法导论[M].北京：机械工业出版社，2004.

[2]边肇祺.模式识别[M].北京：清华大学出版社，1987.

[3]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003.

[4]NEUBAUER C.Evaluation of convolutional neural networks for visual recognition[J].Neural Netwoks， 1998，9(4)：685-696.

[5]Li Baoqing，Li Baoxin.Building pattern classifiers using convolutional neural networks[J].Neural Networks， 2001，5(3)：3081-3085.

[6]唐汉征.车牌识别系统的工作原理及其应用[J].现代电子工程，2004，2(1)：66-69.

[7]FUKUSHIMA K. Neocognitron for handwritten digit recognition[J].Neurocomputing， 2003：161-180.

[8]FUKUSHIMA K.Neocognitron：a hierarchical neural network capable of visual pattern recognition[J].Neural Networks，1988，1(2)：119-130.

[9]魏武.一种基于模板匹配的车牌识别方法[J].中国公路学报，2001(1)：104-106.

[10]王璞.车牌字符识别的混合特征提取方法[J].沈阳工业学院学报，2004(3)：30-33.

[11]HAGAN M T， DEMUTH H B， BEALE M H.神经网络设计[M].北京：机械工业出版社，2002.