基于卷积神经网络的复杂环境车牌快速识别方法

张晓瑞

（安徽三联学院 电子电气工程学院，安徽 合肥 230601）

如今，汽车已走进千家万户，极大地方便了人们的出行。但随着道路上车辆的急剧增加，对交通秩序的影响也越来越严重[1]。近年来，交通智能化的兴起有望成为缓解城市交通拥堵、降低交通事故发生率的重要手段。车牌识别技术是智能交通领域的关键技术，一般通过图像、视频等识别手段对车牌进行识别，将获取的信息反馈到其他系统，由其他系统进行处理[2]。该技术已广泛应用在停车场自动收费系统、道路监控系统、电子警察系统中。

由于车牌识别技术广阔的应用前景，因而受到研究者的关注[3]。王晗等人[4]利用模板概率密度函数设计了一种车牌定位方法，能利用特征点的空间分布及色彩信息，迅速地判断出牌照的候选区域；根据中国标准汽车牌照的结构特点和几何特征，构造出一套标准牌照的相似性概率密度函数，并对候选牌照进行比较，从而达到准确定位的目的。虽然该方法可以满足车牌定位的需求，但是在雨天、夜间等环境下的检测性能还有待提升。张世豪等人[5]在多尺度注意力融合的基础上，提出了一个车牌检测网络模型，将三角网格的特征图与CBAM注意结构相结合，能在复杂背景下对车牌的边缘进行检测与定位，为提高车牌识别的精度提供了依据；在试验中，他们利用数据增强技术对数据集进行了扩展，很好地解决了复杂背景下的车牌识别率低的问题。但是，该方法检测小目标车牌的精度也仅为92.17%，检测精度较低。本文利用卷积神经网络，设计了一种复杂环境中车牌快速识别的方法，可以较好地解决现有车牌识别方法不足的问题，提高复杂环境下车牌识别的准确率。

1 复杂环境车牌快速识别方法设计

1.1 复杂环境车牌的定位

在复杂环境中识别车牌图像时，先对车牌图像进行定位，提取车牌图像的边缘特征[6]。假设待定位的车牌图像为J，其像素为i×j，那么可利用公式（1）提取车牌图像的边缘特征，即：

其中，A*表示初始输入图像J的边缘映射图像，q(J)表示图像映射函数，θ表示车牌图像的倾斜角度。

车辆行驶过程中，摄像头拍摄到的车牌图像会存在一定的倾斜[7]。为了保证车牌识别的精度，需将摄像头抓拍到的车牌图像进行像素块分割，利用多个图像区域校正倾斜的车牌图像，从而提高车牌识别的准确性。校正公式为：

其中，Y(∞)表示车牌图像边缘特征的提取结果。

由于原始车牌图像采用高清摄像机拍摄，随机噪声较小[8]，因此可针对待定位的车牌图像，利用卷积神经网络进行卷积操作，即给每一块像素分配一个权重，进行线性运算[9]。运算过程为：

其中，H(J)表示经过灰度化处理的车牌图像，ϕ表示卷积神经网络的卷积层，c表示卷积神经网络的池化层，K(J)表示原始车牌图像，N表示车牌图像的像素点数量，E(J)表示含有噪声的车牌图像。

在此基础上，选取特定数目的车牌图像，加入后续的卷积神经网络，再运用损失函数，对车牌图像进行尺度变异系数的预估，运算过程为：

其中，loss为损失函数表达式，ti*为车牌图像的线性表示，φ表示尺寸变化因子，W*表示卷积神经网络的学习参数。

对于提取出的车牌图像特征，在水平方向进行一阶差分变换[10]，处理过程为：

其中，a表示车牌图像的高度，b表示车牌图像的宽度。将一阶差分后的车牌图像g(a,b)在灰度大小上，沿水平方向累加后得到平滑车牌图像T(a)为：

根据车牌图像的一阶差分变换，得到复杂环境中车牌的位置信息，表示为：

其中，ui,j表示输入初始图像J中第(a,b)像素的值。

根据车牌图像的边缘特征，使用卷积神经网络对图像进行灰度化处理；再利用损失函数，预测车牌图像的尺度变化因子，从而得到复杂环境下车牌图像的位置信息。

1.2 复杂环境车牌图像的预处理

由于交通道路抓拍系统采集到的车牌图像往往存在一些噪声，因此需要进行相应的预处理。为了增强复杂环境中车牌图像的清晰度，采用非线性指数的方法对复杂环境中的车牌图像进行变换操作[11]，从而使车牌图像变得更加清晰。在此基础上，对复杂环境中的车牌图像进行非线性灰度变换，所运用的公式为：

其中，ξc[f(a,b)]表示非线性灰度变换，h(a,b)表示车牌图像在变换中的映射函数，f(a,b)表示车牌图像变换的灰度函数，ξ表示灰度变换字符，a表示指数变换系数，b表示对数变换系数。非线性变换是采用非线性的方式对复杂环境中的车牌图像进行指数变换，在一定程度上拉长了车牌图像的灰度区域，使车牌图像的灰度反差更加明显[12]。通过改变车牌原图像的灰度，提高了复杂环境中车牌图像的清晰度。

为了防止噪音对车牌图像产生干扰，在车牌图像的时域中计算RGB像素颜色的平均值[13]，将其作为每一个车牌图像块的平均像素值，具体表达式为：

式中，m表示车牌图像的像素色彩因子，n表示车牌图像的像素灰度因子，M表示车牌图像时域内的无限颜色像素值，r(m,n)表示车牌图像m和车牌图像n之间颜色像素值的平均值，g(m,n)表示像素值计算的二维连续函数。

为了保证车牌识别过程中的识别效率，将RGB彩色车牌图像转换为单通道的灰度图像，进行灰度化处理。灰度化的过程就是将每个像素点的RGB值统一成同一个值。灰度化后的图像将由三通道变为单通道，以便在进行单通道的数据处理时降低处理难度。通过车牌图像的灰度转换，将彩色的车牌图像按照一定比例分割，对其进行求和计算得出灰度值，计算过程见式（10）：

其中，V(i,j)为车牌图像的灰度值，R(i,j)、G(i,j)、G(i,j)分别为彩色图像对应像素位置上红、绿、蓝三个通道的分量值，(i,j)为图像上第i行第j列的位置。

根据公式（10）的计算，采用图像增强算法对复杂环境中的车牌图像进行增强处理，具体步骤为：

Step1：移动车牌图像识别模板，使待处理的车牌图像像素与模板中心重合；

Step2：求出模板系数与各像素点的相乘总和；

Step3：将上述乘积总和作为当前处理像素的最终像素值。

通过车牌图像的非线性灰度变换，计算出车牌图像的灰度值；结合增强处理，完成了复杂环境车牌图像的预处理。

1.3 复杂环境车牌识别算法的设计

在设计复杂环境车牌识别算法时，以复杂环境中车牌的位置为依据[14]，利用公式（11）建立车牌图像的HIS模型，表示为：

其中，H表示车牌图像的色调因子，S表示车牌图像的饱和度，I表示车牌图像的强度。

在车牌图像的HIS模型基础上，定义了复杂环境车牌图像的隶属度函数[15]，获取了车牌图像边缘的纹理特征，见式（12）：

其中，fj表示复杂环境车牌图像区域j的纹理特征向量，fn表示复杂环境车牌图像区域n的纹理特征向量，e表示fj与fn之间的欧式距离，σ表示所有车牌图像纹理特征之间的距离。

根据车牌图像的纹理特征，计算出不同区域车牌图像的形状特征，计算公式为：

其中，fjk、fjv表示车牌图像区域内形状特征的横纵坐标值̂表示形状特征的横纵坐标值。

根据不同区域车牌图像的形状特征，对比复杂环境中车牌图像的边缘特征相似度，即：

式中，Pr(rk)表示车牌图像形状特征的评价集合，L表示车牌图像边缘的特征数量。

综上所述，以复杂环境中车牌的位置为依据，建立了车牌图像的HIS模型；通过定义复杂环境车牌图像的隶属度函数，获取了车牌图像边缘的纹理特征；根据不同区域车牌图像的形状特征，对比了复杂环境中车牌图像的边缘特征相似度，完成了复杂环境车牌识别算法的设计，实现了复杂 环境车牌的快速识别。

2 实验分析

2.1 实验数据集

实验过程中，选择合肥市道路交通部门发布的MIDD数据集。MIDD数据集一共包含30万份车牌样本数据，其中包括很多雾霾、雨天、强光、夜晚等复杂环境下的车牌样本。在MIDD数据集中，很多车牌样本数据会受到噪声影响，导致车牌图像更加模糊。MIDD数据集的样本分布情况如表1所示。

表1 MIDD数据集

2.2 实验环境

为了验证基于卷积神经网络的复杂环境车牌快速识别方法在实际应用中的效果和性能，实验所使用的计算机环境配置为Windows7操作系统；在CPU的选型上，选择GTX 1080Ti的显卡；内存选择32 GB的超大内存；车牌图像识别的编程语言为MATLAB。其中，卷积神经网络的训练参数为：初始学习率0.01，动量0.85。

实验图像数据由安徽省合肥市20个小区停车场进出口摄像头抓拍的图像组成，图像数量为2 100张，分辨率为1 920×1 080。由于本文主要针对复杂环境条件下的车牌检测，因此图像数据采集的环境主要为雨天环境、夜间环境与强光环境，每种环境下图像为700张。对卷积神经网络进行500次循环训练，其识别误差收敛于0.068 5。卷积神经网络训练过程的部分伪代码如图1所示。

图1 卷积神经网络训练代码

2.3 效果测试

采用本文提出的基于卷积神经网络的复杂环境车牌快速识别方法，对上述图像数据进行车牌识别检测，识别效果如图2所示。

图2 识别效果

通过观察图2中不同环境下的车牌识别效果可以看出，在不同的行车环境下，基于卷积神经网络的复杂环境车牌快速识别方法能够清晰地检测到车牌字符，可以成功识别到车牌上的号码。

2.4 对比测试

为了验证本文提出方法的优越性能，选择文献[4]提出的基于模板概率密度函数的车牌定位方法与文献[5]提出的轻量型多尺度注意力融合的车牌检测算法作为对比方法，共同对复杂环境下的2 100张图像进行识别检测；根据识别正确率的高低来判断方法的实际应用性能，识别正确率越高，说明该方法的识别精度越高，识别效果越好。测试结果如表2所示。从表2可以看出，本文方法的正确识别数量高于另外两种方法，误检数量最低，识别准确率最高。根据表2绘制三种方法的识别正确率对比图，如图3所示。

表2 不同算法复杂环境车牌识别正确率对比测试结果

图3 三种方法识别正确率对比图

通过图3可以看出，在复杂环境下，三种方法均能保持95%以上的识别正确率。基于模板概率密度函数的车牌定位方法在雨天环境、夜间环境、强光环境条件下的识别正确率分别为96.43%、96.29%和95.57%；轻量型多尺度注意力融合的车牌检测算法在雨天环境、夜间环境、强光环境条件下的识别正确率分别为97.71%、98.43%和96.29%；本文提出的基于卷积神经网络的复杂环境车牌快速识别方法在雨天环境、夜间环境、强光环境条件下的识别正确率分别为99.71%、100%和99.71%，明显高于另外两种方法，充分说明本文方法具有较高的车牌识别精度，更适合应用于复杂环境下的车牌识别。

3 结语

本文通过卷积神经网络校正车牌图像，对图像进行处理，获取车牌图像纹理特征，实现雨天环境、夜间环境和强光环境下的车牌识别，能够解决传统车牌识别方法在复杂环境下识别效果不佳的问题。通过测试证明，应用本文设计方法在复杂环境下对车牌的识别正确率始终保持在99%以上，识别精度较高。因受时间限制，本文未能对有污损的车牌展开识别研究。后续可结合字符模板匹配方法，对字母数字有污损的车牌进行有效识别，进一步提高多种环境下车牌的识别效果。