一种雾霾天气下的端到端车牌检测与识别系统

田智源，李志伟，王修文，孟 珊

（上海工程技术大学 电子电子工程学院，上海 201600）

0 引言

智能交通广泛的应用在交通管理系统中[1]，其中起着关键作用的是车牌检测与识别技术，这为违章检测，车辆追踪和停车管理提供了便捷，但由于雾霾天气的增加，会影响计算机视觉对图像的检测和识别能力，所以有必要对图像进行图像去雾的预处理。

传统的图像去雾算法，如暗通道先验[2]，颜色衰减先验[3]等，能实现图像去雾，展现图像的细节信息，但这类去雾算法普遍会导致图像对比度会衰减。针对此问题，本文提出一个自适应的对比度调节去雾模型，对雾霾天气下的车牌图像进行预处理。

近年来，随着深度学习的高速发展，卷积神经网络被有效地运用到车牌识别系统中。相比传统的方法，基于深度学习的神经网络算法提高了车牌检测和识别系统的鲁棒性，能在晴朗的天气环境下高效运行。先前的方法将所有车牌统一处理，而不同尺度和类型的车牌拥有不同的特征，级联神经网络[4]能对不同的车牌所需特征进行融合，相互补充，减少非必要的特征，有效的提升学习速度。文献[5]提出的残差网络，有效地解决了深层网络退化问题，同等层数的前提下，收敛速度更快，同时还能防止过拟合。在目标检测，一阶全卷积网络[6](FCOS)能对目标轮廓进行分类和回归，该网络在分类中提出中心度量（centerness），有效地降低远离对象中心的边界框的权重，能提高检测准确率。基于上述的研究，本文提出一种雾霾天气的车牌检测与识别模型，验证了该模型在不同程度的雾霾天气下的可行性和准确性。

1 图像自适应去雾算法

1.1 大气散射模型

基于大气散射模型下的去雾算法是目前传统去雾算法的主流，该模型由McCartney提出，广泛应用于模糊图像的建模，如式(1)、式(2)所示：

其中，x是图像像素点的位置；I输入模糊图像；J为去模糊后的图像；A为全局大气光照强度；t是透射图，表示未被散射和吸收掉的大气光照强度值与相机获得到的场景光照强度的比值；β称为衰减系数；d(x)为深度图，与雾霾的浓度密切相关。其中影响图像对比度的主要参数为A和β的值。

1.2 深度图的估算

为了恢复出无雾的输出图像，由(1)可知，需要计算出A和t的值。首先，在计算透射图t，由颜色衰减先验知识(CAP)可知，在HSV色彩空间中，图像中雾霾的浓度与输入图像的v和s之差近似呈现线性关系，进而能动态的计算出图像的深度图d(x)：

其中，v(x)图像的亮度值；s(x)是图像的饱和度；ε(x)是随机误差补偿项，且ε(x)～N(0,σ2)，σ=0.041337。

1.3 自适应参数

假设空气介质是相同且均匀的，此时取初始值衰减系数β=1，在[0,2]之间变化时，会影响图像的对比度，且存在一个最佳值。由于雾霾天气下拍摄时，采集到图像可能会产生色彩偏差，导致对比度降低，根据是否产生色偏特性，提出一个自适应参数ρc来修正β值：

1.4 双层引导滤波

若根据式(3)、式(6)，直接计算出的透射图，则会有边缘信息的缺失和模糊现象，因此还需要平滑处理。本文在引导滤波[8]的基础上，提出双层引导滤波。

经过单次的滤波，输出图像还是会残留不同频段的噪声。如图1，双层引导滤波采用两次引导滤波，第一次滤波将引导图像I和输入图像p作为输入，第二次滤波将第一次滤波的输出图像q和输入图像p作为输入。不同的是，第一次的引导滤波内核半径大，在消除高频噪声的基础上，初步保留图像的基本轮廓信息，第二次的引导滤波内核半径小，能进一步消除低频噪声，使图像更加平滑，清晰。

图1 双层引导滤波

图2(a)表示原始理论估算图，图2(b)表示经过二次引导滤波后的深度图，图中的噪声基本被平滑去掉了，得到具有清晰轮廓和细节的透射图，图2(c)表示最终恢复出的透射图。

图2 深度图的平滑处理和恢复

1.5 大气光照值的估算

为了进一步提升图像的对比度，本文还修正了大气光照值。根据图像的亮度直方图，提取图像中亮度最高的2%的像素点：

其中idx(·)是提取出的像素点；N表示图像像素点的总数；r表示挑选出来的像素点经过正则化后的比例，值域是[0,1]。经过上述的处理，最终的大气光照强度的计算公式：

1.6 去雾图像恢复模型

综合以上的分析计算，结合式(1)，得到最终的去雾图像：

为了避免透射系数可能趋于0，导致去雾图像容易产生噪声信号，本文对t设置一个下限值，一般取0.1，在能保留模糊图像里少量的噪声信号的同时，使图像显得更加自然，所以最终的去雾数学模型为：

2 车牌检测和识别系统设计

2.1 模型设计

端到端的车牌检测和识别模型设计如图3所示。

图3 车牌检测和识别模型

输入图像首先需要进行图像预处理，该过程包含雾霾天气下图像去雾，Harris角点检测。图像去雾为了获取清晰无雾图像，展现车牌细节信息，再进行角点检测，获取到车牌的轮廓粗坐标，然后经过检测网络后，最终输入到车牌识别网络，整个网络训练完成后，将原始图像输入后，能直接输出车牌识别后的结果图，实现了端到端的雾霾天气下的车牌检测和识别。

2.2 车牌检测网络

车牌检测网络如图4所示。在该网络中，主要包含主干卷积网路，每个小块是残差网络（ResNet），上下分支由级联神经网络（CBNet）相连，最后分类和回归是一阶全卷积网络（FCOS）。

图4 车牌检测网络

车牌检测过程中，主要通过卷积网络进行特征提取操作。但对于不同的尺度的车牌，如果使用同一网络，显然会加重训练成本，为此，在原有卷积网络的基础上，加入了级联神经网络，将不同尺度的车牌进行特征融合，以降低训练成本。同时，在特征提取的五个卷积层中，每个块都是残差网络块，该结构的目的是在提升训练速度的同时，能有效的防止过拟合和梯度爆炸问题。结构如图5所示。

图5 残差网络块

为了得到最终准确的车牌轮廓信息，在Head块中，采用全卷积层，对学习到的车牌轮廓信息进行分类和回归。分类分支中，在中心度的限制下，降低远离对象中心的边界框的权重，提高检测性能。回归分支中，预测出原始输入的车牌轮廓信息。其网络结构如图6所示。

图6 分类、回归网络

车牌检测网络的分类采用焦点损失（focal loss），回归分支采用交并比损失（IOU loss)，该检测网络总的损失函数为：

2.3 车牌识别网络

传统的OCR文字识别采用卷积神经网络提取特征能力较弱，部分网络采用多个全连接层（Fully Connected layer）会导致参数的聚集，加重了训练成本。因此，本文采用更易训练的GRU（Gate Recurrent Unit）循环神经网络，提出一个新的车牌识别模型，对车牌进行特征提取，完成识别过程。

中国的车牌是由7个字符组成，第一个字符是31个省份的简称之一（不包括港澳台），紧接着的是一个英文字母字符，最后的五位由26个英文字母和0到9的数字组成。车牌识别模型如图7。将前面检测网络输出的车牌轮廓框以及内部信息作为输入，通过多次卷积、池化操作后，输入到全连接层，再传递到GRU块中，经过cancat融合特性，经过再一次的全连接层后，通过softMax层，就能输出识别的车牌号，完成车牌识别操作。

图7 车牌识别网络

3 实现

3.1 数据准备

本文采用的数据集是通过张清晰的包含车牌的原图，经过数据增强，主要包含随机剪裁、翻转、添加噪声操作后，得到张无重复、不同角度、不同背景、不同环境的真实含车牌图像，其中也包含复杂环境下的图像，如雾霾、下雨、下雪的车牌图像。每张图像是RGB三通道的，分辨率为300(宽)×300(高)。本次实验将数据集按8:2比例分为训练集和测试集。

3.2 网络训练

本次实验环境为Ubuntu16.04操作系统，python3.6编程语言，Tensor-flow1.13框架，显卡型号Nvidia GTX 2080Ti。Batch_size设置为16，前90个epoch的学习率为，衰减率为10，一共迭代300个epochs。训练完成后，保存每个网络参数。

3.3 实验结果

图8中，输入的是清晰的包含车牌图像，输出结果包含车牌文字和识别精度。实验结果显示，该端到端的车牌检测最高精度能达99.2%左右，平均识别速率为68fps。

图8 车牌检测与识别结果

图9表示能见度大概为4m左右雾霾天气的实验结果，输入是含有雾的车牌图像，输出结果证明该模型在雾天的有效性。

图9 雾霾天气下的实验结果

相比目前主流的目标识别方法，在本文的数据集下，将各方法的网路参数调至最优。表1显示，本文模型的准确率和识别率具有一定的优势。

表1 实验结果对比

4 结语

本文提出了的一种新型的雾霾天气下端到端的车牌检测与识别模型，该模型将级联神经网络、残差网络、GRU循环神经网络有效的结合起来，充分的应用每个网络的优点，并结合去雾算法对含雾霾的车牌图像进行去雾处理。实验结果显示，本文模型能有效的提高车牌检测与识别系统的鲁棒性，适用于能见度较低的应用场景。未来有望改进图像预处理过程，使车牌识别系统适用于更多复杂的环境中。