基于层次特征的车牌检测方法研究

刘煜

摘要：近年来，深度卷积神经网络（DCNN）获得了较大的关注并被深入的研究。同时，一些基于卷积神经网络（CNN）的方法也被应用于车牌识别领域，并取得了较传统方法更好的表现。然而在实际应用中，大多数车牌识别系统只能适应单一场景，比如在公寓、学校门口的栏杆处设立的摄像头所使用的车牌识别算法，未必适用于高速公路场景。同时，固定在十字路口上方的摄像头，由于监视的区域路况较复杂，所拍摄的场景中，存在大量距离摄像头位置较远的小车牌，检测效果通常较差。而如果使用对于检测小车牌效果较好的模型，并不能很好地适用于公寓入口等位置。该文中，我们首先提出了一种基于CNN的车牌检测算法，结合不同层次特征图的预测，得出最终的车牌检测结果。该方法有利于检测不同大小尺寸的车牌，提高车牌检测算法的鲁棒性和通用性。我们的车牌检测方法在公开数据集OpenITS上的平均精度均值（mAP）达到了99.99%。

关键词：车牌检测； 卷积神经网络；层次特征

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）14-0188-03

1 引言

目前很多的车牌检测算法在实际应用中仍然存在着很多的挑战。当视频监控设备被固定在不同的高度和位置时，很多方法，甚至是一些最新的基于CNN的方法，都不能很好地检测大小不一致的车牌。尤其是距离视频监控设备较远的车牌，检出率会显著下降。为了克服这个缺陷，我们根据CNN较靠后的卷积层更利于检测尺寸较小的目标而较靠前的卷积层更适合检测尺寸较大的目标的特性，采用了一种结合不同层次特征图作为特征（即层级特征）的机制，应用于车牌检测。对于每一个被选取的特征层，都划分为若干个块，每个块都生成一系列不同尺寸和不同比例的预测框。车牌检测阶段的网络会针对每个预测框，给出是否是车牌的置信分数，并利用回归的方法，给出候选框的准确位置。由于不同层次的特征图分辨率不同，从而感受野也不同，因此不同尺寸的车牌都将被识别出来。

候选区域生成一直以来都是目标检测算法中最基础的一步。常见的方法包括：多尺度组合分组算法（MCG），滑动窗口算法和选择搜索算法（selective search）[1]。这些方法都是目标检测算法中的独立步骤，很多目标检测算法都采用了这种分段式的训练方法。Ren[2]等采用了候选区域生成网络（RPN）的方法，使得候选区域能够通过CNN生成，并且候选区域生成网络和目标检测网络的卷积计算可以共享，大大地减小了计算量并缩短了训练时间。Liu[3]则将候选区域生成网络和目标检测网络合并成为一个网络，真正实现了端到端（end-to-end）地完成目标检测任务。该方法比Ren的方法速度更快并且有更高的准确率，我们也将这一思想应用于车牌检测。实验结果表明，我们的方法能够以很高的准确率检测出任意尺寸的车牌。

2 基于层级特征的车牌检测实现细节

（1）网络结构

车牌检测的网络结构如图1所示。在[conv3_3]之前的部分是是类似于VGG-16[4]网络设计的，之后我们增加了几个卷积层，以提高检测精度。我们综合了[conv3_3]、[conv4_3]、[conv5_3]的预测框位置和置信度信息，利用非极大抑制算法（NMS）获得最终的车牌位置。相比而言，[conv3_3]的特征图上的像素感受野更小，也就是拥有更多的空间细节，因此适合检测较小的目标。同时，[conv5_3]的特征图上的像素感受野更大，适合检测较大的目标。

（2）候选区域生成

对[conv3_3]、[conv4_3]、[conv5_3]所获得的三个特征图划分成若干个块，并对特征图上的每个块生成一系列不同长宽比、不同大小的预测框。在我们的实验中，特征图上的块结合了6种预测框，选取的预测框尺寸和比例，更适合于车牌检测。设定高宽比为1：1、1：2和1：3三种比例，尺寸则根据不同层次的特征图而决定。这样，各种尺度的车牌都可以被检测。表1展示了我们在实验中所选取预测框的尺寸和比例。

（3）损失函数

对于每个层次的特征图预测，都有兩个输出。第一个输出部分是该层特征图上每个选取样本正负例分类的置信误差，用公式（1）表示：

其中，[Ncls]表示的是一批预测框，包括正例和负例预测框的数量。[pi]表示第i个预测框的预测的正负性，[p*i]表示第i个预测框的真实正负性。如果是正例样本，则[p*i=1]，如果是负例样本，则[p*i=0]。[Lcls（?）]是单个预测框的分类损失，我们用softmax计算。

第二个输出部分是该层特征图上每个选取样本位置与真实车牌区域位置的误差，用公式（2）表示：

其中，[Nreg]是表示的是一批预测框中正例样本的数量。[ti]表示第i个预测框的预测位置偏差，[t*i]表示第i个预测框的回归目标。[Lreg（?）]是预测框的回归损失，我们用smooth-L1[5]计算，其展开形式如公式（3）：

结合这两个损失函数作为整个损失函数，如公式（4）所述，并在每一个被选取的特征图上预测。其中[λ]是权重系数。在我们的实验中，[λ=1]。

3 基于层级特征的车牌检测实验

（1）不同测试集的测试结果

我们在中山大学制作的公开数据集OpenITS上测试了车牌检测算法的准确性。OpenITS有1403张图片和1862张标注的车牌，涵盖了中国大陆所有省份的车牌。图展示了在OpenITS数据集上，我们方法和Faster R-CNN以及传统方法的效果对比。我们使用的衡量标准是mAP。如图2（a）所示，我们的方法在OpenITS上的mAP接近100%，达到了99.99%。

由于OpenITS的数据相对于现实应用场景比较周正，图像质量较高，因此，我们用自己制作的数据集也做了测试。在该数据集上，我们使用前文中所述的两种方法做了对比，结果如图2（b）所示，我们的方法达到了95.23%。自制的测试集可以在http：//t.cn/RaLJTKr下载。

（2）不同特征層对检测效果的影响

我们也调整了网络结构以检测是否更多的特征层能带来更好的检测效果，我们在自己制作的测试集上做了测试。我们选用了四个特征层的模型，发现其检测效果与选用三个特征层的模型效果接近。而更少的特征层，我们也做了相关的实验，对比效果见表2。

4 总结与展望

本文的研究是基于层次特征的车牌检测方法，根据卷积神经网络“不同特征层上的单元具有不同大小的感受野”的特性，有效地解决了尺寸较小的车牌和不同尺寸的车牌难以被同一个模型检测的问题，使模型能够应用于不同的现实场景。实验也证明了该方法比Faster R-CNN的方法更适用于车牌检测任务。未来我们将完善后续的字符识别模块，以实现高精度、高速度完整的车牌识别系统。

参考文献：

[1] Sande K E A V D， Uijlings J R R， Gevers T， et al. Segmentation as selective search for object recognition[C]// IEEE International Conference on Computer Vision. IEEE， 2012：1879-1886.

[2] Ren S， He K， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. MIT Press， 2015：91-99.

[3] Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[M]// Computer Vision – ECCV 2016. Springer International Publishing， 2016：21-37.

[4] Simonyan K， Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

[5] Fung G， Fung G. Fast Optimization Methods for L1 Regularization： A Comparative Study and Two New Approaches[C]// European Conference on Machine Learning. Springer-Verlag， 2007：286-297.