基于双通路跃层卷积网络的交通标志识别算法

朱东涛 ，陈杰 ，杨星 ，邵慧 ，李钊

(1.安徽建筑大学 电子与信息工程学院，安徽 合肥 230601；2.电子工程学院，安徽 合肥 230037；3.脉冲功率激光技术国家重点实验室，安徽 合肥 230037)

0 引言

交通标志识别是先进驾驶辅助系统(Advanced Driver Assistance Systems,ADAS)的主要任务之一，是自动驾驶汽车不可或缺的一部分[1]。交通标志重要特征之一在于设计的简单性，便于人眼识别。首先，交通标志形状设计简单，如三角形、圆形、矩形或多边形；其次，颜色构成简单，由红、绿、黑、白、黄组成；最后，其含义基本上是从象形符号中提取的。尽管标志设计对于驾驶员来说是清晰和有差别的，但在交通标志识别系统实际应用中存在着一些挑战，例如阴影、距离、天气条件及标志的褪色等因素。

识别目标常用的方法是提取每一个目标某些特征，然后进行模型训练，并根据这些特征进行分类。特征提取常用方法有HOG[2]、SIFT[3]和Fisher vector[4]等，均能实现图像空间的正确分类。在大规模的目标识别过程中，这些方法可能会造成目标非线性分离。因此，需要非线性模型如支持向量机[5]、随机森林[6]和神经网络[7]学习非线性决策空间。

卷积神经网络(Convolutional Neural Networks,CNN)是一种学习提取这些特征的非线性函数。Redmon[8]等人提出了YOLO网络模型，能实时的分类9000多种目标，但是网络的精度不够高，训练模型比较麻烦。He[9]等人设计出一种在ImageNet数据集上超出了人类的表现的卷积模型。但上述网络的计算效率不高，且在硬件上实现需要大量的乘法运算。ADAS具有有限的计算能力且必须执行各种任务，交通标志识别消耗尽可能少的处理时间以便立即释放处理单元是至关重要的。

针对上述问题，我们提出了新的卷积神经网络模型，采用跃层的方法，提取图像中底层的局部信息和高层的全局信息，同时为了精细识别交通标志，采用不同尺度的双通路作为输入，并设计对应尺寸的卷积核进行运算，增强鲁棒性并减少下采样对图像的影响。双通路输入模型获取丰富的特征，增强了卷积神经网络的非线性表达能力。利用这些特征分别训练网络分类器，自适应地调整不同跃层卷积网络在分类器中的权重，共同构建该卷积神经网络模型输出，完成交通标志的识别。大量的实验表明本文算法在识别任务中识别率和鲁棒性优于经典算法。

1 双通路跃层卷积神经网络的构建

两种尺度的双通路跃层卷积神经网络结构，如图1所示。其中C1、C3、C1'、C3'为卷积层，S2、S4、S2'、S4'为池化层[10]，fc1、fc2为全连接层。

图1 双通路跃层卷积神经网络模型

由图1可知，通道一中池化层S2的连接方式不同与传统方式。一方面，S2得到的特征图(feature map)转换成特征向量；另一方面，将S2的特征图继续进行卷积运算得到卷积层C3。最终将特征图转换成特征向量，并作为分类器的输入。使用两种不同尺寸的双通路输入，卷积和池化操作两通路并行处理，在全连接层两通路合并。大尺度的输入卷积后得到特征图更具有全局特性，而小尺寸则获得局部特征的特征图。不同的尺度的卷积核，得到更为丰富的特征图，这些特征图为图片提供了较高的辨别率，分类效果明显优于单一尺度的。

2 双通路跃层卷积神经网络的算法

2.1 算法的流程图

在训练过程中，首先将训练样本随机分为几批，每批含有相同数量的样本。本文批量大小选择为128,使用随机梯度下降训练CNN，对于每次迭代，分批发送到网络进行训练。直至达到最大迭代次数，训练过程才结束。

在测试过程中，将测试样本发送到训练好的网络中，并在输出向量中找到最大值来获得预测标签。训练和测试过程如图2所示。

图2 双通路跃层卷积神经网络算法流程图

2.2 网络训练

在训练之前，用不同的随机数对所有的权值进行初始化。为保证权值不能过大而进入饱和状态，进而导致训练的失败，选取较小随机数。

2.2.1 训练的步骤

第一阶段，前向传播阶段：

1)在交通标志数据集中选取训练集输入网络。

2)通过前向算法计算实际输出类别。

第二阶段，反向传播阶段：

1)计算输出层误差，即将前面已计算的实际类别与真实的交通标志对比，求误差。

2)反向误差传播，计算每一层误差。

3)使用代价函数，调整权矩阵。

2.2.2 训练的具体公式推导

1)输入训练样本的集合；

2)对每一个训练样本x：设置对应激活ax,l，并执行下面的步骤；

前向传播：对每个l=2,3,…,L计算zx,l=wlax,l-1+bl和ax,l=σ (zx,l)，其中σ (·)为激活函数。

输出误差δx,L：计算向量δx,L= aC。 σ'(zL)，其中。表示Hadamard乘积，即按元素的乘积；aC表示偏导数C/aLj。

反向传播误差：对每个l=L-1,L-2,…2计算

3)梯度下降：对每个l=L-1,L-2,…2根据更新权重和偏置。

wl→wl-更新权重和偏置，其中α为学习率，m为小批量的数据大小，上式为深度学习的必要条件。

4)特征融合：F(n)=an·X+(1-an)Y,其中X、Y分别为通路一和通路二的特征，an表示交通标志的权重系数。

3 实验与结果分析

本文所用的计算机配置为CPU Intel(R)Core(TM)i5-3230 2.60 GHz,Ubuntu 14.04操作系统，显卡为NVIDIA GEFORCE GT650M，显存2 GB，GPU并行加速计算，内存8G，硬盘为7200 r/s。

3.1 数据准备

图3 GTSRB数据集一些例子

实验采用德国交通标志数据集(GTSRB)评估本文方法。该数据集包含复杂的场景39209个训练和12630个测试图片以及交通标志的真实边界框和真实标签。图片的尺寸从15×15到250×250大小不等，如图3所示。图片由驾驶时安装在汽车上的相机拍摄，捕获的交通标志图像包含各种具有挑战性的问题，包括由于汽车运动引起的模糊效应，倾斜，由于不同的天气条件导致的亮度变化，图像中的交通标志的非常小的尺寸和遮挡。由于本文使用的卷积神经网络，通路一将图片大小调整为32×32，通路二裁去边缘，保留交通标志的内部指示信息，大小调整为24×24。

3.2 跃层卷积神经网络识别实验

3.2.1 参数设置

该网络包括2个卷积层和2个池化层，是一种轻量级的网络，卷积核的大小为5×5，池化层大小为2×2。激活函数是修正线性单元(rectified linear unit,ReLU)。在卷积层后加入局部响应归一化层(LocalResponseNormalization,LRN)，采用随机梯度下降法来训练网络。

表1 跃层卷积神经网络参数设置

其中，ks表示卷积核的尺寸，nm表示特征图的数量，ss表示移动的步长，flatten将数据向量扁平化，Concat表示数据连接起来，nn表示全连接层的输出的数量。

3.2.2 实验结果与分析

跃层卷积神经网络的训练如图4所示，每一次迭代结束，记录测试网络的代价函数和精度，其中图4(a)表示GTRSB训练集和测试集的代价函数值，图4(b)为训练集和测试集的精度，可见它们在10次迭代后接近收敛。在饱和状态时训练集明显要优于测试集，我们可以增加训练集数量减少这种差距。对比传统的CNN[11][12]，本文训练网络的收敛迭代次数少，识别精度更高，这是由于在全连接层汇集低层特征图和高层特征图，分类特征较传统的网络丰富许多，因此网络表现更为优秀。

图4 跃层卷积神经网络训练测试曲线

3.3 双通路跃层卷积神经网络识别实验

3.3.1 参数设置

双通路跃层卷积神经网络参数设置如表2。

表2 双通路跃层卷积神经网络参数设置

3.3.2 实验结果与分析

由图5可见采用双通路的跃层卷积神经网络(DCLS-CNN)识别精度明显要比单通路LS-CNN高。由表1与表2可知，网络的卷积核数并没有增加，而对通路二的截取交通标志核心区域，输入尺寸变小。双通路输入提升了算法的鲁棒性，将通路一和通路二的特征图融合起来进行交通标志分类，此时全连接层具有更为有用的特征信息。算法的核心信息进一步的增强，且计算量并未增加，故算法的识别效果要优于单通路的LS-CNN。

图5 单双通道跃层卷积神经网络测试精度曲线

各类算法对比结果如表3所示，Cires,An[13]等人提出Committee of CNNs算法精度高，但训练时间长，需要进行大量的预处理；人工方法[14][15]尽管训练时间短，但识别率并不高。本文提出的算法解决了识别率低，训练时间长等问题，操作简单并且能快速收敛，为了进一步提升算法的识别率，可采取对图片的预处理，增强图片的清晰度。

表3 各类算法对交通标志的识别结果

4 结论

本文提出了基于双通路跃层特征融合卷积神经网络的算法，针对传统神经网络对复杂背景识别不高的问题，利用双通路输入不同尺度图像增加局部不变信息，利用跃层把高层特征图与底层特征图融合在一起获得特征不变性的同时保留交通标志的细节信息。实验表明，本文对GTSRB数据集进行识别，具有较高的识别率和鲁棒性。其准确率明显优于单一跃层卷积神经网络和人工特征提取的方法。本文的不足之处，没有给出与其它算法精确的时间比较，这是由于实验平台的限制，但是根据算法时间复杂度能反映问题。今后的工作，进一步改进网络的结构，进一步减少网络的计算量。同时调整网络的超参数，可以得出更为满意的实验结果。

[1]Hamed H.A,Elnaz J.H,Domenec P.A practical approach for detection and classification of traffic signs using Convolutional Neural Networks[J].Robotics and Auton0mous Systems 2016(84)：97-112.

[2]Greenhalgh J,Mirmehdi M.Real-time detection and recognition of road traffic signs[J].IEEE TransactionsonIntelligentTransportation Systems,2012,13(4)：1498-1506.

[3]Liu C,Yuen J,Torralba A.Sift flow：Dense correspondence across scenes and its applications[J].IEEE transactions on pattern analysis and machine intelligence,2011,33(5)：978-994.

[4]Sánchez J,Perronnin F,Mensink T,et al.Image classification with the fisher vector：Theory and practice [J].International journal of computer vision,2013,105(3)：222-245.

[5]Shalev-Shwartz S,Singer Y,Srebro N,et al.Pegasos：Primal estimated sub-gradient solver for svm[J].Mathematical programming,2011,127(1)：3-30.

[6]A.Ellahyani,M.E.Ansari,I.E.Jaafari.Traffic sign detection and recognition based on random forests [J].Applied soft Computing 2016,46(9)：805-815.

[7]Y.Tan,P.Tang,Y.Zhou,W.Luo,Y.Kang,G.Li.Photograph aesthetical evaluation and classification with deep convolutional neural networks [J].Neurocomputing 2017,228(3)：165-175.

[8]RedmonJ,FarhadiA.YOLO9000：Better,faster,stronger[EB/OL].[2070-09-20].https：//arxiv.org/abs/1612.08242.

[9]He K,Zhang X,Ren S,et al.Delving deep into rectifiers： Surpassing human-level performance on imagenet classification[C].Proceedings of the IEEE international conference on computer vision.2015：1026-1034.

[10]Scherer D,Müller A,Behnke S.Evaluation of pooling operations in convolutional architectures for object recognition[C].International conference on artificial neural networks.2010：92-101.

[11]王晓斌，黄金杰，刘文举.基于优化卷积神经网络结构的交通标志识别[J].计算机应用2017,37(2)：530-534.

[12]谭帧刚.基于多分辨率卷积网络的交通标志检测与识别[D].大连：大连理工大学，2015.

[13]Cires,An D,Meier U,Masci J,et al.Multi-column deep neural network for traffic sign classification[J].Neural Networks,2012(32)：333-338.

[14]Zaklouta F, Stanciulescu B. Real-time traffic-sign recognition using tree classifiers[J].IEEE Transactions on Intelligent Transportation Systems,2012,13(4)：1507-1514.

[15]Gonzalez-Reyna S E,Avina-Cervantes J G,Ledesma-Orozco S E,et al.Traffic Sign Recognition Based on Linear Discriminant Analysis[C].MICAI 2013(2)：185-193.

[16]Sermanet P,LeCun Y.Traffic sign recognition with multi-scale convolutional networks [C].Neural Networks (IJCNN),The 2011 International Joint Conference on.IEEE,2011：2809-2813.