基于多尺度卷积神经网络的交通标志识别方法

樊星 赵祥模 刘占文 沈超 徐江

摘  要： 为解决交通标志目标易受复杂环境影响且呈现多尺度分布，造成识别精度低的问题，构建一种多尺度卷积神经网络模型。针对不同尺寸输入设计相应的网络结构，提取目标特征，实现对不同尺寸目标的识别，再加权融合各子网络结果得到最终识别结果，实现多尺度目标識别。经实验验证分析，提出算法模型在小尺寸目标、较小尺寸目标、中尺寸目标、大尺寸目标上识别率分别达到99.12%，99.24%，99.41%，99.35%，保障了多尺度输入目标识别的鲁棒性，综合识别率可以达到99.31%，验证了算法在平衡实时性及准确率的基础上，具有一定的实用价值。

关键词： 智能交通; 深度学习; 交通标志识别; 多尺度目标识别; 神经网络; 加权融合

中图分类号： TN911.73?34; TP391.41                文献标识码： A                 文章编号： 1004?373X（2019）15?0134?05

Traffic sign recognition method based on multi?scale convolutional neural network

FAN Xing， ZHAO Xiangmo， LIU Zhanwen， SHEN Chao， XU Jiang

（School of Information Engineering， Changan University， Xian 710064， China）

Abstract： In order to solve the problem that the traffic sign is susceptible to the complex environment and presents multi?scale distribution， resulting in low recognition accuracy， a multi?scale convolutional neural network model is constructed. The corresponding network structure is designed for different size sign input to extract the target features and achieve target recognition of signs with different sizes. In the method， the weighted fusion of the results provided by each sub?network is carried out to obtain the final recognition results， and achieve multi?scale target recognition. The experimental verification and analysis results indicate that the proposed algorithm model can achieve the recognition rates of 99.12%， 99.24%， 99.41% and 99.35% on four size targets respectively， which can ensure the recognition robustness of multi?scale input targets， and its comprehensive recognition rate can reach 99.31%. It is verified that the algorithm has a certain practical value on the basis of real?time balance and accuracy.

Keywords： intelligent transportation; deep learning; traffic sign recognition; multi?scale object recognition; neural network; weighted fusion

0  引  言

智能交通系统（ITS）与自动驾驶技术都需要在复杂交通场景中对影响驾驶行为的相关目标进行正确、实时地捕捉与理解，而交通标志作为传递指示引导或警示信息的道路基础设施，对其进行正确识别是保证智能车辆规范行驶与道路交通安全的前提。交通标志识别主要包括特征提取与识别两个步骤，其中传统的交通标志特征提取主要有基于Hu不变矩[1]、基于仿射不变Zernike矩[2]、基于改进Zernike矩[3]的方法，识别分类主要有基于神经网络[4]、基于模板匹配 [5]、基于支持向量机[6?7]等方法，这些方法都通过传统的特征对交通标志进行特征提取以实现识别。然而，现实交通环境中交通标志往往易受复杂环境干扰，如复杂多变的光照条件、背景环境干扰、交通标志遮挡、交通标志位置倾斜，这些环境因素导致对其进行手工特征设计与提取难度极大，进而使交通标志识别难度大大增加。

近年来，深度学习模型[8]已在计算机视觉领域受到广泛关注，卷积神经网络作为深度学习经典模型之一，对目标识别有着良好的效果。近年来，出现了RCNN[9]，Fast?rcnn，Faster?rcnn[10]，FPN，Yolo，ResNet[11]等区域卷积神经网络方法，在目标检测与识别领域取得了不俗的成绩，将卷积神经网络应用于交通标志识别成为研究的热点。在实际交通环境中，为方便行人和司机注意，交通标志通常被设计成特定的比例大小。在车辆行进过程中，由于车辆与交通位置距离的多变性，采集的交通标志大小不一。如何设计一种鲁棒的网络实现不同尺度下目标的识别是研究的难点之一。因此，本文提出一种多尺度卷积神经网络模型，融合多尺度下提取目标特征加强对多尺度目标物体识别的精度与鲁棒性，以实现对交通标志的高精度识别。

1  多尺度卷积神经网络架构设计

目标识别中最为核心的技术就是特征提取，传统的手工特征不足以对室外复杂环境下检测到的交通标志进行识别。卷积神经网络方法虽然可以灵活提取到交通标志的特征，然而传统卷积神经网络进行目标识别时需要輸入固定大小的图像，在实际环境中待检测目标的大小却是多样化的，如图1所示。

图1  多尺度目标示例

对于这些目标，需要经过裁剪、缩放等一系列的操作才能输入到网络中，如图2所示，这种裁剪缩放操作很大程度降低了目标识别精度。从原理上看，在卷积神经网络的实现中并不需要输入固定大小的图像，因此，本文设计一种改进的卷积神经网络实现多尺度交通标志识别。

图2  图像裁剪缩放操作

1.1  网络总体结构设计

传统卷积神经网络往往层级结构固定，然而多尺度的输入图像经过相同数量层级的网络，提取到的特征质量存在较大差异性，如图3所示，使得网络不能针对每种尺度的图像都提取到较为有用的特征，故单一层级结构的网络对于不同尺度输入图像的识别率差别大，只能在某一尺度上进行高质量的有效识别。为了对图像的输入不做具体的限制，同时改善使用传统卷积神经网络对交通标志进行特征提取存在的差异性，设计网络整体结构为不同层级子网络并联而成。

图3  不同尺度目标特征差异图

针对不同的输入尺寸，采用相应的识别子网络结构。目标尺寸较大时，其蕴含的特征信息更为丰富，需要提取的特征量也更大，对应的识别网络深度更深，层级更多。可提取的特征随着输入目标尺寸的减小而减少，识别采用网络的层数也应随之发生变化。道路场景中可利用交通标志尺寸通常为15×15到250×250，若针对每一尺寸输入设计子网络结构，计算复杂度过高，识别效率远不能满足实时性要求。将交通标志按尺寸大小分为小（15×15～42×42）、较小（43×43～84×84）、中（85×85～168×168）、大（169×169～250×250）四类。针对每一类设计子网络，并联得到由4个子网络组成的识别网络，既可以实现对不同尺度输入目标的特征提取，提高识别精度，又保证识别效率。

1.2  各子网络结构层设计

卷积神经网络通常由输入层、卷积层、池化层、全连接层、输出层组成，其结构如图4所示。

图4  卷积神经网络模型结构

卷积层是网络的核心内容，从本质上来讲，卷积核的作用等同于一个滤波器，每一个卷积核得到原图的一种图像特征，即称为卷积特征图。在经过本层的卷积操作后，将继续向后续的卷积层传递。池化层又称为下采样层，它是网络模型中最基础的操作之一。

由于卷积层之后的特征图参数量较大，网络训练过程较长，不利于实际操作，因此，利用池化层对特征数量进行采样提取，用于后续操作。目前最常用的下采样方式主要包括最大值采样（max pooling）和均值采样（mean pooling），最大值采样即选取邻域中的最大值作为输出值，均值采样则选择邻域内所有值的均值作为输出值。全连接操作也是卷积的特殊表现形式，但是其卷积核是[1×1]大小，全连接层后的输出常用于结果分类。

当卷积网络中所有卷积层采用[F×F]的卷积核，且卷积步长为[S1]，池化步长为[S2]时，大小为[H×H]的输入图像采用SAME卷积方式经过[n1]次卷积，[n2]次池化，得到输出图像大小为：

本文所有子网络中卷积层采用核大小为[3×3]的滤波器，卷积步长为1，池化步长为2，根据最终特征图大小一般不小于[7×7]的原则，对各子网络中的卷积层、池化层的层数及分布进行设计。

子网络1中设计5层卷积结构，前两层卷积结构都由2层卷积层与1层池化层组成，后三层卷积结构都由3层卷积层与1层池化层组成，池化方式为最大池化。每一层卷积层的输出都要用ReLu激活函数[12]进行激活，以增加卷积神经网络模型的非线性。ReLu函数定义为[y=0，    x<0x，    x>0]，相较于Sigmoid激活函数与tanh激活函数，ReLu函数在SGD中能够更快速的收敛，同时由于其不涉及指数操作，计算量更小，不会像Sigmoid进入饱和区后造成信息丢失现象，其输出部分为0的特性也缓解了过拟合问题。

子网络2中设计4层卷积结构，前两层卷积结构中包含2层卷积层，后两层卷积结构中包含3层卷积层，每层卷积层结构与子网络1中相同。相似地，子网络3中设计3层卷积结构，前两层卷积结构中包含2层卷积层，后一层卷积结构中包含3层卷积层;子网络4中设计两层包含2层卷积层的卷积结构。为了使4个子网络结构输出的维度相同，分别在子网络3与子网络4上增加1个、2个1×1的卷积核。

同时使用验证精度（Validation Accuracy）和过拟合比率（Overfitting Ratio）兩个标准对提出算法的识别效果进行评判。验证精度定义为：

图8  验证精度结果

可以看出，传统的特征识别方法和卷积神经网络识别法在四类尺寸目标上验证精度不如本文提出的网络架构，且不同类间浮动较大，同时目标越小，特征提取难度越大，类内验证精度也不稳定，说明面对多尺度输入目标识别效果不鲁棒。本文网络结构不仅在四类尺寸输入目标中都取得了最优识别结果，且识别精度差异较小，说明面对多尺度输入不仅识别精度高且鲁棒性好。

3  结  语

复杂交通场景中的交通标志检测与识别是实现智能交通系统（ITS）与自动驾驶技术的关键与基础。针对智能车真实交通环境中采集的交通标志图片通常受到环境因素影响，识别难度高，且通常呈现多尺度分布的问题，本文提出一种基于多尺度卷积神经网络的交通标志识别方法，通过设计多尺度卷积神经网络架构实现对不同尺寸输入目标的鲁棒识别。通过实验验证本文算法的有效性与科学性，与其他算法识别结果的对比表明，本文算法保障了多尺度输入目标识别的鲁棒性，提高了交通标志的识别准确率，在平衡实时性及准确率的基础上，具有一定的实用价值，可以满足智能驾驶中对交通标志的检测要求，为智能驾驶的决策与控制提供了重要依据。

参考文献

[1] SONG Wenjie， FU Mengyin， YANG Yi. An efficient traffic signs recognition method for autonomous vehicle [J]. Robot， 2015， 37（1）： 102?111.

[2] Mao Jianxu， Liu Min. Traffic sign recognition using ICA?based affine invariant Zernike moment [J]. Journal of electronic measurement & instrument， 2013， 27（7）： 617?623.

[3] WANG Yan， MU Chunyang， MA Xing. Traffic sign recognition based on Zernike invariant moment and SVM [J]. Journal of highway and transportation research and development， 2015， 32（12）： 128?132.

[4] NGUWI Y Y， KOUZANI A Z. Detection and classification of road signs in natural environments [J]. Neural computing & applications， 2008， 17（3）： 265?289.

[5] PRATIKAKIS I， GATOS B， NTIROGIANNIS K. ICDAR 2013 document image binarization contest （DIBCO 2013） [C]// International Conference on Document Analysis and Recognition. [S.l.]： IEEE， 2013： 1506?1510.

[6] CHANG Faliang， HUANG Cui， LIU Chengyun， et al. Traffic sign detection based on Gaussian color model and SVM [J]. Chinese journal of scientific instrument， 2014， 35（1）： 43?49.

[7] MALDONADO BASCON S， LAFUENTE ARROYO H， GIL JIMENEZ P， et al. Road?sign detection and recognition based on support vector machines [J]. IEEE transactions on intelligent transportation systems， 2007， 8（2）： 264?278.

[8] CIRE?AN D， MEIER U， MASCI J， et al. Multi?column deep neural network for traffic sign classification [J]. Neural networks， 2012， 32： 333?338.

[9] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich Feature hierarchies for accurate object detection and semantic segmentation [C]// Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2014： 580?587.

[10] REN S， HE K， GIRSHICK R， et al. Faster rcnn： towards real?time object detection with region proposal networks [C]// International Conference on Neural Information Processing Systems. [S.l.]： MIT Press， 2015： 91?99.

[11] HE Kaiming， ZHANG Xiangyu， REN Shaoqing ， et al. Deep residual learning for image recognition [C]// Proceedings of Conference on Computer Vision and Pattern Recognition. [S.l.： s.n.]， 2015： 770?778.

[12] EVERINGHAM M， GOOL L V， WILLIAMS C K I， et al. The pascal visual object classes （VOC） challenge [J]. International journal of computer vision， 2010， 88（2）： 303?338.

[13] RUTA Andrzej， LI Yongmin， LIU Xiaohui. Real?time traffic sign recognition from video by class?specific discriminative features [J]. Pattern recognition， 2010， 43（1）：416?430.

[14] CIRE?AN D， MEIER U， MASCI J， et al. Multi?column deep neural network for traffic sign classification [J]. Neural network， 2012， 32（1）： 333?338.

[15] AGHDAM H H， HERAVI E J，PUIG D. Toward an optimal convolutional neural network for traffic sign recognition [C]// Proceedings of Eighth International Conference on Machine Vision. [S.l.]： International Society for Optics and Photonics， 2015， 9875： 151?156.

[16] LUO H， YANG Y， TONG B， et al. Traffic sign recognition using a multi?task convolutional neural network [J]. IEEE transactions on intelligent transportation systems， 2017， 99： 1?12.