基于混合预测模型的交通标志识别方法

丁博 王水凡

摘 要：随着高级驾驶辅助系统（advanced driver assistance systems， ADAS）和无人驾驶技术快速发展，交通标志识别方法成为一个重要的研究方向。为了辅助驾驶员实现安全驾驶，减少交通事故的发生，将AdaBoost-SVM和卷积神经网络（convolutional neural network， CNN）相结合，构建一个混合预测模型（mixed forecasting model， MFM），通过该模型识别交通标志。将卷积神经网络作为可训练的特征提取器，AdaBoost-SVM作为识别器。采用卷积层和下采样层构建两组隐层结构，将预处理的图像作为CNN模型的输入，利用反向传播算法（backpropagation， BP）对CNN模型进行训练直至收敛，最后将测试集的高维特征提取出来，采用AdaBoost-SVM分类器进行分类识别。实验结果表明，该MFM对交通标志具有很高的识别率和鲁棒性，且识别率和收敛时效都优于其他传统算法，对提高辅助驾驶和无人驾驶的安全性具有重要意義。

关键词：混合预测模型; 卷积神经网络;反向传播算法;AdaBoost-SVM分类器;交通标志

DOI：10.15938/j.jhust.2019.05.018

中图分类号： TP393.4

文献标志码： A

文章编号： 1007-2683（2019）05-0108-08

Abstract：With the rapid development of Advanced Driver Assistance Systems （ADAS） and unmanned technology， the identification of traffic signs becomes an important research topic. In order to assist the driver to achieve safe driving and reduce the possibility of traffic accidents， a Mixed Forecasting Model （MFM） based on AdaBoost-SVM and CNN was proposed to identify traffic signs. In MFM， the CNN is used as a trained feature extractor and AdaBoost-SVM is used as a recognizer. The two layers of hidden layer structure were constructed by convolution and subsampling. The pretreatment images were used as the input of CNN model. The CNN model was trained by Back propagation （BP） until convergence. Finally the test set of the dimensional features were extracted， and the AdaBoost-SVM classifier was adopted to classify and identify the dimensional features. The experimental results show that the MFM has high recognition rate and robustness to traffic signs， and the recognition rate and convergence time are superior to other traditional algorithms， which are of great significance to improve the driving and unmanned safety.

Keywords：MFM; CNN; BP; AdaBoost-SVM classifier; traffic sign

0 引 言

随着经济的快速发展，车辆的数量持续增多，交通事故时有发生，道路的安全性问题日益突出，智能交通系统（intelligent traffic system， ITS）被认为是解决这些问题的基本手段[1]。其中，交通标志识别系统（traffic sign recognition， TSR）作为ITS的一个重要子系统，有效识别交通标志，从而辅助驾驶员或控制系统安全驾驶，对提高车辆的安全驾驶方面具有重大意义。在现实的环境中，道路上的交通标志往往由于复杂的室外环境，出现因光照、部分遮挡、运行模糊等问题，导致驾驶员或控制系统很难识别交通标志，降低了交通的安全性，故设计并实现一个快速、准确、有效的交通标志识别方法，并将其反馈给驾驶人员或控制系统，对于驾驶的安全性具有重要的研究意义。随之而来，大量复杂的交通标志识别算法被提出，然而目前的交通标志识别算法存在准确率高但训练速度慢，或者训练速度快识别率低等问题，为了解决以上问题，本文提出将AdaBoost-SVM和CNN相结合的MFM，该模型旨在对交通标志进行及时、准确的识别，从而有效提高驾驶的安全性。

近年来，在智能交通方面对交通标志的识别取得了突破性的进展，吸引了很多研究者投入其中。朱双东等人通过对交通标志的颜色和形状进行分析，提出了一种颜色形状对的概念，并构建了一个交通标志颜色-几何模型，对交通标志进行了分类及检测[2];刘亚辰等提出了一种融合空间塔式算子和直方图交叉核支持向量机（HIK-SVM）的识别方法，从三个方面对图像进行特征提取，有效的对交通标志进行识别[3];缪小冬等提出了一种在复杂环境中的交通标志识别方法，通过改进多尺度LogGabor小波进行特征提取，利用优化的SVM分类器进行分类，识别效果良好[4];张卡等提出了一种基于中心投影的交通标志识别算法，利用训练后的概率神经网络，实现交通标志的识别，具有较高的识别率[5]。国外研究者Lau采用深层神经网络结构对交通标志进行分类，并与浅层神经网络结构作比较 [6];Abedin等采用混合功能的鲁棒特征描述符形成TSR系统的一种新方法，称为梯度方向直方图（histogram of oriented gradient， HOG）特征和加速鲁棒特征（Speed-up Robust Feature， SURF）和人工神经网络（Artificial Neural Network， ANN）分类器，识别准确率明显提高[7];Han等介绍了一种用于驾驶员辅助系统或自主车辆的交通标志识别系统，该系统利用SURF算法提取特征进行训练，对交通标志进行检测和识别 [8];Shams等提出了一种基于Bag-of-Word（BOW）模型的多类交通标志识别系统，实现了88.02 %的识别率，且执行时间短[9]。以上算法在交通标志方面取得了良好效果，但存在训练时间过长，鲁棒性较差等问题，且随着实验交通标志样本量的增加，识别率会有所下降。

针对以上问题，本文对CNN结构进行优化，将CNN与AdaBoost-SVM算法相组合，设计出MFM，其中，利用CNN作为特征提取器，AdaBoost-SVM作为分类器。该优化方法首次应用在智能交通领域，本文针对交通标志识别设计出CNN结构，包括两个卷积层、两个下采样层和一个全连接层，利用反向传播算法对模型进行训练，同时在最后分类层使用AdaBoost-SVM分类器进行分类。实验验证了该组合算法的性能，并与PCA-SIFT[10-11]、K-means[12-13]和传统的CNN算法[14-15]进行识别率及收敛时间的比较，取得了良好效果。

1 构建混合预测模型

CNN分为特征提取和分类（预测）两个过程，它通过卷积和降采样实现映射并提取不同层次的特征，最后通过单层感知机实现分类。实验发现对于交通标志图像的識别，CNN的卷积操作可以提取输入图像的局部有用且关键的特征，而且每一个卷积图上的神经元共享卷积参数，具有良好的特征提取能力，但仅仅通过CNN最后一层单层感知机进行分类，容易出现局部最优及过拟合等问题，导致图像分类的准确率不高。为了解决这个问题，CNN模型通常结合其他分类器进行分类预测。本文采用了AdaBoost-SVM分类算法，相比于其他分类算法，它在分类预测方面具有良好的性能，可以有效避免过拟合、训练速度低等问题，准确的获取全局最优解，从而提升交通标志分类的准确率。本文将两种算法相结合，采用深度学习中的CNN算法对交通标志进行特征学习，再应用浅层学习AdaBoost-SVM算法对特征进行分类。

本文提出采用AdaBoost-SVM和CNN相结合的MFM识别交通标识，如图1所示。该模型由图像预处理、CNN特征提取、AdaBoost-SVM分类三部分组成。首先经过预处理后的图像利用卷积神经网络进行特征提取与特征选择，在获得高维特征数据后，在应用AdaBoost-SVM分类器进行分类，加速深度学习训练过程，有效提高分类的准确率。

区域裁剪：实验部分采用的每幅图像只含一个交通标志且位于中心位置，但仍有多余的背景信息会对目标识别造成影响，根据不同类别的图像的大小进行一定比例裁剪，使交通标志填充整个图像。

灰度化：由于不同地区交通标志图像的颜色信息会不同，导致同一交通标志在不同区域下识别效果存在误差，同时处理彩色图像的数据量偏大，因此将交通标志灰度化十分必要。灰度化后的图像可以更好地反映图像整体与局部的关系，降低图像复杂度。本文采用加权平均法进行灰度化处理即将彩色图像的颜色值以固定的分量系数进行求和运算，将计算结果作为灰度图像的灰度值，如式（1），其中 R、G、B为原始彩图的三种颜色分量，I（x， y）是（x， y）像素点的灰度值。

I（x，y）=0.3×R（x，y）+0.59×G（x，y）+

0.11×B（x，y）（1）

图像增强：由于数据集中图像存在光线暗、对比度差、模糊等问题，需要对图像增强来扩大目标与背景的差别，提升图像质量。本文采用空间域增强方法中的直方图均衡化来完成图像增强。通过特定的灰度映射关系将输入的图像映射到含有相似像素点的输出图像，增加了像素灰度值动态范围，达到增强图像整体的对比度效果。

尺寸归一化：数据集中图像尺寸大小不一，且有的图不是正方形图像，使MFM难以提取到有效的特征向量。实验中采用双三次插值算法将图像尺寸统一调整到4848，可以保持图像边缘细节信息，使图像降质最少，效果最佳，便于后期交通标志的识别[16]。

2）通过训练集图像训练CNN模型直至收敛或稳定。为了加速CNN收敛，卷积层采用Re LU（Rectified Linear Units）来激活神经元[17]，即

yiμ，ν=xiμ，ν/（e+αmin（N-1，i+n/2max（0，i-n/2）（xjμ，ν）2）β（2）

其中：xiμ，ν 表示（μ，ν）处通过过滤器计算得到的神经元激活度，n是该层的核总数，其余为超参数。由实验验证，将e、n、α、β分别设置为2、5、10-4、0.5。

3）MFM最后利用CNN提取的特征向量作为AdaBoost-SVM分类器的输入，具体的分类过程为：首先将测试集分类过程等分为若干层支持向量机弱分类器的组合叠加;然后基于CNN模型提取到的特征数据，应用非线性SVM算法进行交通标志分类;根据每层SVM训练结果调整样本权重;通过T次训练得到T个子SVM分类器，加权求和得到AdaBoost-SVM强分类器，输出更准确的交通标志分类结果。

首先通过实验预处理得到交通标志图像的训练集和测试集图像，将训练集图像对卷积神经网络模型进行训练，从训练数据中进行学习，不断调整参数，直至训练模型稳定或收敛，再将测试集图像采用训练好的CNN模型进行特征提取，并将提取到的特征数据作 AdaBoost-SVM分类器的输入。然后利用训练集提取到的特征数据来训练AdaBoost-SVM模型，调整参数，直至识别率最高，训练完成后，把CNN采样层中对测试集提取到的高维特征放到AdaBoost-SVM分类器中，最后完成交通标志分类过程。

2 卷积神经网络

2.1 卷积神经网络结构

CNN结构由输入层、卷积层和采样层组成[18]。图4为本文构建的交通标志识别CNN结构。该模型由卷积层C1、下采样层S2、卷积层C3、下采样层S4和全连接层F5构成。其中CNN的输入层为预处理后4848的图像，利用8个可训练的滤波器及可加偏置进行卷积，卷积核大小为55，卷积后在C1层形成8个大小相等的4444特征映射图;经过采样层S2，采样核大小为22，得到8个2222特征映射图;同样，第2个卷积层C3，采样核大小为33，产生14个大小为2020特征图;经过采样层S4，产生14个大小是1010的特征图;在F5全连接层中，将得到的14个特征图排列为一条列向量与F5层120个神经元全连接。

图4 卷积神经网络结构

Fig.4 Convolutional neural network structure

最后一层是分类器，将Softmax分类器替换成本文的提出的AdaBoost-SVM分类器对交通标志进行分类。通过比较预测值和真实值来调整CNN模型，当训练集的识别率在CNN上表现稳定时，将测试集图像输入CNN模型中，通过AdaBoost-SVM分类器对提取到的特征数据进行有效分类。

2.2 卷积神经网络的训练

卷积神经网络训练采用反向传播算法，其中样本数据集是由：输入向量和理想输出向量的向量对构成，下面是用交通标志数据集训练CNN的具体过程。

第一阶段，前向传播阶段：①从样本数据集中取一个样本（I，Px），将I输入网络;②计算相应的实际输出Ox。

第二阶段，反向传播阶段：①前面计算的实际输出类别Ox与相应的理想输出类别Px做比较，求偏差;②并以误差Ex最小化作为优化目标，反向传播更新连接权重矩阵。

Ex=12∑j（Pxj-Oxj）2（3）

本文在训练CNN模型的过程中，具体公式推导为：

1）在卷积层中，假设第l层为卷积层，第l+1层为下采样层，则第l层第j个特征图xlj的计算公式如（4），式中：ulj表示在卷积层l的第j个特征图的净激活（Net activation），ulj由l-1层所输出的特征图xl-1i和第l层的第j个卷积核klij做卷积运算求和，然后加上一个偏置参数blj得到。其中Mj是特征图子集，f（·）是激活函数，“*”表示卷积符号。

2）在下采样层，假设第l层为下采样层，第l-1层为卷积层。采用一对一重叠采样的方法，第l层计算公式如式（8），ulj表示在下采样层l的第j个特征图的净激活，ulj由H层特征图xl-1i进行下采样加权、偏置后得到。β是下采样权重系数， blj为下采样偏置项，down（n）为下采样函数。假设采样大小为2×2，那么 是将x中2×2的大小像素进行求和。

3 AdaBoost-SVM组合算法

支持向量机（support vector machine， SVM）算法和AdaBoost算法均属于比较流行的分类算法。SVM算法以结构风险最小化为准则，通过训练得到的分类器来获得全局最优解[19]。而AdaBoost算法通过迭代训练一系列弱分类器，直到误差达到一个足够小的阀值来结束算法。随着交通标志数据样本的增加，SVM算法的分类准确率会有所下降，同时核函数的选择目前也没有完善的理论支撑。而采用AdaBoost算法在处理数据集时，对噪声比较敏感，容易出现“过学习”，同时处理高维数据误差比较大。将AdaBoost和SVM相结合可以有效结合两者的优点并弥补一部分缺点，能够在每次迭代过程中，通过改变SVM的参数使得AdaBoost获得性能更好的分类效果[20]。

图5为本文设计的AdaBoost-SVM组合算法识别模型，该模型将SVM抽象成AdaBoost机制中的弱分类器，利用AdaBoost算法提高任意弱分类器的分类性能，通过不断迭代SVM弱分类器，集成SVM弱分类器，最后得到强分类器进行分类识别。

本文训练AdaBoost-SVM模型的具体步骤为：

1）输入CNN模型中特征提取数据。将卷积神经网络的特征提取后的数据作为SVM的输入。

2）初始化样本权值。选择n组训练数据，每组数据的权值为Wt（i）=1/n，i=1，选择合适的SVM核函数及核参数。

3）弱分类器SVM的预测。训练第t个弱分类器时，得到预测样本j（t）的预测误差et，et为

4）计算预测样本权重。根据样本j（t）的预测误差et计算序列的权重ωt为

5）测试数据权值调整。根据预测样本序列调整下一轮训练样本的权值，下一轮Wt+1（i）调整为

6）获得强分类函数。经过T次训练，得到T组弱分类函数f（jt，ωt），集成所有弱分类函数f（jt，ωt）得到的强分类器函数h（x）为

对于任意的交通标志定义为Ci，且Ci∈C={C1，C2，…，C5}，设交通标志Ci的识别率为u，它被正确分类为Ci样本数目为c，实际分类为Ci的样本数目为d，识别率为

在分类算法的测试中，实验完成了基于AdaBoost-SVM算法的识别函数的训练设计，识别的准确率为93.98%。将AdaBoost-SVM分类器分别换成SVM分类器和AdaBoost分类器进行训练，测试结果分别为89.73%、85.12%。如表1所示。記录3个分类器的网络训练时间，可以看出AdaBoost-SVM组合分类器训练时间短于其他两个分类器，大幅提高了训练速度，后续实验中采用AdaBoost-SVM分类器，有效缩短训练时间，提高收敛速度。

4 实验与分析

本实验平台为Windows7（64bit）操作系统，E5-2640CPU2.0GHz，64G内存，512G固态硬盘，软件环境为MATLAB2015a。

4.1 实验数据集简介

实验使用德国交通标志数据集（german traffic sign recognition benchmark， GTSRB），该数据集包括43类德国实时采集的道路交通标志图像，主要包括限速标志、其他禁令标志、解除禁令标志、指示标志、警告标志、其他标志。数据集共51839张真实的道路交通标志图像，每张图像仅含一个交通标志，其中训练集与测试集图像分别为39209，12630张，约3∶1。每类图像都是在不同的自然场景下进行采集的，且每类图像包含大小不同、光照不同的交通标志图像，也会有部分图像具有运动模糊、视角倾斜和局部遮挡等问题，所以GTSRB能够较为全面的反映真实的交通标志情况。

4.2 预处理的有效性测试

CNN具有良好的特征提取特性，所以只需对GTSRB数据集中的图像进行简单且有效的预处理，从而提升原始图像的质量，为有效进行交通标志识别提供前提。本文用到的预处理方法包括区域裁剪、灰度化、图像增强以及尺寸归一化。

为了验证本文预处理方法的有效性，以警告标志类识别为例，将预处理的图像和只经过尺寸归一化处理的原始图像分别作为CNN的输入，在网络模型各个参数均相同的情况下对图像进行分类识别，对比结果如图6所示。

由图6可知，本文预处理图像的识别率一直高于简单处理的原始图像的识别率，原因在于经过预处理后的图像其对比度、质量、标志范围等都得到改善，从而增强了图像中的有效特征。在整个500次迭代过程中，本文预处理的识别率最高可达到97.10%，而简单归一化处理的图像的识别率为95.13%，即预处理图像使网络的识别率总体提高2%。

4.3 CNN模型对图像的特征表示

为了测试CNN模型对交通标志图像的各层特征表示，实验中将某一预处理后的交通标志作为训练好的CNN模型的输入，提取到卷积层C1、下采样S2、卷积层C3、下采样S4特征表示如图7所示。

观察图7不难发现，预处理后的交通标志图像为菱形且位于图像的中心区域，经过CNN网络提取得到的各层特征，其交通标志与背景的对比度很大，有利于后续实验对交通标志类别的判断。本组实验说明本文构建的CNN网络模型可以有效提取交通标志的多尺度特征。

4.4 MFM分类的识别率分析

为了验证本文提出的MFM识别效果，通过实验，运用识别率和收敛时间对交通标志的分类性能进行评价。

实验中，调整MFM训练次数直至识别率最佳。当训练次数（N）为100、300、500的情况下对交通标志识别率及MFM性能进行比较。表2对不同训练次数N下的MFM的特征性能进行比较，发现随着N的增加CNN训练时间成倍的增长;然而不同N下的网络特征提取时间相差不多;在N为300时，分类器训练时间和分类识别时间最短。

表3对比了不同N下的6种交通标志识别率的情况，其中，在限速标志识别时，N为300比100的识别率提高了5.25%;而在警告标志识别时，N为500比300的识别率只提高了1.73%，没有明显的提升。

结果表明，N为300或500时识别率较高，且相差不多，但CNN训练时间后者是前者的两倍，且N为300时MFM特征性能最佳，所以从训练时间和识别率综合考虑，N取300比较合适。

综合上述因素，MFM在后续实验中选定训练次数为300，来提高分类的准确率。为了更好地评价本文提出的模型，实验中选择几种常见的算法和本文提出的算法对交通标志识别效果进行比较。将实验测试数据依次采用PCA-SIFT、K-means和传统的CNN算法进行识别，统计每种算法的分类结果的整体准确率，与本文提出的算法进行对比，实验结果如图8所示。

对4种算法的识别率进行比较，可以看出，在任何交通标志下，本文提出的算法识别率均在90%以上，最高可达到98.13%，其中在警告标志的识别中，比K-means算法提高了5.88%;在指示标志的识别中，比PCA-SIFT算法提高了7.07%;限速标志的识别中，比CNN算法提高了3.21%。主要的原因：K-means算法中聚类个数K是事先设定的，K值的选定很难估计，导致分类识别率不高;传统的CNN通过最后一层单层感知机进行分类，当数据量较大时，容易出现局部最优，识别率会降低;PCA-SIFT算法的投影矩阵需要一系列的代表性图像，由于交通标志图像的复杂性，导致准确率不高。

随着样本数量的增加，不同的算法呈现收敛时间如图9，实验发现本文算法比其他的算法收敛速度要快。

上述实验表明，本文提出的算法在交通标志识别上，不论是识别准确率还是收敛时间都优于其他算法。

5 结 语

本文以GTSRB为研究对象，将AdaBoost-SVM和CNN两种算法相结合，提出了一种混合预测模型MFM，在交通标志识别的问题上取得了良好的效果。该模型首先对数据集图像进行预处理，然后利用卷积神经网络模型进行特征提取，最后将提取的特征数据采用AdaBoost-SVM分类器进行交通标志识别。经仿真验证，卷积神经网络与AdaBoost-SVM算法相结合，既保持了传统CNN算法特征提取的优势，又提高了分类器的性能，实验验证交通标志的预测识别率约为95%。其识别准确率优于传统的几种算法，且收敛至预设阈值更加迅速。分类结果验证了該MFM的有效性和可行性，对辅助驾驶员及无人驾驶车辆对交通标志的预测具有良好的实用参考价值。

参 考 文 献：

[1] CHANG X， CHEN B Y， LI Q， et al. Estimating Real-Time Traffic Carbon Dioxide Emissions Based on Intelligent Transportation System Technologies[J]. Intelligent Transportation Systems， 2013， 14（1）： 469.

[2] 朱双东， 刘兰兰， 陆晓峰，等.一种用于道路交通标志识别的颜色-几何模型[J].仪器仪表学报， 2007， 28（5）： 956.

[3] 刘亚辰， 陈跃鹏， 张赛硕，等. 融合式空间塔式算子和HIK-SVM的交通标志识别研究[J]. 交通运输系统工程与信息， 2017， 17（1）： 220.

[4] 缪小冬， 李舜酩， 沈峘，等. 复杂环境中交通标志的实时识别方法[J]. 江苏大学学报（自然科学版）， 2013， 34（5）： 514.

[5] 张卡， 盛业华， 叶春，等. 基于中心投影形状特征的车载移动测量系统交通标志自动识别[J]. 仪器仪表学报， 2010， 31（9）： 2101.

[6] LAU M M， LIM K H， GOPALAI A A. Malaysia Traffic Sign Recognition with Convolutional Neural Network[C]// IEEE International Conference on Digital Signal Processing. IEEE， 2015： 1006.

[7] ABEDIN M Z， DHAR P， DEB K. Traffic Sign Recognition Using Hybrid Features Descriptor and Artificial Neural Network Classifier[C]// International Conference on Computer and Information Technology， 2016： 457.

[8] HAN Y， VIRUPAKSHAPPA K， ORUKLU E. Robust Traffic Sign Recognition with Feature Extraction and k-NN Classification Methods[C]// IEEE International Conference on Electro/information Technology. IEEE， 2015： 484.

[9] SHAMS M M， KAVEH H， SAFABAKHSH R. Traffic Sign Recognition Using an Extended Bag-of-features Model with Spatial Histogram[C]// Signal Processing and Intelligent Systems Conference， 2015： 189.

[10]WANG Y W， YU H L. Image Registration Method Based on PCA-SIFT Feature Detection[J]. Advanced Materials Research， 2013， 715： 2395.

[11]于之靖，王韶彬.改进PCA-SIFT算法的立体匹配系统[J].激光与光电子学进展， 2016， 53（3）： 177.

[12]BLOMER J， BRAUER S， BUJNA K. A Theoretical Analysis of the Fuzzy K-Means Problem[C]// IEEE， International Conference on Data Mining， IEEE， 2016： 805.

[13]刘雪娟，袁家斌，许娟，等.量子k-means算法[J].吉林大学学报（工学版）， 2018， 48（2）： 539.

[14]李兰英，孔银，陈德运.一种新的卷积神经网络的ECT图像重建算法[J]. 哈尔滨理工大学学报， 2017， 22（4）： 28.

[15]刘长征，张磊.语音识别中卷积神经网络优化算法[J]. 哈尔滨理工大学学报， 2016， 21（3）： 34.

[16]庞志勇， 谭洪舟， 陈弟虎. 一种改进的低成本自适应双三次插值算法及VLSI实现[J]. 自动化学报， 2013， 39（4）： 407.

[17]史鹤歡， 许悦雷， 马时平， 等. PCA预训练的卷积神经网络目标识别算法[J]. 西安电子科技大学学报（自然科学版）， 2016， 43（3）： 161.

[18]胡长雨. 基于卷积神经网络的目标检测算法研究[D].哈尔滨：哈尔滨理工大学， 2017： 34.

[19]丁然. 支持向量机多类分类算法研究[D]. 哈尔滨：哈尔滨理工大学， 2012： 44.

[20]CHENG W C， JHAN D M. Triaxial Accelerometer-Based Fall Detection Method Using a Self-Constructing Cascade-AdaBoost-SVM Classifier[J]. IEEE Journal of Biomedical & Health Informatics， 2013， 17（2）： 411.

（编辑：温泽宇）