基于多特征融合的交通标识实时分类与识别

揭伟 李为相 李为

摘  要： 针对交通标识分类识别过程中因样本类别之间的不平衡常使分类器性能减弱且实时性较差的问题，提出一种基于多特征融合的交通标识实时分类识别方法。首先，选取具有较强鲁棒性的HSV颜色空间对标识图像进行阈值分割处理，分割出交通标识所在的感兴趣区域;其次，提出一种HOG?MBLBP特征融合算法，通过支持向量机分类算法，实现交通标识的精确分类识别;最后，针对视频图像中交通标识识别实时性问题，采用自适应卡尔曼滤波算法进行交通标识的跟踪识别。实验结果表明该方法具有97.88%的分类准确率且具有较好的实时性。

关鍵词： 交通标识; HSV颜色分割; 特征融合; 支持向量机; 卡尔曼滤波; 跟踪识别

中图分类号： TN911.73?34                       文献标识码： A                         文章编号： 1004?373X（2019）11?0050?04

Abstract： In the classification and recognition process of traffic signs， the imbalance among the sample categories makes the classifier performance weak and real?time performance poor. Therefore， a traffic signs real?time classification and identification method based on multi?feature fusion is presented. The HSV color space with strong robustness is selected to segment the threshold of the sign image， and the region of interest of traffic signs is divided. A HOG?MBLBP feature fusion algorithm is proposed to realize the accurate classification and identification of traffic signs by combining it with support vector machine classification algorithm. The adaptive Kalman filtering algorithm is used to perform the traffic signs tracking and identification to solve the real?time performance problem of traffic signs in video image. The experimental results show that the method has the classification accuracy of 97.88%， and perfect real?time performance.

Keywords： traffic sign; HSV color segmentation; feature fusion; support vector machine; Kalman filtering; tracking recognition

0  引  言

交通标识的检测与分类识别是无人驾驶系统和驾驶员辅助系统的重要组成部分。常用的交通标识检测方法有基于形状[1]和颜色[2?3]的检测方法、基于形状与颜色相结合的检测方法[4]，以及基于特征和分类器的机器学习方法[5?7]。文献[8]提出基于深度属性学习的交通标识检测方法，该方法通过引入交通标识的形状、颜色、图案内容三种视觉属性，在卷积神经网络中加入属性学习约束，同时进行交通标识属性学习和分类学习，提高了交通标识识别的准确率和召回率，但在分类时准确率仍不高。文献[9]在分块核函数的基础上提出基于多个图像特征进行组合决策的识别方法，该方法相比单特征识别具有更精确的识别率，但在视频图像中达不到实时识别。

针对以上不足，本文提出一种基于多特征融合的交通标识实时分类识别方法。利用稳定的HSV颜色空间分割出目标区域;然后利用局部纹理特征LBP和局部梯度特征HOG的各自优势，提出HOG?MBLBP多特征融合算法;利用SVM多分类器在建立的交通标识样本库上进行精确分类识别;最后通过自适应卡尔曼滤波算法对交通标识进行跟踪识别。实验表明本文方法可以很好地满足实时性、准确性等要求，具有较优的性能。

1  基于HSV颜色空间的交通标识分割

本文采用鲁棒性较好的HSV颜色空间算法对交通标识牌进行分割，经HSV颜色空间分割得到的红色标识和蓝色标识区域如图1所示。

图1  HSV颜色空间分割交通标识

由图1a）和图1b）可见，HSV颜色空间分割能检测出所有标识牌，但也会检测出非标识牌，需要进一步剔除误检的非标识牌。

2  基于HOG?MBLBP和SVM的交通标识精确分类识别

对于上述误检区域，本文采用HOG与MBLBP相融合的算法，并通过SVM分类器进行精准的定位和识别，剔除误检的非标识牌。

2.1  特征提取及HOG?MBLBP融合算法

方向梯度直方圖（Histogram of Oriented Gradients，HOG）是一种图像局部区域的梯度方向直方图构成的计算和统计的描述子。本文所用交通标识物体划分为6×6=36的无重叠block区域，得到HOG特征为36×4×9=1 296维。

HOG特征提取过程如图2所示。

局部二值模式（Local Binary Pattern，LBP）是描述图像局部纹理特征的算子。为了充分提取交通标识图像的LBP特征，本文采用LBP的等价模式——多半径块（block）的LBP特征（Multi?radius Block LBP，MBLBP），其提取过程如图3所示。

由于HOG特征在梯度方面很好地描述了交通标识，而MBLBP特征在纹理方面能很好地描述交通标识。因此，本文采用增广特征向量进行HOG和MBLBP特征融合。设[A]与[B]是样本空间[Ζ]上的两个特征空间，对任意样本[λ∈Z]，其对应两个特征向量[u∈A]，[v∈B]。融合后的特征向量公式为：

HOG?MBLBP特征融合过程如图4所示。

2.2  基于SVM的交通标识分类识别

支持向量机（SVM）在分类效果、学习能力方面都有较优的性能[10]。分类器精确分类识别结果如图5所示，由图5可见，对分割后的交通标识（序号为1，2，3）和误检的红色轿车（序号为1）分别提取它们的HOG?MBLBP特征，送入训练后的SVM分类器，检测和输出的结果能将误检的红色轿车正确分类为第四类负样本，从而进一步精确交通标识的识别与定位。

图5  分类器精确分类识别结果

3  基于自适应Kalman滤波的交通标识跟踪

由于交通标识进行处理需要一定的时间，若在视频图像上进行处理，实时性会不理想。故对交通标识进行追踪时，加入自适应Kalman滤波器[11]。实验结果表明预测精度和更新速度较传统Kalman滤波都有显著提高。

3.1 目标区域检测

本文通过在传统Kalman滤波先验基础上加入衰减因子[Dk]，其能减小前段视频帧的信息干扰，以减小目标物体实时的变化对滤波精度的影响，确保预测区域的准确性。自适应Kalman算法描述为：

式中：[μk]为系统噪声;[xk]，[yk]表示[k]时刻状态预测区域中心状态估计;[Mk]，[Nk]，[Hk]，[Γk]，[Bk]，[Ck]为高阶常值矩阵。根据[k]时刻的测量[vk]可以得到[k]时刻的运动目标状态（[xk]，[yk]）。

自适应Kalman算法能在搜索目标的同时，根据目标的实时参数变化对预测区域进行自适应调整更新。

3.2  区域大小预测

本文使用改进的卡尔曼滤波算法对交通标识的运动状态进行估计，通过构造对应矩阵[TM]，假设[Ot-1i]表示[t-1]帧中第[i]个交通标识，[i=1，2，…，M]，[M]为跟踪交通标识的个数。[Btj]表示[t]帧中第[j]个检测候选标识物区域，[j=1，2，…，N]，[N]为当前帧检测到的候选区域个数。候选区域[Btj]和目标[Ot-1i]质心间的距离定义为：

图6  视频追踪结果

在跟踪过程中，卡尔曼滤波器根据前一帧中检测到的最终目标区域参数纠正[Ot-1i]目标区域中心的偏差，然后根据[Ot-1i]预测当前帧中交通标识所在区域中心，再对该区域进行检测，不需要对整个图像进行检索。

4  实验结果及分析

本文实验对象是德国交通标识检测基准库（The German Traffic Sign Recognition Benchmark，GTSRB），其中包括12 630个测试样本和39 209个训练样本[12]。从GTSRB中选取不同天气、不同自然背景下的交通标识2 500幅，主要针对交通标识物中的红色、蓝色、黄色标识进行实验分析。实验所用PC配置为CPU Intel[?] CoreTM i7?4770 CPU 3.40 GHz，内存8 GB，64位操作系统，实验平台为Matlab R2012a。各分类交通标志的样本组成如表1所示。

表1  交通标识样本库组成

表2为采用不同特征进行SVM分类识别的结果，表中显示的时间为图像颜色分割到目标分类识别的耗时。本文采用基于HOG?MBLBP融合特征的SVM分类准确率最高为97.88%，特征融合的维数要低于传统HOG+LBP特征融合，更易于实现，用时更短。

表2  不同特征进行标识识别结果

最后通过获取不同路况下的交通标识图像进行识别，采用不同环境下的2 000幅219×222交通标识图片作为分类器学习训练的数据库。表3为交通标识识别的耗时。

表3  交通标识识别耗时

由表3可知，在识别4个及以上交通标识所用的时间仅为125 ms，因此满足实时性要求。

5  结  语

本文提出一种基于多特征融合的交通标识实时分类识别方法。通过对交通标识牌进行感兴趣区域分割，再利用HOG?MBLBP多特征融合算法和SVM分类器移除误检区域，做到精确分类和识别;最后采用自适应Kalman滤波算法对视频图像中的交通标识进行跟踪，实现交通标识的实时检测与识别。实验结果表明，本文方法在达到较高分类准确度的同时还满足实时性要求。

注：本文通讯作者为李为相。

参考文献

[1] HOFERLIN B， ZIMMERMANN K. Towards reliable traffic sign recognition [C]// Proceedings of 2009 IEEE Intelligent Vehicles Symposium. Xian： IEEE， 2009： 324?329.

[2] LI H， SUN F， LIU L， et al. A novel traffic sign detection method via color segmentation and robust shape matching [J]. Neurocomputing， 2015， 169： 77?88.

[3] 常发亮，黄翠，刘成云，等.基于高斯颜色模型和SVM的交通标志检测[J].仪器仪表学报，2014，35（1）：43?49.

CHANG Faliang， HUANG Cui， LIU Chengyun， et al. Traffic sign detection based on Gaussian color model and SVM [J]. Chinese journal of scientific instrument， 2014， 35（1）： 43?49.

[4] CHEN T， LU S. Accurate and efficient traffic sign detection using discriminative Adaboost and support vector regression [J]. IEEE transactions on vehicular technology， 2015， 65（6）： 4006?4015.

[5] ZAKLOUTA F， STANCIULESCU B. Real?time traffic sign re?cognition in three stages [J]. Robotics and autonomous system， 2014， 62（1）： 16?24.

[6] LIU C， CHANG F， CHEN Z. Rapid multiclass traffic sign detection in high?resolution images [J]. IEEE transactions on intelligent transportation systems， 2014， 15（6）： 2394?2403.

[7] 骏扬，金立左，费树岷，等.基于多尺度特征表示的城市道路检测[J].电子与信息学报，2014，36（11）：2578?2585.

JUN Yang， JIN Lizuo， FEI Shumin， et al. Urban road detection based on multi?scale feature representation [J]. Journal of electronics and information technology， 2014， 36（11）： 2578?2585.

[8] 王方石，王坚，李兵，等.基于深度属性学习的交通标志检测[J].吉林大学学报，2017，41（1）：2?7.

WANG Fangshi， WANG Jian， LI Bing， et al. Deep attribute learning based traffic sign detection [J]. Journal of Jilin University， 2017， 41（1）： 2?7.

[9] 齐朗晔，张重阳，何成东.基于多特征組合的交通标识识别    [J].计算机工程与科学，2015，37（4）：776?782.

QI Langye， ZHANG Chongyang， HE Chengdong. Traffic sign recognition based on multi?feature combination [J]. Computer engineering and science， 2015， 37（4）： 776?782.

[10] 刘高辉，杨星.一种混合核函数的支持向量机[J].微型机与应用，2017，36（11）：20?22.

LIU Gaohui， YANG Xing. A kind of support vector machine based on hybrid kernel function [J]. Microcomputer and its applications， 2017， 36（11）： 20?22.

[11] 郭秋滟.基于改进LTD算法的视频目标跟踪[J].计算机工程与设计，2017，38（9）：2552?2553.

GUO Qiuyan. Video target tracking based on improved LTD algorithm [J]. Computer engineering and design， 2017， 38（9）： 2552?2553.

[12] 刘成云.行车环境下多特征融合的交通标识检测与识别研究[D].济南：山东大学，2016.

LIU Chengyun. Traffic signs detection and recognition research of multi?feature fusion in driving environment [D]. Jinan： Shandong University， 2016.