全景影像中道路交通标志的自动识别

杨凯，刘如飞，崔立军，王旻烨，柴永宁

(1.山东科技大学 测绘科学与工程学院，山东 青岛 266590；2.淄博市博山区交通运输局，山东 淄博 255200)

0 引言

近年来，随着经济的发展和城市化进程的加速，交通安全问题愈加严峻。因此，智慧交通和无人驾驶技术得到了有关部门和学者们的高度关注和重视。而交通标志自动识别作为智慧交通的重要组成部分，成为了研究的热点。交通标志的自动识别主要包括路牌的检测定位与路牌识别2个方面[1]。其中，路牌的检测定位是识别的基础，同时也是最重要的难点问题。目前检测方法总体上有基于交通标志单一特征颜色特征[2]、几何特征[3]、纹理特征[4]的检测方式，以及基于多种特征相结合[5]的机器学习检测方法[6-7]。基于色彩特征检测的原理主要是在RGB、HSV和HIS等色彩空间上通过阈值分离出交通标志。采用RGB色彩空间运行速度快，但易受光线影响造成失真；HSV和HIS色彩空间能避免光照影响，HSV色彩空间的3个分量(色度、饱和度、亮度)相关性不高，对其中一个分量的改变不造成其他2个分量对人视觉的影响，可分别处理，但同时其空间非线性带来了巨大的计算量。几何形状特征的分类主要是采用霍夫变换方法[8]，在形状特征检测方面具有一定稳定性，但其计算量偏大、局限性大。鉴于以上原因，不少学者采用了颜色特征与几何特征相结合的方法来取长补短[9-10]，先利用颜色进行粗分类，再利用形状特点对分类结果进行优化细分，但在复杂的自然背景和全景影像中鲁棒性不强。Liu等[11]提出了一种基于级联检测器、SW-Gaussian模型和形状上下文匹配方法的多视点路标检测系统，通过SW-高斯模型进行强颜色提取，结合形状上下文匹配方法进行匹配，具有较高的识别精度；陈亦欣等[12]采用HSV色彩空间结合仿射变换的几何形状矫正，减少了投影失真，有效提高了精度。目前大部分的路牌识别是基于图像特征的机器学习，识别精度较高，具有较强的鲁棒性，Kiran等[13]根据增强色调和饱和度乘积的颜色分割技术，结合支持向量机(support vector machine，SVM)分类，正确率达到96.27%；Soendoro等[14]基于颜色的CIElab色调和形状弧结合，并使用线性cSVM对二值图像检测，识别正确率为97%；Liao等[15]使用支持向量机训练分类，利用遗传算法实现形状分类自适应优化，具有识别速度快、自适应能力强等优点。但大部分研究是基于裁剪目标区域或者以实景相机拍摄得到的图像作为测试样本研究实验，很少有人用全景影像作为测试样本进行研究，对于广泛应用的全景影像需要做深入的研究。针对上述情况，本文采用移动测量车采集到的全景影像作为研究对象，重点研究全景影像中道路交通标志牌的自动定位与识别。

本文提出了一种基于光谱特征与形状特征定位交通标志牌，利用机器学习算法SVM分类器分析标志牌纹理特征，进而识别交通标志牌类型的方法。我国交通标志牌主要是蓝色、黄色和红色。首先通过交通标志牌自身的颜色特征粗提取全景影像中大部分感兴趣区域，使用形态学分析进一步找出感兴趣区域中符合交通标志牌形状的候选区域，通过计算候选区域面积并设置阈值去除面积较小的噪点区域得出交通标志牌区域；然后结合方向梯度直方图(histogram of oriented gradients，HOG)和局部二值模式(local binary pattern，LBP)特征优劣互补，进行HOG-LBP特征融合；最后以全景影像为测试样本，结合SVM分类器对全景影像进行路牌的训练、分类和预测。该方法流程如图1所示。

图1 算法流程图

1 图像预处理

1.1 HSV色彩过滤

我国的道路路牌种类主要有红色和黑色的交通禁令标志、黄色和黑色的交通警告标志以及蓝色白底的交通指示标志。根据特定颜色过滤全景影像，滤除大部分背景，方便感兴趣区的快速提取。基于RGB的色彩空间对于全景影像使用方便且运行速度快，但易受光线影响。因此，本文选用更符合人类视觉生理属性且3种分量相对独立、抗光线干扰能力强的HSV色彩空间。

1.2 二值化及形态学运算

结合上述色彩分割后的全景影像，本文采用最大类间方差法(简称OTSU)对影像进行二值化[16]。针对二值化后的全景影像得到的路牌区域特征不明显、存在一定的噪点等问题，通过数学形态学基础运算对二值图像进行开运算(结构元素设置为2像素×2像素的矩形)，对开运算后的二值图像连续进行2次闭运算平滑滤波；对处理后二值图像中的特征区域进行连通性分析，设置阈值，滤除面积较小的噪声区域[17]。

1.3 交通标志的定位提取

通过图像特征提取结合机器学习实现交通标志的自动识别，需要对每一个交通标志牌进行单独提取，对提取出的特征图像进行特征提取。路牌位置的提取方法如下：首先遍历处理后的二值图像，得出图像中所有感兴趣区域P1、P2、…，并计算出每一个区域的几何中心点O1、O2、…；根据每一个中心点的坐标，上下遍历获取感兴趣区的上边界Xmax和下边界Xmin，左右遍历获取感兴趣区的左边界Ymin和右边界Ymax，根据最大外接矩形裁剪全景影像中对应区域，提取该交通标志牌[16]。

2 LBP-HOG特征融合在SVM中分类识别

2.1 LBP-HOG特征提取

HOG特征是通过计算和统计图像局部区域的梯度方向直方图来构成的。HOG特征提取是对图像局部的操作，受几何和光学的影响较小。LBP特征主要用于解决多分辨率和旋转情况下图像的纹理分类问题。

对同一图像分别进行HOG以及LBP特征的提取(图2)，得到其方向梯度直方图和LBP特征直方图。HOG是将图像分成小的连通区域(细胞单元)；然后等间隔采集细胞单元中各像素点的方位值和方向导数值，生成梯度方向直方图；最后把这些直方图组合起来并归一化构成特征描述子。LBP是将图像任意像素为中心点，并以该点的像素值为阈值对八邻域二值化处理，得出一个8位的二进制数；将二进制数转为十进制作为该点的LBP值。

图2 提取HOG和LBP特征示意图

全景影像与普通图像的主要差别在于全景影像的变形情况(图3)，变形后的路牌在特征提取时会存在很大的差异性。对于全景图中路牌处于变形的区域，识别难度大、精度低。为解决这一难题，本文采用多特征融合的方法提高特征维数，以提高识别精度。

图3 原始路牌与变形后路牌

HOG特征是描述局部区域的变化形态，提取的形状信息可以很好地描述边缘特征。对图像分块分细胞单元的细化处理算法，能够更好地描述局部像素之间的关系。HOG在复杂背景以及纹理提取方面优势不明显；LBP算子计算步骤简单、识别精度高，但单独应用于背景复杂的场景下图像特征提取能力较弱且维数过高。结合二者的优势，并针对全景影像变形区域的情况，本文采用对HOG特征和LBP特征进行融合的方法形成优势互补，以提高识别精度。采用串行融合的方法对2种特征进行融合，得到最终的HOG-LBP融合特征，如式(1)所示。

Features=(FeaturesHOG，FeaturesLBP)

(1)

2.2 SVM的分类识别

SVM是对二元数据进行分类的分类器。处理多种类交通标志牌时，需要构造多类分类器。本文采用一对多法进行样本训练，通过SVM分类器对实验数据进行训练和测试。从实验采集到的全景影像中的交通标志牌制作训练样本集，然后根据已经训练好的样本的数据对测试集数据进行分类识别的预测。进行图像的分类预测需要调节相关参数，主要有核函数参数g和惩罚因子c。根据交叉验证思想找出最优参数g为0.094 797，c为12.796 3，交叉验证的准确度最高。

3 实验结果与分析

本文采用搭载GNSS接收机、惯性导航系统、三维激光扫描仪和全景相机等先进传感器的移动测量车对山东省青岛市某道路进行全景影像采集。全景相机参数：单镜头分辨率为2 048像素×2 448像素，作业温度在-20～50 ℃；6镜头拼接后分辨率为4 000像素×8 000像素，存储温度-30～60 ℃；帧率为15 FPS，视场角360°。共获得全景影像1 877张，其中包含交通标志牌(主要有方向指示、监控区指示、禁止标志、警告标志等)总数为2 633个。根据采集到的交通标志牌，选定1 800个包含各种标志的数据集作为训练样本，其余833个作为测试样本，再从影像中选出1 000张非交通标志牌区域作为负样本。各类交通标志训练样本个数如表1所示，测试集直接使用全景影像作为测试样本，以保证得到的结果更具一般性。采集到的全景影像如图4所示。

表1 交通标志训练样本库样本组成 个

图4 全景影像示例图

从影像中裁剪出的训练样本的尺寸设置为256像素×169像素，采用SVM分类器进行机器学习，实验使用的PC配置为处理器AMD A8-7100 Radeon R5，运行内存4 GB，主频1.80 GHz，Windows7旗舰版64位操作系统。实验分别采用HOG特征提取、LBP特征提取以及HOG-LBP融合特征提取制作训练集。

本文分析了训练样本的数量对识别精度的影响(图5)。图5显示，训练样本数在400个以下时，识别正确率比较低；训练样本数400个以上，识别正确率会随样本数增加而增大；样本个数超过1 000时，精度变化趋于平缓。为保证识别率以及考虑训练样本花费的时间，本文选定1 000张负样本和1 800张带有交通标志牌的图片作为训练样本集。

图5 正确率与训练样本个数变化关系

图6为实验检测识别结果图。从图6(a)、图6(b)和图6(c)可以看出，对于变形微小的方向指示牌、距离稍远的人行横道指示牌以及位置角度正常的减速慢行标志可以精确定位和识别。图6(d)由于树枝遮挡严重，纹理特征提取有误，导致识别错误。图6(e)、图6(f)为同一种路牌。对于无变形的图6(e)可以准确地识别；对于变形比较明显的路牌如图6(f)，采用HOG-LBP特征也有很好的识别效果。

图6 HOG-LBP特征下全景影像识别结果

图7、图8为同一交通标志牌分别采用单特征和融合特征进行识别的2组实验。可以看出，对于近距离有微小变形的路牌，3种算法均能正确地识别。而对于距离较远变形较大的路牌，单一特征就难以识别。从图8看出，该指示牌距离全景相机较远且视角偏差大，导致特征不明显，2种特征均错误地识别成负样本，图8(c)正确地识别为监控区。

图7 实验1的不同特征识别结果对比图(近距离，小变形)

图8 实验2的不同特征识别结果对比图(远距离，大变形)

选取带有交通标志牌的全景影像作为测试样本，对影像中的路牌进行自动定位与识别。实验对600张全景影像进行测试，其中包含833个交通标志，检测结果所用时间和正确率如表2所示。表2显示，本文方法识别时间略多于2种传统方法，但是识别正确率明显高于2种传统方法。

表2 识别所用的时间和精度

4 结束语

本文以移动测量车采集的全景影像为研究对象，针对全景影像中的道路标志牌，提出了一种基于光谱特征与形状特征定位交通标志牌，SVM分析纹理特征识别交通标志牌类别的方法。该方法根据交通标志牌颜色独特性，快速定位路牌区域，再提取交通标志牌的HOG-LBP特征进行机器学习，通过SVM分类器识别全景影像中的交通标志牌。实验结果表明，HOG-LBP特征融合方法有效提高了识别正确率，该算法的实现为全景影像中交通标志牌的自动识别提供了一种较好的解决办法。但是，对于遮挡情况识别率不高的问题依然存在，下一步将继续深入研究本文算法，并针对全景影像路牌自动识别做进一步研究。