一种用于交通标识分类的形状识别算法*

邓翔宇，张屹南，杨雅涵

(西北师范大学物理与电子工程学院，甘肃 兰州 730070)

1 引言

智能交通系统ITS(Intelligent Traffic System)是将先进的信息技术、数据通信技术、传感器技术、电子控制技术、人工智能和计算机技术等有效地综合运用于整个交通运输管理体系的实时、准确、高效的综合运输和管理系统[1,2]。交通标识识别是智能交通系统的关键技术，在车辆控制、交通监控和智能驾驶等系统中都有着广泛的应用[3]，准确识别各种倾斜角度、拍摄角度的交通标识是实现车辆智能驾驶的重要基础[4]。交通标识识别系统主要包括交通标识检测、交通标识区域分割、交通标识分类和交通标识识别4个环节[5]，而交通标识分类是交通标识识别系统的中心环节，也是尤其重要的一个环节，交通标识分类的对错直接决定了后续交通标识识别的准确率[6]，而交通标识形状识别又是交通标识分类最为核心的部分，起着至关重要的作用。

目前，交通标识的检测、分类和识别等技术都已经受到了国内外的广泛关注和研究，并取得了大量的研究成果。如：Chen等[7]提出了一种基于交通标识颜色、形状和空间等显著性信息的交通标识检测技术；Rehman等[8,9]提出了一种具有遮挡处理能力的交通标识检测框架，称之为判别块(D-patch)，并通过整合词汇学习功能对其升级，对遮挡处理进行了更有针对性的训练，但并未考虑图像倾斜的情况；Yuan等[10]提出了一种复杂环境下交通标识检测的端到端深度学习方法，该方法能够对小尺度目标学习到更有效的特征，但同时对资源的消耗巨大；Tian等[11]提出了一种用于多尺度分析和局部背景检测的交通标识检测方法；Yang等[12]在颜色概率模型的基础上提出了一种交通标识检测模块，比现有的检测模块速度快20倍，但检测准确率不高；Jiménez 等[13]针对交通标识检测，将交通标识检测分为2个子块，即形状分类模块和标识定位模块，使用FFT处理交通标识的旋转，并且对目标的偏心进行归一化，从而提高了投影畸变情况下的检测性能，但没有从根源上克服图像倾斜、拍摄角度倾斜的问题；Li等[14]提出了一种基于颜色不变性的图像分割和基于形状匹配的交通标识检测方法，该方法能较好地检测各种天气、阴影、遮挡和复杂背景条件下的交通标识，但对倾斜图像检测率不高；Liu等[15]提出了一种快速检测和识别高分辨率图像中的多类交通标识的交通标识识别框架；Lu等[16]提出了一种多模态树结构的嵌入式多任务学习方法，利用树结构很好地表示了分类任务之间的层次关系，提高了交通标识识别的性能；Li等[17]采用了R-CNN框架和MobileNet结构，利用颜色和形状信息来细化小交通标识的定位，并利用一个具有非对称核的高效CNN作为交通标识的分类器；Gao等[18]利用人类视觉色彩表象模型和拓展的视觉行为模型提取交通标识的颜色和形状特征，从而识别交通标识，但对拍摄角度的要求较高；Cai等[19]提出了一种新的交通标识识别系统，利用基于区域特征的颜色分割和形状分类器检测交通标识，然后利用4层小波变换与最近邻分类器相结合进行交通标识识别；许少秋[20]提出了一种新的识别户外交通标识形状的算法，通过离散曲线演变进行简化和分解颜色分割输出的外边缘，再通过模板匹配来实现形状的识别，但未涉及倾斜图像和拍摄角度倾斜图像的形状识别；宋倩等[21]设计了一种基于颜色分割和形状的交通标识形状识别模型，使用HIS颜色空间对交通标识进行分割；Lafuente-Arroyo等[22]提出了一种基于支持向量机的分类方法，认为人工视觉系统中，识别交通标志的关键是如何检测和识别交通标识的几何形状。

现有的交通标识形状识别算法在各自特定的条件下都能取得较好的识别效果，但在交通标识图像倾斜、拍摄角度倾斜的情况下，现有算法则表现出了各自的局限性。为解决上述问题，本文提出了一种将交通标识边缘走势统计特征与BP神经网络结合的交通标识形状识别算法，很大程度上克服了交通标识图像倾斜、畸变的问题，从而弥补了现有算法的不足。

2 算法框架

交通标识是用图形符号、颜色和形状向交通参与者传递特定信息，用于管理交通的安全设施，是交通指挥的一种辅助设施。我国直接关系到道路交通安全问题的交通标识共有116种，除此之外，还有许多派生的交通标识。总体上可以分为3大类：禁令标识、指示标识和警告标识。本文对此3大类交通标识分别进行了分析，发现此3大类交通标识最突出的区别在于颜色属性和几何形状属性：禁令标识包括红色圆形、红色三角形和红色正八边形；警告标识包括黄色三角形和黄色矩形；指示标识包括蓝色圆形和蓝色矩形。所以，根据颜色属性和几何形状属性可以对交通标识进行很好的分类。交通标识图像的颜色信息只需使用RGB颜色分割的方法即可获得，而其几何形状属性的获取才是交通标识分类的核心部分。本文利用交通标识的边缘走势来反映其几何形状属性，计算边缘走势的方向比例作为交通标识几何形状的特征，进一步将该特征与BP网络相结合，从而实现交通标识形状的识别和分类。算法总体流程如图1所示。

Figure 1 Overall flowchart of the proposed algorithm

图1上半部分为训练样本的边缘走势特征提取与BP神经网络训练过程，下半部分为测试样本的边缘走势特征提取与送入神经网络判断过程。由图1可见，边缘走势特征是基于交通标识的边缘图像来获得的，在这一过程中需要进行2次边缘检测。第1次边缘检测由于图像清晰度或者分辨率的不同，检测出的图像边缘可能会有断点，如果直接对其进行外围连通域提取，则可能会出现所提取的边缘不完整或边缘看似完整实则有断点的情况。因此，本文算法在第1次提取边缘以后再进行数学形态学膨胀处理，从而确保了边缘图像的连续性。但是，数学形态学膨胀处理会使边缘图像变得臃肿，因此对数学形态学膨胀处理后的图像再次进行边缘检测，由于数学形态学膨胀不会改变图像的总体形状，所以第2次边缘检测仍然可以检测出所需要的形状边缘并且没有断点。由于所要检测的图像并不复杂，因此边缘检测使用的是传统的Sobel算子。由于使用的测试样本是实拍图像，可能有很多环境干扰或与交通标识颜色相近的区域都会在颜色区域分割时被分割出来，因此进一步根据连通域的区域面积和长宽比进行连通域滤除即可去除交通标识以外的其他部分。

3 边缘走势统计特征及其提取

提取外围连通域后所得的图像即交通标识的外边缘，边缘的形状即交通标识的形状。我国直接关系到道路交通安全问题的交通标识共包含4个基本形状：圆形、矩形、三角形和正八边形。经分析发现这些形状最本质的区别在于边缘的梯度方向。圆形边缘的梯度方向有无穷个，矩形边缘的梯度方向有4个(上、下、左、右)，3角形边缘的梯度方向有3个，正八边形边缘的梯度方向有8个。但是，在计算边缘梯度时，竖直直线的梯度是无穷大或负无穷大，不便于统计与后续工作。故本文提出了边缘走势的概念，先找到形状边缘图像左上角的一点，以此点为起点，沿着形状边缘行进，每次行进都记录一次行进的方向，此方向即为边缘走势方向。由于图像是由一个一个像素构成，而不是直接由线构成的，因此本文选取了固定的走势方向。方向、位置和走势优先级如图2a所示。其中，1～16代表所设计的16个方向，也代表了行进的位置，且1～16优先级依次降低，即假如一个点的走势可能是方向1或者方向16，则选择向优先级高的1行进；0代表行进的起点，每次行进至另一点即将该点看作图中的0，继续使用此图确定下一步的走势方向与行进位置，每次行进都记录下当次的走势方向，直至沿着形状边缘行进一周。

本文设置的边缘走势方向有优先级，因此会在行进过程中出现“走”重复区域的问题。本文通过标记行进过程中“走”过的区域，使得行进过程中不会“走”重复区域。标记区域和方法如图2b所示。从确定起点开始即将此点及其8邻域(图2b中灰色部分)进行标记，每次行进都以同样的方式标记行进过的区域。经此处理，点的走向像我们设想的一样，会沿着形状边缘行进一周。行进一周并记录下每一步的走势方向值，依次统计各个方向出现的比例，即为边缘走势统计特征。

Figure 2 Direction,position and marking of edges

交通标识图像边缘线条既有曲线，又有直线，本文人为设计了一幅既有曲线，又有直线的图像，用于验证算法的可行性，如图3所示。图3a为人工设计的测试图像，包含了交通标识所有可能出现的边缘情景；图3b为测试图像采用本文设计的方法行进的位置记录，用数字表示行进的序号；图3c为测试图像行进一周过程中走势方向的比例统计。可见，边缘走势统计特征提取方法具有较好的适应性，能够满足各种交通标识边缘的特征提取，进而完成其形状的识别。

Figure 3 Artificial graph and the statistical features of edge trend

4 BP神经网络的设计与训练

4.1 训练样本设计

由于交通标识图像边缘的形状最本质的区别在于边缘走势方向。在执行上述沿着形状边缘行进一周，且记录下每一步走势方向的过程中，沿圆形行进了所有16个方向且行进步数均匀，沿矩形行进最多的方向有4个且行进步数满足一定比例，沿三角形行进最多的方向有3个且行进步数满足一定比例，沿正八边形行进最多的方向有8个且行进步数满足一定比例。因此，本文选用不同交通标识图像的边缘走势方向比例作为训练样本的输入，包含了不同大小、倾斜角度和畸变程度的交通标识的各种可能形状，输出用二进制数0和1的不同组合来表示，表示方式如表1所示。

Table 1 Output representation of the training sample

4.2 BP神经网络的设计与训练

BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，其最突出的优点就是具有优良的模式分类能力和很强的非线性映射能力，且神经元个数和网络的层数根据不同需求可以自由设定。因此，本文采用BP神经网络来实现交通标识形状的识别，其结构如图4所示。图4为6个隐层神经元构成的16输入、2输出的BP神经网络模型，其中16个输入分别对应边缘走势的16个方向比例，其中x1代表走势为方向1的比例，以此类推；b1,b2,…,b6为隐层神经元，y1,y2为二值输出，不同的数字组合代表不同的形状。输入层神经元与隐层神经元、隐层神经元与输出神经元之间都有相应的连接权，需要通过训练确定其中的连接权值。

Figure 4 BP neural network model

BP神经网络的训练共采用600组数据。针对不同形状、大小和倾斜角度的交通标识图像，利用其边缘走势统计特征与其对应的二进制数组合分别作为网络的输入和输出进行训练，所设计的BP神经网络参数如表2所示。

Table 2 BP neural network parameters

5 实验仿真分析

为验证本文算法对各种交通标识图像的形状识别的可靠性和有效性，本节采用400幅交通标识图像进行验证，其中包括50幅标准交通标识图像和350幅各个拍摄角度的实拍交通标识图像。在主频2.2 GHz、内存16 GB的计算机上使用Matlab R2018a平台对算法进行仿真。首先进行颜色分割，该过程采用RGB颜色范围分割出禁令、警告和指示3种颜色，然后使用Sobel算子完成边缘检测，再进一步提取边缘走势统计特征，进而完成交通标识形状识别。

图5为标准交通标识图像的颜色分割效果。图5a为标准警告交通标识图像的颜色分割效果,图5b为标准指示交通标识图像的颜色分割效果,图5c为标准禁令交通标识图像的颜色分割效果。通过对大量交通标识图像的RGB颜色范围统计得出，交通标识颜色范围：禁令交通标识：139≤r≤255；0≤g≤106；0≤b≤203；警告交通标识：139≤r≤255；90≤g≤255；0≤b≤90；指示交通标识：0≤r≤98；0≤g≤206；111≤b≤255。以此范围分割出禁令、警告和指示交通标识对应的红、黄和蓝3种颜色。

Figure 5 Color segmentation of standard traffic sign images

图6a为对颜色分割后的图像进行边缘检测-膨胀-边缘检测的处理效果，图6b为边缘检测-膨胀-边缘检测处理后图像的外围连通域，图6c为采用本文算法的行进路径标记。其中膨胀是基本数学形态学运算，采用大小为5×5的结构子。

Figure 6 Post-processing of color segmentation results

Figure 7 Direction records and statistical characteristics of edge trends

图7为采用本文算法对标准交通标识图像行进过程中边缘走势的方向记录与统计特征。图7a为边缘走势方向记录图，图7b为边缘走势统计特征图。如边缘走势统计特征图所示，边缘走势方向比例峰值有4个，充分反映出矩形的边缘特征。

Figure 8 Part of the experimental results of actural traffic sign images

图8为实拍交通标识图像的部分处理结果。图8a为实拍交通标识图像，图8b为对实拍图像经过颜色分割后的连通域滤除处理效果，图8c为边缘检测-膨胀-边缘检测处理后图像的外围连通域，图8d为实拍图像边缘走势统计特征图。图8中包含了不同角度、不同形状的交通标识图像。后2幅实拍图像为不同拍摄角度、倾斜角度拍摄的同一个交通标识。根据其边缘走势统计特征可以看出，方向的峰值都聚集在4个区域，可充分反映出其形状特征。

为验证本文算法的性能，本节采用形状为圆形的图像120幅，形状为三角形的图像100幅，形状为矩形的图像120幅，形状为正八边形的图像60幅，共计400幅(800×600像素)交通标识图像进行实验。算法的准确率和时效性如表3 所示。

Table 3 Traffic sign shape identification performance

由表3可见，400幅交通标识图像中仅有2幅识别错误，其中1幅圆形被误识别为正八边形，1幅正八边形被误识别为圆形，其他形状均准确识别。同时，本文算法也与文献[20-22]中的算法进行了比较，识别准确率如表4所示。

Table 4 Performance comparison of algorithms for traffic sign shape identification

由表4可知，本文算法准确率较其他算法都有优势，可见本文算法有较高准确性，具有一定实用意义。

6 结束语

本文针对各种拍摄角度、倾斜角度的交通标识图像，提出了一种将边缘走势统计特征与深度神经网络结合的交通标识形状识别算法。所提出的边缘走势统计特征能够很好地表征交通标识的形状特征，可进一步将其用于BP神经网络进行分类，实现了交通标识形状的高效可靠识别。但是，本文算法对圆形和正八边形存在一定的误识率，这也是下一步研究工作中要解决的问题。