基于视觉图像与激光点云融合的交通标志快速识别方法

王 坤，倪 娟，陈 印

(1.四川信息职业技术学院 软件学院，四川 广元 628000；2.中国人民解放军94333部队，山东 潍坊 621000；3.重庆工程学院，重庆 400056)

0 引言

交通安全成为一个不容忽视的问题。通过智能交通系统准确识别不同类型的交通标志已经成为当前研究的主要内容[1-2]，其有效减少交通事故发生。在交通标志智能识别中，根据交通标志的文字和图形等内容的特征进行辨别，从而确定交通标志的含义，然后按照标志的含义执行交通规则，从而达到了智能通行的目的。但是现阶段的交通标志识别的性能仍可以提高，例如识别标志的时间可以进一步缩短等。

国内相关专家针对交通标志快速识别方面的内容展开了大量研究，褚晶辉等人[3]在骨干网络中加入注意力模型，对各个空间以及通道内的特征图展开调整，通过特征图元素权重加强或者抑制处理实现交通标志识别。但是该方法在实际应用中存在准确识别率低的问题，应用效果不佳。赵坤等人[4]建立大型复杂光照条件下交通标志数据集，然后对光照条件比较差的图像展开自适应增强处理，实时调整图像的对比度和亮度，强化图像和背景之间的主要差异，最终引入YOLOv3网络识别交通标志。该方法可以有效识别交通标志，但是其交通标志的识别时间较长。姚连璧等人[5]主要通过车载激光点云技术识别道路标线。该方法从车载激光点云中提取扫描线，根据道路边缘位置几何形态的突变从扫描线中提取道路路面，并且转换为栅格图像，结合自适应阈值分割方法，实现道路标线识别。该方法取得了一定的成果，但是也存在交通标志识别时间长的问题。

针对上述方法存在的交通标志识别问题，在以上几种交通标志快速识别方法的基础上，提出一种新的基于视觉图像与激光点云融合的交通标志快速识别方法。该方法引入了视觉图像与激光点云技术，通过两者的融合，实现交通标志快速识别，从而提高识别率和降低识别时间。

1 交通标志快速识别方法

1.1 视觉图像激光点云数据预处理

在进行视觉图像和激光点云数据处理之前，预处理步骤是非常重要的。这是因为预处理可以帮助消除噪声、提高数据质量，并为后续的任务提供更准确和可靠的数据。以下是进行视觉图像和激光点云数据预处理的主要原因：1)去除噪声：视觉图像和激光点云数据通常会受到各种类型的噪声干扰，如传感器噪声、环境光照变化等。通过预处理，可以应用滤波技术去除噪声，减少对后续算法的干扰；2)数据校准：如果涉及多个传感器或摄像头的数据融合，预处理可以用于数据校准和对齐，以确保数据在相同坐标系统下一致；3)特征提取：对视觉图像进行预处理可以提取出有用的特征，如边缘、纹理、颜色等，用于目标识别等任务。对于激光点云数据，预处理可以提取出地面平面、物体边界等特征用于建模和分割；4)数据降维：在某些情况下，视觉图像和激光点云数据可能非常庞大，难以直接处理。预处理可以应用降维技术，如图像压缩、采样或点云降采样等，以减少数据量，简化处理过程；5)数据增强：通过预处理，还可以进行数据增强操作，如旋转、平移、镜像等，以扩充训练数据集，提高模型的泛化能力和鲁棒性。综上所述，视觉图像和激光点云数据预处理是为了提高数据质量、去除噪声、校准数据、提取特征，并为后续任务提供更准确、可靠和易于处理的数据。预处理可以帮助提升算法性能，并为进一步的图像识别任务奠定基础。交通标志快速识别是以视觉图像为基础，因此，首先需要获取交通标志的视觉图像。视觉图像将数据和信息以一种易于理解的可视化方式呈现的图像。视觉图像通过摄像机拍摄交通标志场景获得。摄像机的内参函数为：

K=[K1，x0；K2，y0；0，1]

(1)

式中，K1，K2均代表相机的焦距，x0，y0代表图像中心点的坐标。

在设定摄像机内参函数后，考虑双边滤波属于非线性的空域滤波方法，不仅能够得到满意的噪声滤除效果，同时还可以获取完整的视觉图像边缘信息，引入双边滤波算法获取高质量的交通标志视觉图像，公式为：

m(x，y)=l(x，y)+Kk(x，y)

(2)

式中，m(x，y)和k(x，y)分别代表包含和不包含噪声的交通标志视觉图像，其中，l(x，y)代表零均值加高斯噪声模型l(x，y)。

通过双边滤波的本质，引入局部加权平均的处理方式将交通标志图像中的噪声有效剔除，则有：

(3)

式中，S(x，y)代表交通标志视觉图像中心像素点的邻域范围；α(i，j)代表邻域内像素点的权值；m(i，j)代表空域的邻近度算子。

(4)

式中，q代表带有噪声的点云数据；d代表没有任何噪声的实体表面；n代表扫描点的符号距离。

(5)

式中，N代表扫描点总数。

通过公式(6)建立邻域点云集合对应的协方差矩阵C：

(6)

通过公式(4)可以得到不同点云集合在空间的分布特征，对全部特征分解处理，则有：

C×Uk=βk×Uk，k=0，1，2

(7)

式中，Uk代表特征值；βk代表特征向量的交互结果；k代表常数。

将双边滤波方法应用到点云数据平滑处理中[8-9]，详细的操作步骤如下所示：

1)通过K-最近邻(KNN，K-Nearest Neighbors)算法扫描点云任意点的邻域；

2)计算局部邻域点在平面上的离散度L(x)，如公式(7)所示：

(8)

3)通过离散度确定均方误差，将平滑次数设定为评价数据质量的重要依据，最终实现激光点云数据的预处理操作[10-11]。

预处理视觉图像激光点云数据是为了给交通标志快速识别提供更高质量的视觉图像，从而提高交通标志特征提取效果，进而达到准确识别交通标志的目的。

1.2 视觉图像与激光点云融合的识别方法实现

在完成视觉图像激光点云数据预处理后，为了更好完成交通标志快速识别，需要测量视觉图像与激光点云融合的目标空间激光点云位置距离，为交通标志快速识别奠定基础。目标空间位置测距过程需要将雷达激光点云投影到视觉图像上，将数据点的距离设定为变量绘制热图。在绘制热图的过程中，为了准确描述不同数据之间的差异性，通过公式(9)将每张视觉热图像上雷达数据点的距离归一化处理lnorm，同时设定区间范围，则目标空间位置距离为：

(9)

式中，lmax和lmin分别代表交通标志图像上的距离最大值和最小值；l代表没有归一化处理之前的距离。

通过公式(9)确定在lnorm区间范围内的激光点云数据，剔除范围外的数据[12-13]，进一步优化视觉图像激光点云数据质量，为交通标志快速识别提供高质量数据，并且降低识别数据量，从而降低识别时间。

在得到交通标志视觉图像的测距值后，以此为依据可以获取目标视觉图像位置，结合卷积神经网络(CNN，convolutional neural network)、k均值聚类(K-means，k-means clustering algorithm)算法等算法，完成交通标志快速识别方法设计。为了确保交通标志视觉图像候选块的尺寸满足识别输入的需求，需要对其归一化处理，利用图像插值方法调整候选块的规格。视觉图像插值的主要目的是有效改变原始视觉图像的尺寸，利用原始视觉图像中几个离散的采样点重构建立一个视觉图像函数，也就是通过视觉图像函数完成交通标志图像归一化处理，具体的计算式为：

(10)

式中，τ代表交通标志视觉图像的归一化处理结果。

在道路环境下，交通标志会受到时间以及环境等多方面因素的影响。为了准确识别交通标志，采用传统的灰度变化以及边缘轮廓特征无法准确完成视觉图像分割。所以，优先对交通标志视觉图像聚类处理，提取视觉图像感兴趣区域(ROI，region of interest)[14-15]。ROI是指在一个图像或视频帧中，被确定为具有特定属性或含有感兴趣目标的区域。ROI可以是任意形状和大小的图像区域，并根据具体应用领域和任务的需求来确定。通过提取感兴趣区域，可以实现以下目标：其一，减少处理的数据量：对于大型图像或视频，仅关注ROI可以减少计算负担，提升性能效率；其二，集中注意力：通过提取ROI，可以将注意力集中在对进一步处理和分析最有意义的区域上；其三，提高算法效果：对于特定任务(如识别等)，ROI的提取通常有助于提高算法的准确性和效果。

分析交通标志的轮廓特点，通过k均值聚类算法对各个类型的交通标志聚类处理。k-means算法是一种基于样本间相似性度量的间接聚类方法，属于非监督学习方法，而引入k-means算法的原因是该算法可降低聚类时间复杂度，达到快速识别的目的。交通标志聚类处理首先获取各类型数据样本到聚类中心的距离平方和P(c)：

(11)

式中，hik代表类别相似性准则；ui和xi分别代表交通标志视觉图像中第i个像素的灰度值和加权平均值。

为了有效降低原始交通标志视觉图像在传递过程中产生的负面影响以及计算复杂度，分别提取不同类型交通标志视觉图像的ROI，详细的操作流程如下所示：

1)读取待切割的交通标志视觉图像，将全部图像归一化处理，同时设定图像的统一规格。

审计的过程不能只是走马观花或者单纯地走个过场，而是要有针对性、有重点、有价值地对重要内容进行审计。一般来说，审计的内容包括总部各项重大决策创造了多少经济效益，决策落实的过程中执行是否到位，日常的经营政策是否合理，还要对现存制度进行基于当前时代的考量，挑出已经落后过时的条例条规。且经济社会的瞬息万变要求审计机构不能将审计工作仅仅停留在事后审查的程度上，还要通过现行的制度、政策、状况看到目前甚至将来潜藏的风险，以做出及时的防范与规避。

2)引入k-means算法判断交通标志视觉图像的具体类别。

3)通过模板Q切割原始交通标志视觉图像，获取图像感兴趣区域G1和G2，如公式(12)所示：

(12)

式中，f1(r，q)和f2(r，q)分别代表交通标志图像两个不同感兴趣区域的特征。

将两个ROI对应位置的点展开乘运算，进而获取没有干扰信号的ROI，得到对应的切割算法：

(13)

4)提取感兴趣区域的方向梯度直方图(HOG，histogram of oriented gradients)特征，该算法通过计算图像中每个像素点处的梯度方向和强度，并将这些信息分成若干个方向上的小区间，然后统计每个小区间内的梯度强度的频率。这样，对于给定的感兴趣区域，可以提取出一组代表该区域纹理、形状和边缘信息的HOG特征，用于识别。设定交通标志视觉图像的像素以及单元尺寸，进而获取视觉图像对应的维度信息[16-17]。

为了提升交通标志视觉图像特征提取速度，采用CNN可以自动提取数据中的深层抽象特征[18]，同时还可以有效防止特征信息缺失情况的发生。所以，以下将CNN和HOG特征相结合，对HOG特征展开二次过滤和二次深度特征提取。

通过构建的卷积层对HOG特征展开卷积计算，对滤波器参数训练处理，获取交通标志视觉图像的深层特征，同时引入CNN提取交通标志图像复杂特征。其中，利用卷积提取标志特征为：

(14)

Tc=telu[telu(H)×{G1，G2}]

(15)

式中，telu代表全连接层参数。

在获取特征维度计算结果的基础上，需要对交通标志视觉图像中的全部原始特征展开标定处理，详细的计算过程如下：

(16)

softmax函数为输出层激活函数f(xj)：

(17)

式中，z(xj)代表卷积神经网络各个节点的映射关系。

将交叉熵损失函数f(zk)设为优化目标，引入Adam算法最小化损失代价loss，则有：

(18)

经过上述分析，利用图1给出交通标志快速识别流程图。

图1 交通标志快速识别流程图

至此完成基于视觉图像与激光点云融合的交通标志快速识别方法设计，通过上述设计的方法，实现交通标志快速识别。该方法结合了视觉图像与激光点云，并且引入了k-means算法和卷积神经网络，通过多个算法的结合，实现提高交通标志识别的识别率和降低识别时间，从而提高叫他那个标志的识别效果。

2 实验分析

2.1 实验准备

为了验证所提基于视觉图像与激光点云融合的交通标志快速识别方法的有效性，选择GTSBD作为识别数据集，GTSBD数据集是通常用于目标检测的交通标志数据集，该数据集有900张图像，包含禁止、危险、强制和其他四大类交通标标志，攻击42小类。在该数据集中随机选择20个交通标志为研究对象，利用图2给出具体研究对象图像。

图2 部分交通标志训练样本集

选择图2中4个交通标志为特征提取实验的研究对象，其他类型的交通标志作为训练样本，将训练样本输入本文方法。

在完成识别方法的训练后，以交通标志特征提取效果、识别率和识别时间为实验性能指标，实验为对比分析实验，对比方法分别为文献[3]方法、文献[4]方法、文献[5]方法和所提方法。

实验过程的配置为：内存容量为16 GB，硬盘容量为1 TB，CPU为英特尔酷睿i5-13500H，操作系统为Windows 11，64位家庭版。

2.2 交通标志快速识别方法的训练

设计的基于视觉图像与激光点云融合的交通标志快速识别方法需要进行训练，为交通标志的识别奠定基础。训练过程可以分为以下几个步骤。

1)数据预处理，将原始数据转换为神经网络可用的格式，即对交通标志视觉图像数据进行归一化、大小统一等处理；

2)初始化算法的参数，采用随机初始化训练算法参数，并且卷积神经网络的学习率初始值设置为0.001；

3)数据通过卷积神经网络，计算得到输出结果；

4)计算损失函数，使用f(zk)评价指标，计算输出与实际值误差；

5)根据误差反向传播，更新参数，最小化loss；

6)通过随机梯度下降优化算法，优化参数；

7)重复以上步骤，直到达到训练轮数、误差精度要求(训练轮数为200轮，误差精度采用0.5%)，二者满足其一即可停止训练。

避免过拟合现象，采用数据增强、Dropout技术进行处理，以提高是识别方法的泛化能力。

2.3 实验参数设置

在开始实验前，需要设置实验参数，为实验做准备，确保实验顺利进行，利用表1给出本文涉及的实验参数设置的数据。

表1 实验参数

按照上述实验参数数值，设置实验参数。完成实验参数设置后，开始对比分析实验，验证本文方法的性能。

2.4 结果分析

2.4.1 交通标志特征提取效果分析

选取3种传统交通标志识别方法作为对比方法，对比方法分别为文献[3]方法、文献[4]方法和文献[5]方法，在图3中选择4个不同类型的交通标志作为测试对象，分别采用4种不同方法提取交通标志特征，分析特征提取效果，如图3所示。

图3 不同方法的交通标志特征提取结果对比

分析图3可知，经过所提方法可以准确提取不同类型交通标志的特征，而经过另外3种方法提取的特征并不清楚，且边缘比较模糊。由此可见，通过所提方法可以准确提取各个类型交通标志特征，该方法的交通标志特征提取效果更好。

2.4.2 交通标志识别率分析

经过上述分析，为了验证各个方法的识别性能，以交通标志识别率为性能指标。不同测试条件下识别率如表2。

表2 不同条件下各个方法的交通标志识别率实验结果对比

由表2中的实验数据可知，无论是在如何复杂的测试条件下，通过所提方法均可以获取相对较高的识别率，即可以准确识别交通标志，综合识别率达到了89.74%，而另外3种方法的识别率明显更低一些，文献方法的识别率分别为87.11%、85.96%和82.15%，4种方法相比，所提方法的识别率提高了2.63%、3.78%和7.59%，因此，所提方法有效提高了识别率，其具备了可行性和有效性。主要因为所提方法可以准确提取各个类型的交通标志，进而获取更加精准的交通标志识别结果。

2.4.3 交通标志识别时间分析

为了进一步验证设计方法的性能，采用识别时间为性能指标，分析不同方法的交通标志识别时间，通过图4给出各个方法的识别时间对比结果。

图4 不同方法的交通标志识别时间实验结果对比

由图4可知，所提方法的交通标志识别时间在两个测试样本集中均最低，识别时间最低值达到了13.1 s，而文献方法最低值分别为22.2 s、30.1 s和20.0 s，相比另外3种方法，所提方法的识别时间降低了9.1 s、17.0 s和6.9 s，由此可知，所提方法的识别时间最短，表明其可以以更快的速度完成交通标志识别。

由于生活环境中存在各个各样的干扰，因此，在上述实验的基础上，对研究对象增加高斯白噪声，分析干扰情况下交通标志识别时间，并且增加测试用样本集数量，数量为10个。在实验分析过程中，分别采用所提方法、基于注意力模型的无锚框交通标志识别算法(文献[3]方法)、弱光照条件下交通标志检测与识别(文献[4]方法)、车载激光点云的道路标线提取及语义关联(文献[5]方法)进行对比分析，实验结果如表3所示。

表3 干扰情况下交通标志识别时间实验结果对比

根据表3的干扰情况下交通标志识别时间实验结果可知，4种方法在干扰情况下的交通标志识别时间均有所增加，但是4种方法中，所提方法的交通标志识别时间增加的较少，并且波动幅度较小，而文献方法的识别时间增加较高，并且存在较大波动。详细分析可知，所提方法的识别时间最高仅为15.1 s，均值仅为13.9 s，而文献[3]方法的识别时间最高达到了35.2 s，均值为30.5 s，文献[4]方法的识别时间最高达到了41.1 s，均值为36.1 s，文献[5]方法的识别时间最高达到了31.2 s，均值为24.9 s，相比可知，所提方法的最高识别时间和均值均有所降低，其中最高识别时间降低了16.0 s以上，均值降低了11.0 s以上。该实验结果进一步验证了所提方法识别交通标志的时间更低，有效提高了识别效率，具备更高的性能。

3 结束语

为了提升交通标志识别结果的准确性，提出一种基于视觉图像与激光点云融合的交通标志快速识别方法。该方法以视觉图像和激光点云数据为基础，将二者融合，并且引入了激光点云融合技术、k-means算法和卷积神经网络等算法，通过多个算法的结合，构建了交通标志快速识别方法。经过实验对比证明，所提方法可以准确提取交通标志特征，进而获取更加精准的交通标志识别结果，该方法的交通标志识别率提高了2.63%、3.78%和7.59%，识别时间降低了9.1 s、17.0 s和6.9 s，并且在存在干扰的情况下的识别时间也是4种方法中最短的，验证了该方法具备更高的应用价值。未来阶段，还需要进一步扩大研究范围，可以将相关的决策理论引入到识别方法中，进而有效提升识别性能。