面向高速公路的公里桩检测及误检改进

2023-02-04吴镇涛罗文婷陈文婷温王鹏胡喜生

交通科技与经济 2023年1期

吴镇涛，罗文婷，李林，秦勇，陈文婷，温王鹏，胡喜生

(1.福建农林大学交通与土木工程学院，福州 350108；2.南京工业大学交通运输工程学院，南京 211816; 3.北京交通大学轨道交通安全与控制国家重点实验室，北京 100084)

随着我国高速公路的大规模开发建设，对于大型路网的管理问题日益突出。高速公路公里桩(以下简称“公里桩”)是一种科学有效的公路定位手段。在高速公路中驾驶员突发紧急状况时，可通过公里桩获取当前所在的位置信息寻求帮助，以便高速公路管理人员进行事故救援；道路巡检部门可以通过公里桩更加高效便捷地管理高速公路资产，以及路面病害的定点修补回查等工作。实现公里桩自动检测可以帮助使用人员和车辆更快速、准确地确定位置信息，在实际应用中具有重要意义，并能为道路巡检等管理做好保障[1-2]。

近年来，关于交通标志的自动检测，国内外学者发表了一些研究成果，主要包括基于深度学习的检测算法、基于机器视觉以及传统图像处理的目标检测等方法。成怡等[3]采用ResNeSt50作为CenterNet的主干提取网络，并在网络结构中引入PSConv，通过对多尺度感受野、注意力机制和特征增强等模块的设计，提升不同尺度交通标志的检测能力。Liu等[4]在检测阶段使用多尺度反卷积操作获得更高的召回率，在RPN内部融合特征方面，通过上下文信息来增强特征表示。张万征等[5]通过颜色分割和Hough变换算法实现交通标志的区域检测，并控制算法的复杂程度以满足实时性要求，最后利用LeNet-5对目标区域进行分类识别。Zhu等[6]在SSD算法基础上去除了高级特征映射，在底层特征图上调整比例，使底层可以分布更多的回归框，从而使模型更好地适应交通标志这类目标。刘胜等[7]在YOLOv3的基础上改进网络架构，利用U-Net网络优化目标定位，最后选用空间变换网络实现目标分类任务。孙超等[8]提取不同维度的位置和方向信息来改善浅层特征感受野，在深层特征上，通过特殊的卷积核进行卷积，改进注意力机制通道并融入目标空间信息。李哲等[9]在不同层级的特征图上使用合理尺度的滑动窗口策略，最后引入注意力机制，聚焦图像中的关键信息。胡聪等[10]通过将道路场景的彩色图像转化成灰度图像，使用Gabor滤波强化边缘信息，通过MSERs算法抓取图像中感兴趣区域，最后提取HOG特征，使用SVM分类器进行分类。胡晓光等[11]在提取标志局部特征之后，使用字袋模型量化，将得到的本征特征输入到SVM训练中获得识别分类器。梁敏健等[12]通过融合目标HOG和Gabor特征向量，采用Softmax分类器对其进行分类识别。胡月志等[13]基于ORB算法对归一化的交通标志图像进行特征点描述符计算，借助此全局描述符采用KNN分类器进行分类识别。Zaklouta等[14]通过图像红色增强来减少空间搜索时造成的多余分割，然后基于图像中的HOG特征利用SVM分类器和随机森林进行检测识别。孙晓艳等[15]利用颜色和形状特征实现目标检测，应用自适应伽马变换对图像进行增强，采用最大稳定极值区域算法提取出感兴趣区域，最后基于HOG和SVM对交通标志进行分类识别。Yao等[16]利用HOG提取多种特征信息，并运用网格搜索算法优化SVM参数，从而识别出道路交通标志。上述学者在交通标志自动检测领域提出了自己的研究方法，但由于数据集来源约束和计算量大、耗时多等问题，使得研究难以实时有效地应用到实际场景中。

在深度学习发展中，两阶段算法代表有Fast-RCNN和Faster-RCNN[17]，一阶段算法代表有YOLO[18]和SSD，一阶段算法在网络速度方面优于两阶段算法，但准确性较差。在交通标志检测研究中：Zhang等[19]在YOLOv2网络的中间层采用多个1×1卷积层，并减少顶部的卷积层，从而降低计算复杂度，提高检测性能；Xiao等[20]使用resnet101网络取代原来的darknet-53网络，改进后的YOLOv3在检测速度、精度方面得到一定提升；张威[21]通过优化主干网络，采用DIOU_nms方式对检测层进行改进，较改进前的YOLOv4检测性能变化不大，但训练时长有所减少。因此，速度和准确度的综合优势以及轻量级的特质，使得YOLOv5更易于在各领域应用。在YOLOv5的研究基础上，结合Hu不变矩法，对高速公路公里桩检测开展研究，可为交通标志检测提供思路。

1 数据准备

1.1 采集设备

研究采用课题组自研发的道路智能巡检采集系统，进行高速公路图像采集。采集系统集成了双目相机、GPS集成模块、IMU惯性测量单元以及软件，双目相机拍摄图像根据GPS接收器提供的实时定位信息计算，频率为每3～5 m拍摄一张，采集系统可以同时生成匹配的前景图像和景深图像、同位异构信息、行车轨迹。文中使用的数据为前景图像，设备外观如图1所示，采集图像数据如图2所示。

1.2 采集路段

研究所用数据为福建省内高速公路，总长约为190 km，最终采集到的高速公路前景图像约为60 000余张。研究中将硬件设备搭载在检测车上，并在高速公路上行驶采集，然后从数据库中人工筛查出部分存在公里桩的图像，方便后续半自动检测标注使用。

图1 设备外观

1.3 训练库构建

由于人工筛选出足够用于训练使用的公里桩图像工作量较大，因此，筛选出一部分公里桩图像用于YOLOv5s检测模型，粗略检测剩余前景图像中的公里桩图像并自动标注，然后人工调整标注区域，可大大缩小人工筛选范围，半自动标注流程和标注结果如图3～4所示。最终标注出600张作为训练数据集，为测试模型性能，研究中将一段连续道路的图像作为测试数据集。

图2 采集图像数据

2 YOLOv5s网络架构

2.1 YOLOv5s模型

实现高速公路公里桩实时检测是高速巡检工作的必然要求，因此，对选用的深度学习网络模型在效率和精度方面都有着较高要求。YOLOv5模型检测速度快，能够满足高速公路上的实时处理需求且泛化能力好。本实验选用YOLOv5系列中深度最小、特征图宽度最小的YOLOv5s网络模型，对于大目标检测、高速度有较好效果。YOLOv5s网络结构包括输入端、骨干网络、颈部网络、输出端4个部分，图5为YOLOv5s的网络架构。其中，在骨干网络阶段使用切片操作将原始图像从608×608×3转变成304×304×12的特征图，再通过32个卷积核的卷积操作，最终转变成304×304×32的特征图，减少算法计算量、加快计算速度。在颈部网络阶段，借鉴了跨阶段局部网络(CSPNet)设计的CSP结构，加强了网络特征的融合能力。

图3 半自动标注流程

图4 公里桩标注结果

图5 YOLOv5s网络架构

2.2 模型训练

构建公里桩样本数据库，样本包含训练集和验证集，按照8∶2(其中训练集480张、验证集120张)的比例输入到深度学习网络中，并进行检测模型训练和验证。在本实验中，YOLOv5s的训练参数设置如下：训练迭代次数为400，每次输送到神经网络的批处理量为16，训练图片尺寸为896，采用模型训练过程中默认选中的最优模型。

3 基于Hu不变矩的公里桩检测

对于训练好的YOLOv5s检测模型输出的检测区域，通过读取检测区域的坐标信息，对检测区域内目标物轮廓线的 Hu不变矩特征进行图像识别。Hu在1962年提出了不变矩(简称Hu矩)[22]，不变矩是图像中的特殊属性，是指在平移、旋转、大小变化情况下结果均不变的特征，图像技术领域常用此特征进行图像对比操作。

3.1 尺寸归一化

由于检测区域尺寸均不相同，使用Hu不变矩判别检测区域图像会出现较大偏差，需要将图像尺寸归一化，处理成统一尺寸，如图6所示。

图6 尺寸归一化前后对比

3.2 灰度化处理

此次实验使用的前景图像为彩色图像，采用加权平均灰度化处理法将彩色图像转化为灰度图像，对各通道的像素值进行加权平均(见式(1))。作为图像的灰度值，此过程可以在不影响轮廓提取的情况下减少计算量，提高图像处理效率，灰度化前后对比如图7所示。

f(i,j)=0.299R(i,j)+0.587G(i,j)+

0.114B(i,j)

(1)

式中:f(i,j)为像素点灰度值；R，G，B为各像素点值。

图7 灰度化前后对比

3.3 自适应二值化

检测区域经过上述尺寸归一化、灰度化处理后，对检测区域内目标和背景进行图像分割，分割后的图像有利于进一步提取目标轮廓线。由于熟知的公里桩色调较为一致，且与复杂背景之间存在一定差距，所以此次实验使用自适应二值化法分割。

受自然状态下的光照因素影响，图像的明暗程度难以控制，文中采用两种自适应二值化方法相结合，即基于Otsu的阈值分割法和基于低明度的阈值分割法。当检测区域内对象的明度较高时，Otsu阈值分割法对于前景和背景有明显区别的图像分割效果较佳。当检测区域整体明度较低时，对象和背景的差距不大，使用平均明度作为阈值进行图像分割。

R′=R/255

(2)

G′=G/255

(3)

B′=B/255

(4)

V=max(R′,G′,B′)

(5)

式中：R′，G′，B′为图像中R，G，B的换算值；V为每一像素中R′，G′，B′的最大值。

HSV颜色空间包含H、S、V通道，分别为色调、饱和度和明度，其中需要将R、G、B的值转换到0～1之间，然后计算V值。在openCV中处理图像时需要将V换算成0～255范围内，取V通道的平均值，即平均明度。实验中取图像的明度阈值为70，作为两种方法的划分，自适应二值化前后对比如图8所示。

图8 自适应二值化前后对比

3.4 轮廓提取

实验利用公里桩独特的六边形外轮廓作为轮廓特征，这也是与其他误检物区分的重要依据，通过自适应二值化处理后的二值图像具有多个闭区域，采用cv2.RETR_EXTERNAL检测每个闭区域的轮廓，通过计算每个轮廓的面积，选取面积最大时对应的轮廓作为目标物外轮廓。图9(a)是检测出包含两个轮廓以上的情况，为提取公里桩轮廓，将面积最大的轮廓作为识别物体的形状特征，如图9(b)所示。

图9 公里桩轮廓提取

3.5 相似度对比

通过图像的7个不变矩特征来计算图像之间的相似度。先选取多个具有代表性的公里桩及其他目标物轮廓进行相似度计算，当计算值大于所设置的阈值，则认定为误检目标。

对高为N、宽为M的二维离散图像f(x,y)，其(p+q)阶矩可定义为

(6)

式中：p，q=0，1，2，…。

相应的(p+q)阶中心矩可定义为

(7)

归一化的(p+q)阶中心矩定义为

(8)

由上述(p+q)阶中心矩结果可推导出以下7个Hu不变矩

φ1=φ20+φ02

(9)

(10)

φ3=(φ30-3φ12)2+(3φ21-φ03)2

(11)

φ4=(φ30+φ12)2+(φ21+φ03)2

(12)

φ5=(φ30-3φ12)(φ30+φ12)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ21-φ03)(φ21+φ03)[3(φ30+

φ12)2-(φ21+φ03)2]

(13)

φ6=(φ20-φ02)[(φ30+φ12)2-(φ21+φ03)2]+

4φ11(φ30+φ12)(φ21+φ03)

(14)

φ7=(3φ21-φ03)(φ30+φ21)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ12-φ30)(φ21+φ03)[3(φ30+

φ12)2-(φ21+φ03)2]

(15)

由于φ1～φ7的数量级相差较大，所以需使用对数转换将所有值分布到相同范围中，其中sign(x)为符号函数、Hi为不变矩转换后的数值。

(16)

Hi=-sign(φi)log|φi|

(17)

根据式(9)～(15)进行计算获得图像的7个Hu不变矩，并通过式(16)～(17)转化成相同范围内的数值，再由式(18)计算A，B两个图像轮廓之间的相似度D(A,B)，其值越小表示两个轮廓之间越相似。

(18)

4 实验与结果分析

4.1 基于YOLOv5s模型的公里桩区域检测

为检验YOLOv5s检测模型的性能，采用测试数据集6 000张作为评估此模型的基础数据。实验训练模型采用的服务器为CPU：Intel i7-10700K；GPU：Nvidia GeForce RTX 3080ti，16 GB。模型训练过程中验证集的表现优异，平衡点F值几乎达到了最佳状态，F值常用来衡量网络模型性能好坏，其中P和R分别为准确率和召回率，如式(19)～(21)所示。

(19)

(20)

(21)

式中：NTP为正确检测出的公里桩数量；NFP为错误检测出的公里桩数量；NFN为属于公里桩但未检测出的数量。

如图10所示，YOLOv5s测试模型在6 000张测试集上的表现为：召回率达到了100%，准确率为52.7%。通过实验，在文中运行环境下，YOLOv5s检测模型处理每张图像的平均时长为0.138 s，基本能满足高速公路场景下的实时巡检要求。