公路边坡病害分类与图像特征研究
2024-06-14廖艺
廖艺
摘要 为了提出一种智能化的公路边坡病害检测方法,研究过程利用无人机采集边坡图像信息,并且根据边坡病害的特征,通过软件工具进行目标分类标注,形成风化剥落、雨水冲刷、滚石掉块、崩滑坡四类特征图。基于 YOLOv4算法设计改进的YOLOv4-RSS检测算法,主要的优化点为特征图残差、检测头编码方式、注意力机制。使用标注后的边坡图像数据训练YOLOv4-RSS算法,再检验其对边坡病害的检测效果。结果显示,其对四类病害特征的平均检测精确度达到了72.86%,可靠性较高。
关键词 公路边坡病害分类;边坡病害图像采集;YOLOv4-RSS检测算法;图像特征
中图分类号 U418文献标识码 A文章编号 2096-8949(2024)08-0012-03
0 引言
公路边坡病害类型多样,包括风化剥落、滑坡、坍塌等,由于线路长度较大,导致人工检查方式存在效率低、成本高的缺点。基于图像特征的目标检测技术以人工智能算法为基础,能够从公路边坡的图像信息中识别出病害部位和类型,成为提高边坡维护效率的重要工具。目前,YOLOv4算法在这一领域应用广泛,故基于该算法对相关问题展开研究,旨在提出性能优异的检测模型。
1 公路边坡病害分类及图像采集
1.1 公路边坡病害分类
公路边坡的病害类型主要包括4种,分别为滑坡、坍塌、崩塌以及岩石风化剥落。当公路边坡存在层状岩石结构(如页岩、片状岩)时,受到风力作用的长期侵蚀,有可能出现风化,破坏岩石结构的稳定性。滑坡是公路边坡失稳的重要表现形式,地表水和雨水的冲刷作用容易造成滑坡类病害[1]。当公路边坡为高陡边坡时,在重力、风力以及其他外力的影响下,有可能出现岩土体突然脱离母体的现象,从而形成崩塌或者坍塌。
1.2 公路边坡病害图像采集
公路边坡病害的外在表现形式具有一定的特征,工程地质专家可通过查看边坡的地形、地貌,判断是否存在发生病害的风险。以边坡坍塌为例,当雨水径流冲刷边坡时,可在边坡岩土体上产生竖向纹理。再如,当边坡岩体风化严重时,坡脚以及地势较低的部位会产生较多的落石掉块,可据此判断风化剥落和岩土崩塌风险。大量采集公路边坡的图像,能够为识别病害类型、查找边坡隐患提供依据。
1.2.1 基于无人机的图像采集方法
公路边坡空间范围较大,使用无人机采集边坡的图像数据,能够显著提高工作效率。研究过程采用DJI Mavic Air 2无人机采集图像信息,该机重量为570 g,最大飞行速度为43 km/h,单块电池的续航时间为34 min,配备6块备用电池,机载拍照设备的像素达到4 800万。无人机采集图形作为一项复杂的数据处理工作,涉及大量公式,在设计无人机路径时,研究人员引入航点计算公式,用于计算无人机飞行航迹中的航点坐标。通过规划合适的航点,可以确保无人机在任务区域内按照设定的路径高效飞行,实现图像的全面覆盖,具体公式:
(Xi,Yi,Zi)=(Xstart,Ystart,Zstart)+[d·cos(θi),d·sin(θi),Hfly]
(1)
式中,(Xi,Yi,Zi)——第i个航迹点的地理坐标;(Xstart,
Ystart,Zstart)——无人机起飞点的地理坐标;d——航点之间的水平距离;θi——第i个航点相对于起飞点的方向角;Hfly——无人机飞行高度。
除了利用公式(1)计算无人机飞行过程中经过的航迹点之外,为提高拍摄图片的内容价值,研究人员还引入了图像采集的重叠度计算公式,确保采集的图像足够重叠,以便后续图像的拼接和三维重建。通过调整无人机的航迹和相机参数,可以控制重叠度来满足特定任务需求,具体计算公式:
(2)
式中,O——图像的重叠度;L——图像的长度;D——图像之间的水平重叠区域的长度。采集到图像之后,利用地图配准中的相机模型,将地理坐标投影到图像平面,通过这种方式将采集到的图像与地理坐标进行关联,确保图像上的特征与地理空间一致,其计算公式:
[u v]=[fx 0 cx 0 fy cy][X Y Z] (3)
式中,[u v]——图像上的像素坐标;[X Y Z]——地理坐标;fx、fy——相机焦距;cx、cy——图像的主点坐标。
拍照时将镜头与水平方向的夹角控制在30 ?~45 ?,覆盖公路里程为150 km,共计获得1 701张公路边坡病害照片,排除拍摄效果不佳的照片,最终剩余1 089张可用照片。
1.2.2 图像标注
使用算法程序进行图像检测之前,应对图像进行标注,研究过程使用的标注工具为Labelimg,以人工方式进行标注,将图片中的目标区域标注为矩形框,并且设置明确的类别。标注完成后,可生成相应的XML标签文件,其中包括矩形框左上角和右下角的坐标、图像像素大小[2]。经过标注,在1 089张公路边坡图片中,共计形成了2 213个病害区域,样本标注结果见表1。
1.2.3 图像增强
利用图像特征识别公路边坡病害时,需要较多的数据样本,以便实施深度学习和训练。为了增加数据的多样性,应该对其进行图像增强处理,主要的处理措施为切割、翻转、缩放以及平移。研究过程利用混合裁剪(CutMix)和马赛克(Mosaic)方法进行数据增强。
2 基于YOLOv4-RSS算法的公路边坡病害图像特征检测
2.1 YOLOv4算法的应用原理
2.1.1 YOLOv4算法的结构
YOLO(You Only Look Once)是一种基于深度神经网络的目标检测算法,从诞生之后,至今已形成了多个模型,包括YOLOv1、YOLOv2等,YOLOv4提出于2020年,继承了YOLOv1~YOLOv3算法模型的优点,同时进行了优化和改进。该算法由输入层、主干特征提取网络、池化层、输出层组成,在输入层利用Mosaic方法进行数据处理,通过CSPDarknet53网络进行特征提取,在池化层可进行多个尺度的池化处理。
2.1.2 预测类别置信度计算方法
YOLOv4算法先对图像进行分割处理,形成网格,利用网格预测落入其中的目标。将数据集中的总类别记为C,则每个预测框可形成5+C个数值,其中5代表5个基本信息量,分别为网格几何中心点坐标(x,y)、网格的宽和高(w,h)以及置信度[3]。在此基础上计算出网格预测类别的置信度,相应的计算方法如式(4)。
(4)
式中,Pob——表征目标落入网格的概率;Pci——网格对第i类目标预测结果的准确率;CIoU——预测边框与真实边框的距离交并比。当Pob=1时,目标落入预测网格中,当Pob=0时,目标未落入预测网格。
2.1.3 CSPDarknet53网络及其激活函数
YOLOv4算法利用CSPDarknet53网络实现主干特征提取,该网络是进行公路边坡病害分析的关键,其激活函数采用Mish函数,表达式如式(5)。
(5)
式中,Xi——第i个特征向量序列,并且有Xi={x1, x2, ..., xi};e——自然对数的底数;tanh(·)——双曲正切函数。
2.1.4 边框回归损失函数
与YOLOv3不同,YOLOv4算法的边框损失函数采用 Ciou Loss,该函数的定义见式(6)。
(6)
式中,v——用于衡量长宽比的一致性;α——权重系数;c——最小外接矩形对角线的距离;b——预测框的几何中心点;bgt——真实框的几何中心点;ρ——中心点b和bgt的欧式距离;LIoU——边框损失的计算结果。
2.2 YOLOv4算法改进
为了适应公路边坡病害图像特征分析的需求,研究过程对YOLOv4算法进行改进,形成YOLOv4-RSS算法,其中RSS的含义为“Road Side Slope(公路边坡)”,改进点如下:
2.2.1 引入注意力机制模块
在YOLOv4-RSS算法中引入了注意力机制模块,包括通道注意力模块和空间注意力模块,前者用于加权特征图的通道维度,后者用于增强算法模型对图像中目标位置的敏感性。
2.2.2 改进特征图残差
公路边坡病害检测过程中,需要从图像信息中区分边缘、纹理和颜色的差别,这一过程需要以恰当的方式处理残差问题[4]。YOLOv4-RSS算法中对残差处理方式进行了改进,将卷积层的输出从H(x)转化为F(x)+x的形式,降低了算法的训练难度。
2.2.3 改进检测头编码方式
在YOLOv4算法中,分类和回归预测各自独立进行编码。在YOLOv4-RSS算法中,对二者先进行合并,再进行堆叠,最后实施编码,其效果优于二者各自独立编码。
2.3 YOLOv4-RSS算法性能验证
2.3.1 模型训练设置
(1)软硬件环境。硬件为工作站,其核心设备为高性能计算机,采用Intel处理器,主频为2.2 GHz,内存为32 GB,CPU为12核。软件部分为Ubuntu 20.04 LTS操作系统,编程语言为Python3.8。
(2)基本参数设置。模型训练分为冻结训练和解冻训练两个阶段,针对两个阶段的批处理次数分别为8次、4次,相应的学习率设置为0.001和0.000 1。将数据按照81∶9∶10的比例分为训练集、验证集和测试集三部分。
2.3.2 性能评价指标
在模型性能评价中,采用指标mAP,其含义为各个边坡病害类别的均值平均度。将算法模型的召回率作为横坐标,与之对应的精确度作为纵坐标,横、纵坐标值所围成的面积称为平均精度(Average Precision,AP)[5]。求出FH、CS、GS、BHP四类标签的AP平均值,记为mAP。如果mAP的计算结果越大,则算法性能越好。在计算评价指标时,将召回率记为Rc,精确度记为Pr,相应的计算方法如下。
(7)
式中,TP(Ture Positive)——被预测为正例的真实正例样本数;FP(False Positive)——被预测正例的真实反例样本数;FN(False Negative)——未能识别的真实正例样本数量。
2.3.3 基于图像特征的性能检测结果
将YOLOv4-RSS作为目标算法,为其设置4个对照算法,分别为YOLOv4(对照算法1)、基于注意力机制的改进YOLOv4算法(对照算法2)、基于特征图残差的改进YOLOv4算法(对照算法3)、基于检测头编码方式的改进YOLOv4算法(对照算法4)。利用无人机采集的图片信息开展模型训练和检验,结果见表2。从数据可知,YOLOv4-RSS算法的mAP值最大,在5种算法中性能最佳,单独改进注意力机制、特征图残差或者检测头编码方式,也能提高算法性能。
3 研究结果
根据以上研究过程,可得到以下几个基本结论。
(1)公路边坡病害可通过图像进行智能化的检测与识别,其主要的识别依据为边坡的图像特征,具体包括风化剥落、雨水冲刷、滚石掉块以及崩滑坡。
(2)YOLOv4属于当前较为先进的图像目标检测算法,但该算法在边坡病害图像特征检测中仍具有一定的改进空间,主要的改进点为降低特征图残差影响、优化检测头编码方式以及引入注意力机制。
(3)研究过程基于以上改进点,设计出针对公路边坡的YOLOv4-RSS图像特征检测算法,与YOLOv4算法相比,其对四种边坡病害特征的平均检测精度均有所提高。
4 结语
基于人工方式的公路边坡病害识别方法效率低下,难以适应管理需求,在此次研究中,利用无人机采集公路边坡的图像信息,以YOLOv4算法为基础,改进其检测头编码方式,降低特征图残差的影响。同时,引入注意力机制,进而提出YOLOv4-RSS检测算法。经过模型训练和检验,新的目标检测算法在识别精度上全面优于YOLOv4算法,其对风化剥落、雨水冲刷、滚石掉块的检测精度均超过70%,达到了较高的可靠性。
参考文献
[1]段英杰. 公路隧道衬砌表观病害图像数据化表征方法研究[J]. 机电信息, 2022(12): 83-85.
[2]白利茹, 柴明堂, 武立波, 等. 青藏公路病害图像提取及分析[J]. 公路, 2021(11): 32-37.
[3]谭建德, 张梦炜, 郑凤飞, 等. 基于三维图像处理技术识别高速公路路面病害的方法研究[J]. 波谱学杂志, 2023(4): 482.
[4]刘健, 解全一, 吕成顺, 等. 公路隧道衬砌裂缝图像质量增强方法研究[J]. 山东建筑大学学报, 2023(4): 108-116.
[5]陈垦, 王世法, 谭屈山, 等. 高速公路无线施工视频监控、图像处理及编码技术综述[J]. 无线电工程, 2023(8): 1815-1828.