基于YOLOv5 的岸边集装箱桥式起重机钢丝绳损伤检测方法

张俊科 吴敬兵 吴晓晓

武汉理工大学机电工程学院 武汉 430070

0 引言

钢丝绳作为港口起重设备中消耗量巨大且危险性较高的重要部件，其科学有效的使用，对港口生产安全、减少作业成本、提高设备使用率、降低能源消耗等方面均有重要意义。而安全性是其中最重要的，钢丝绳损伤累计造成严重的安全事故，会对民众生命安全和企业安全生产带来不可估量的后果。因此，钢丝绳的安全检测成为了亟待解决的问题。然而，目前钢丝绳损伤检测仍多采用人工技术手段，监测效率低下，监管困难，导致安全生产事故频发[1]。

目前，基于计算机视觉的目标检测方法发展迅速，许多学者已将此方法应用于损伤检测。张梦超等[2]利用了基于YOLOv4-tiny 的矿用输送带损伤检测技术对输送带类别重新划分，从而实现了速度与精度的平衡；杨永波等[3]提出了基于改进YOLOv5 的轻量级安全帽佩戴检测方法，通过降低模型的计算量提高了检测辨识度；李鑫等[4]使用Ghost Bottleneck 结构替换原YOLOv5 网络中的C3 模块和部分卷积结构，并引入SE 注意力机制，从而能够更加准确、快读地检测出钢材表面缺陷的种类和位置。由此可知，近年来基于YOLOv5 的目标检测应用逐渐广泛。但是，尚未有学者采用此方法对岸边集装箱桥式起重机（以下简称岸桥）钢丝绳表面损伤进行探究[5]。因此，本文提出了一种改进YOLOv5 的岸桥钢丝绳表面损伤检测方法，旨在提高对钢丝绳表面损伤的识别准确率和检测速度。

1 YOLOv5 算法

1.1 YOLOv5 目标检测网络结构

YOLOv5 目标检测网络从结构上分为输入端、骨干特征提取网络（Backbone）、过渡层（Neck）、输出端（Prediction）4 个部分[6]，其中Backbone 影响了预测网络的预测效率，同时提供输入图像的分辨率、宽度及深度也会影响特征提取的充分性[2]。该网络结构如图1所示。

图1 YOLOv5 网络结构

1.2 YOLOv5 目标检测原理

将骨干特征提取网络中，得到的3 个有效的特征层输入预测网络，通过预测网络将输入的图片分割成S×S 的网格后，如果某个待测目标的中心落在其中一个网格上，那么该网格就主要负责检测该目标[2]。

具体目标检测流程如图2 所示。在预测过程中，每个网格产生3 个预测框，每个预测框包含8 个预测值，其中前5 个预测值为预测框的调整参数，分别是预测框中心点相对于网格左上点的水平偏移量x，预测框中心点相对于网格左上点的垂直偏移量y，预测框的宽w和高h，第5 个预测值则为置信度c，以表征预测框的置信水平和预测精度，置信度理论上应在[0，1]范围，置信度趋近0，表示没有物体，1 表示必然有物体。每个预测框的预测值包含5 个元素（x，y，w，h，c），后3 个预测值则为目标分类种类，包括断丝、磨损、畸变。

图2 目标检测流程

2 改进的YOLOv5 算法

2.1 添加注意力机制CBAM 模块

CBAM(Convolutional Block Attention Module) 注意力机制由空间和通道2 部分组成，如图3 所示。输入特征图后，先进入通道注意力，基于特征图的宽、高进行GAP(Global average pooling)、GMP(Global maximum pooling)，再经过MLP(Multi-Layer Perceptron)获得通道的注意力权重，接着利用Sigmoid 方法，取得归一化注意力权重，然后再使用乘法将路径逐步加权到最初期的输入特征图上，最后重新标定为原始特征[7，8]。表达式为

图3 CBAM 注意力机制模块示意图

再进入空间注意力，首先在通道维度上实现GMP和GAP，之后再将结果基于通道做连接运算，接着通过卷积降维成1 个通道，最后再利用Sigmoid 得到空间注意力向量[9，10]。表达式为

2.2 损失函数改进

本文采用的EIOU(Efficient Intersection over Union)损失函数将GIOU(Generalized Intersection over Union)损失函数所加的最小外接矩形替换为了最小化2 个框中心点的标准化距离[11]，分开计算目标框的长度、宽度，避免了GIOU 函数在预测框和真实框处于包含状态时，不能确定2 个框的位置关系，降低了GIOU 函数在水平、垂直等方向上较大的误差，也因此提高了收敛速度和回归精度[12]。表达式为

式中：b、bgt分别为预测框、真实框的中心点，ρ为中心点间欧氏距离，d为2 个框的最小外接矩形的对角线距离，ω、ωgt、h、hgt分别为预测框和真实框的宽度与长度，Cω、Ch为覆盖2 个框的最小外接矩形的宽度与长度[12-14]。

2.3 非极大值抑制改进

目标检测网络采用加权后的非极大值抑制（Non Maximum Suppression，NMS）方法而不采用传统YOLOv5 算法直接进行预测输出。两者区别在于这些与标记的候选框类别一致时，当他们之间的IOU(Intersection over Union)超过阈值后，其中超过阈值的候选框将不再删除，而是用本文提出的公式进行运算处理[15]。

式中：ti、t'、obji分别为原始坐标的位置、调整后的候选框的具体坐标位置、目标置信度。

如图4 所示，首先，图像标注过后训练集用于训练图像数据，训练批次初始为0，接着卷积神经网络初始化，通过前向的传递取得训练参数，然后再通过反向的传递求得训练参数的梯度[16]，更新完参数后训练批次加一，输出该模型，最后用数据集之外的测试集对输出的图像数据进行验证，采用加权后的NMS 方法直接进行预测输出。

图4 本文的目标检测算法

3 实验结果与分析

3.1 数据集制作与标注

基于YOLOv5 的岸桥钢丝绳损伤目标检测网络的训练需要大量的数据集支撑，因此首先进行数据集制作。本文数据集图片是岸桥现场拍摄和实验室损伤模拟制作。具体制作流程如下：

1)制作表面损伤样本图片 首先选取合适的岸桥钢丝绳，直径为28 mm，然后在实验室使用锉刀、砂轮机等人为产生岸桥钢丝绳损伤样本图片，并在港口实际工作环境下拍摄不同损伤形式的钢丝绳样本，从1 开始编号，建立钢丝绳样本数据集图库，如图5 所示。

图5 钢丝绳样本数据集图库

2)图片筛选及增强 为了增加数据集样本量，对样本图片进行翻转、缩放、剪切等操作，如图6 所示，从而使采集到的2 000 张样本图片样本，扩增到8 792 张，同时为了保证处理后图片特征的不丢失或特征模糊，使用Python 的OpenCV 库进行图片处理，对数据集样本进行Mosaic 增强。

图6 钢丝绳损伤图片增强

3)缺陷位置标注 使用LabelImg 打标软件进行岸桥钢丝绳损伤数据集的标注，在VOC2007 文件夹下的predefined_classes.txt 文档中输入Brokenwire、Wear、Cagewire 方便标注操作。如图7 所示，使用此软件制作数据集，将钢丝绳图片中的损伤部分进行打标，其中Brokenwire表示断丝，Wear表示磨损，Cagewire表示畸变。

图7 损伤标注图

4)格式转换 对图片标注完成后，生成的XML 文件，不适应于YOLOv5 的输入格式，需转换成包含损伤类型及标注框位置信息的txt 格式文件。

3.2 采集监测方案

采用3 个相机之间间隔120°的方案围绕岸桥钢丝绳布置，即每个摄像头可以采集钢丝绳表面120°的范围，使用3 个可采集完整。同时使用每个光源之间角度距离也为120°的3 个光源，高速运行的钢丝绳在监测时，有不同程度的振颤和摆动，要求图像采集模块必须多次调试适应此应用环境，不能有伪影；考虑到在运动过程中钢丝绳的晃动影响相机采集的稳定性，故采用夹具固定环形放置摄像头起固定作用，其布置方案如图8所示。

图8 图像采集布置方案图

3.3 评估指标和改进的模型

本文采用平均精度均值(mean Average Precision，mAP )、准确率P和召回率R等指标进行评估。

式中：n为钢丝绳总的类别数，NTP、NFP、NFN分别为真正例数量、假正例数量、假反例数量[12]。

本文所提出的改进YOLOv5 模型，其网络结构图如图9 所示。

图9 改进YOLOv5 模型网络结构图

3.4 实验结果与分析

本文使用Pytorch 框架搭建并改进YOLOv5 模型，对岸桥钢丝绳损伤进行训练。选用合适学习率对网络的训练有很大的帮助，不仅能提升训练的速度，还能提升网络的准确率。在钢丝绳损伤数据集上进行训练，样本量为8 792 张，其中80%为训练集，20%为验证集，进行200 次迭代训练，耗时约8 h，得出YOLOv5 网络的损失曲线收敛情况。

在实验中，为了选取合适的学习率，分别设置不同的学习率1e-2、le-3、1e-4、1e-5 进行对应训练结果对比，结果如图10 所示。实验结果表明训练学习率为1e-2 时收敛速度较快，且曲线平滑，说明训练过程中并无较大的损失波动，故1e-2 为最佳学习率。

图10 不同学习率损失曲线收敛图

另外，从实验结果可以看出，在前200 轮训练中，损失值下降快速，之后损失值下降缓慢并开始逐渐收敛，600 轮后，损失值趋于平衡。训练完成得到了模型的最佳权重值，进行检测时，将其加载到网络模型中便能得到更好的检测结果。

断丝、磨损样本实验结果如图11 所示。钢丝绳损伤的P-R曲线如图12 所示，模型训练完成后，输入数据集之外的岸桥钢丝绳损伤图片进行模型测试，通过对置信度阈值的设置得到大小不同的预测框，根据具体的情况进行相应的匹配。

图11 样本实验结果

图12 钢丝绳损伤的P-R 曲线

因为畸变损伤的特征较明显且面积较大，置信度阈值设置为0.4 ～0.9，断丝比较小，若置信度设置太高易被过滤掉，故设置为0.2 ～0.25。P-R曲线与坐标轴围成的面积[17]为该损伤类型的精度值（AP），所有损失类型AP 值的平均值为模型预测的平均精度值（mAP），该模型mAP 值为0.903，部分细小损伤未能识别，断丝、畸变和磨损都能准确识别，满足钢丝绳的检测要求。

对比改进后的YOLOv5 在各类型损伤和原始的YOLOv5 在同一类型的检测效果，由表1 所示，其AP 值均大于YOLOv5。现将改进后的YOLOv5 与原始YOLOv5、YOLOv4、YOLOv3 和两阶段的Faster RCNN 在精度（mAP）和速度（FPS）上进行对比，检测结果如图13 所示，由雷达图可知，改进的YOLOv5在精度和速度上均相对更优，检测效果更好。即本文训练出的模型对岸桥钢丝绳的各种损伤类型检测精度较高，满足实际的检测需求。

表1 对比改进后的YOLOv5 和YOLOv5 算法各类别AP 值

图13 各类算法检测结果雷达图

4 结语

长期以来，由于缺少科学有效的钢丝绳在线监测设备，使得钢丝绳的质量管理困难，也造成了很大的安全隐患和企业经济损失。为此，本文为了解决钢丝绳损伤检测故障识别率低的问题，提出了一种改进的YOLOv5岸桥钢丝绳损伤识别方法。通过引进CBAM 注意力机制，选择EIOU 损失函数替换原GIOU 函数，更新加权NMS 算法，改进后YOLOv5 目标检测网络在钢丝绳损伤数据集上对断丝、磨损、畸变3 种损伤类型的检测平均精度均值达90.3%，满足了对钢丝绳损伤的检测要求，实现了对钢丝绳更快速的识别，为今后开发岸桥钢丝绳在线监测系统提供了一定的理论基础。