基于YOLOv5 的起重机制动下滑量测量系统设计*

肖号迪 吴峰崎 刘 龙 胡佳伟

1 上海海事大学物流工程学院 上海 200240 2 上海市特种设备监督检验技术研究院 上海 200062

0 引言

起重机制动环节在起重机起升系统中起着非常重要作用，制动性能直接影响着整个系统的安全运作和可靠性，而制动下滑量是衡量制动性能的重要标准，故对于制动下滑量的检测非常有必要。

在起重机启动制动后，吊钩受到自重及载重的影响，在重力和加速度的作用下不能马上静止不动，会持续向下滑动一段距离，这段距离就是制动下滑量[1，2]。目前常见的方法有目测法、行程开关控制的检测方法、加速度传感器测量、激光测量下滑量法等，对此业内同仁已有研究。

杨阳等[3]提出了一种通过主动向控制器提供制动信号来检测起重机制动点的新方法，通过多次实验测试数据比较稳定，误差小于1 mm；王鹏飞[4]利用MEMS 技术和制动滑动距离检测理论设计了检测系统，并通过动态仿真得出计算值与激光位移传感器误差在0.5 mm 以内；范丽丽等[5]通过比较线控开关法和计算分析法发现起重机制动器测试仪的性能更准确；王小翼[6]设计了一个由霍尔传感器和数据采集软件组成的制动滑动距离检测系统进行反复测量，可减少重复检测的工作量，其精度约为1 mm；祝金凤等[7]利用激光测距仪检测起重机的制动距离，通过积分拟合的方法得到运动位移和速度曲线，通过多次测量实现了结果的高度一致性，精度可达1 mm。

上述测量方法需要特定的机械结构和控制电路，多数情况下需要搭建辅助测量平台，且进行复杂的安装准备工作。即使是理论上可行的测量方案，在实际野外作业中也可能遇到难以预料的困难和障碍。尽管一些方法可以用来检测特定环境的性能，但其并不适用于复杂多变的施工环境，故需定期进行检测以确保安全和可靠的结果。

若使用下滑量检测系统进行检测，则只需拍摄制动视频即可完成下滑量测量，避免了搭建复杂的测量平台，更适用于复杂多变的施工环境。因此，本文采用基于YOLOv5 目标检测方法，设计了一种操作简单、安全性高、测量精度高的检测系统。

1 YOLOv5 算法

YOLOv5 网络结构[8]根据其功能可分为输入端、Backbone 网络部分、Neck 网络部分和输出端4 部分[9]。在输入端，使用Mosaic 数据增强方式[10]提升模型准确率，通过随机缩放、裁剪和排布图像，然后将多张图像拼接在一起作为输出；Backbone 层主要由Focus 结构和CSP 结构组成，Focus 结构是网络中的第1 层，其作用是对输入特征图进行采样，将1 个输入特征图划分为4 个子图，并通过通道对这4 个子图进行连接，以此得到1 个更小的特征图；CSP 结构用于构建骨干网络（Backbone），主要作用是将输入的特征图分为2 部分，一部分送入小的卷积网络进行处理，另一部分无需处理即直接进入下一层，最后将这2 部分特征图拼接起来作为下一层的输出；Next 层是在骨干网络基础上加入中间特征提取网络，再对不同层次的特征进行融合；YOLOv5 输出端可以输出图像中目标的位置、大小以及类别等信息。

2 基于YOLOv5 的坐标提取算法研究

如图1 所示，起重机制动下滑量测量原理为：首先在重物上粘贴标志点，拍摄起重机制动视频，对视频进行分帧，通过目标检测算法准确识别视频中标志点，并进行轮廓提取及椭圆拟合得到每个标志点坐标，对视频中每个标志点坐标变化得到制动开始帧及制动结束帧，通过这2 帧标志点坐标变化得到起重机制动下滑量的数据。

图1 下滑量测量原理图

YOLOv5 作为一种目标检测算法，具有检测速度快、准确率稳定等特点，方便对检测后标志点进行轮廓提取及坐标显示，故本实验使用YOLOv5对标志点进行识别。通过YOLOv5 对标志点进行识别并对识别后的图像提取其中心坐标过程如图2 所示。

图2 标志点识别及中心坐标提取流程图

1）拍摄视频 通过相机拍摄起重机制动过程中已粘贴标志点的吊物的运行视频。

2）视频分帧处理 通过YOLOv5 对拍摄出的视频进行分帧，并保存分帧图片。

3）自建数据集 建立分帧后的视频进行数据集，分成训练集和验证集，为机器学习做准备。

4）数据集图像扩充[16]在本次实验中，分帧后的图片数量有限，为了更好地进行机器学习，有必要对数据集图片进行扩充。扩充数据集的方法是通过数据增强以增加数据集样本空间的多样性，通过使用仿射变换和颜色抖动等数据增强技术，计算机可生成大量数据，有助于神经网络学习更多图像特征并提高模型性能。

5）数据集标注与划分 在目标物体检测领域，通常训练神经网络是通过图像标注识别已知物体的，LabelImg 软件被用来注释标签的位置，图像标注如图3所示。

图3 图像标注

6）使用YOLOv5s 模型对数据集进行深度学习，从而准确识别标志点。

7）进行标志点图像识别，从图像中提取特定的标志点[17，18]，利用拟合技术准确定位出该标志点的中心位置，以便对中心坐标进行匹配。本文使用FindContours函数提取标志点外轮廓，并用椭圆拟合法[19]得到标志点圆心坐标，并得到椭圆拟合的像素半径，圆心识别结果如图4 所示。

图4 椭圆拟合圆心坐标示意图

3 改进的特征点匹配方式

3.1 传统欧式距离匹配方法

特征点匹配是对提取到的特征点进行一对一正确匹配，本文通过YoLov5 目标检测后提取到的特征点，减少环境的影响能准确地检测出每一帧图像上的5 个特征点，并计算其欧氏距离[20]，特征点匹配是将特征点一一对应。记模板图像中特征点集合为A＝｛Si｝，i＝（1，2，3，…，m）；目标图像特征点集合记为B＝｛ti｝，i＝（1，2，3，…，n），m、n分别记作模板图和目标图特征点数，计算2 集合内特征点间的最小距离和次最小距离，设置比例Q进行界定，设定阈值Tq，使Q低于Tq，则视为配对正确，其原理如图5 所示。从图5 中可以看出，只有一个距离最短的限制，还是会出现错误匹配。

图5 距离最短匹配示意图

3.2 优化欧式距离匹配方式

为了避免此时出现错误匹配，需要对特征点匹配算法进行优化改进。在对每个标志点使用欧式距离最短方法进行匹配的基础上加入特征点排序，即分别为每帧图片中的5 个特征点进行排序，具体为通过算法使左上、右上、右下、左下及左的5 个方位特征点依次排序，这样每帧图像上的5 个标志点相互一一对应，可以有效排除错误匹配，匹配效果如图6 所示。

图6 优化匹配效果示意图

4 制动帧图像定位

4.1 制动帧图像判定步骤

本文使用Opencv 库中的Offset 函数，得到每个元素带有定位父元素的上方偏移。设定已制动后受重力继续下降的最远距离为制动下滑量，记平行于相机镜头方向且垂直于起升运动方向为X轴方向，自重方向为Y轴方向。

1）开始制动判定原则 开始制动可疑位置自重方向坐标前后偏移量最大处的后一帧判定为开始制动位置。

2）结束制动判定原则 目标自重方向坐标不变即为停止制动位置。

4.2 制动帧图像判定误差及影响

起重机起升机构在起升制动过程中，与理想的起升制动状态会有一定偏差，这些偏差对于最终结果会产生一定误差，需要修正。造成偏差的干扰因素主要有：

1）在起升机构运动过程中，不仅会在起升运动方向有位移，在平行于相机镜头方向且垂直于起升运动方向处也会产生位移，是否会对精度存在一定影响需要进一步分析。

2）在起升机构运动过程中，理想的情况为先匀加速、然后匀速、最后匀减速的过程，开始制动帧判定也是运用于这种理想情况，但实际情况并非如此，自重方向坐标会有一定抖动，此抖动也会产生一定误差，影响结果精确度，需要进一步处理。

3）在起升机构制动过程中，下降到最低点时会有回弹，不仅对水平方向位移有影响，对最后阶段的匀减速过程也会有额外干扰。

4.3 优化制动帧图像判定算法

1）X轴方向干扰

在起重机起升机构运行过程中，以相机距离标志点6 m 为例，分别记录制动开始帧以及制动结束帧的X坐标、Y坐标以及偏移角度，具体如表1 所示。

表1 标志点数据

检测目标静止状态X轴像素坐标为1 101.988 px，Y轴像素坐标为323.013 px；检测目标开始制动274 帧X轴像素坐标为1 116.42 px，Y轴像素坐标为692.33 px，摆动角度为2.23°；结束制动的X轴像素坐标为1 114.593 px，Y像素坐标为695.281 px，摆动角度为1.89°；制动帧到结束帧Y像素坐标差值为2.951 px，考虑角度影响，制动帧到结束帧Y坐标差值为2.954 px，相差0.003 px。因此，摆动对本系统影响并不是很大，只需要考虑Y坐标即可。

2）Y轴方向干扰

在起重机实际制动过程中，Y坐标差值并非完全规律，会有一定轻微抖动，原始判断原则为Y坐标前后偏移量最大处。因此，在算法判断时需要进行阈值优化，即令Abs(Offset_y)为当前帧与上一帧Y坐标偏差绝对值，令Abs(Lastoffset_y)为上一帧与再上一帧的Y坐标偏差绝对值。设置阈值比例为Q，当检测到Abs(Offset_y)＜Q* Abs(Lastoffset_y)时，则当前帧为制动开始帧，此算法优化可以解决因制动过程中起重机抖动而产生的误差。Q的大小与制动性能有关，一般起重机设置0.6 即可。若满足判断要求则确定制动开始帧位置，开始帧判断程序结束，这样可以避免由于制动结束前系统回弹导致的判断误差。

5 系统功能及实验检测

5.1 系统集成与功能

在控制界面中，主要效果是为了测量制动下滑量，主要功能包括打开视频、批处理检测视频中各标志点坐标、输入标志点实际半径、计算标志点像素半径、找出制动位置、计算制动距离等。

将相机放置在待采集目标视频的正前方，本次需要测试制动下滑量数据的稳定性，将采集相机与标志点距离4 m 正前方拍摄图像。

5.2 实际实验检测

以相机与标记点距离4 m 实验为例，对开始制动时刻、停止制动时刻、系统软件测试进行实验分析。

1）开始制动时刻分析

Y均值坐标变化如图7 所示，219 帧可疑点前后坐标点Y坐标前后偏移量变化如图8 所示。相机与标志点距离4 m 制动视频在第2 次偏移时Y坐标达到最大，前面偏移量逐渐增大，后面偏移逐渐变小；第2 次偏移由图8 可知，是216 帧与217 帧的偏移，所以218 帧为开始制动图像。

图7 坐标变化图

图8 坐标偏移量变化

2）停止制动时刻分析

取Y坐标停止制动为结束制动位置，开始制动帧图像和结束制动帧图像坐标数据如表2 所示。本系统选择的标记点外圆半径为15 mm，经系统检测出，标记点像素半径为19.944 px。

表2 开始与结束制动坐标数据

3）系统软件测试

导入拍摄视频，软件检测结果如图9 所示。根据制动下滑量原理，已知标记点实际半径为15 mm，像素制动距离为2.617 px，测量得出相机距离标记点4 m 位置，测得制动下滑量为1.969 mm。

图9 系统测试结果图

6 结束语

对制动下滑量检测系统提出迫切需求，本文研究工作主要围绕提高制动下滑量检测系统实时检测精度展开，开发了相应的软件系统，优化了标志点匹配算法，建立了目标检测模型，重点分析了制动位置开始帧和结束帧的寻找，对于系统产生的误差进行了分析，并对算法进行了优化。该系统具有简单易操作、高精度、实时显示、稳定性好等特点，实验结果表明，制动下滑量检测系统的可行性和有效性。

本文基于摄影技术设计了对起重机制动下滑量检测算法，用于自动化实验中的检测，虽然取得一些成果，但仍存在以下不足：

1）基于YOLOv5 的目标检测模型训练集数据较少，需要通过不断扩充数据集，提高模型的泛化性，收集容易误判的标志点图像，增强检测效果。

2）目前本系统只涉及到二维坐标系的一个分析，在要求更高精度的情况下，可采用2 台摄像机，对三维坐标系进行分析。

3）对于系统中因为制动而出现的摆动，也会因为回弹力导致制动结束位置不准确，后续可以增加Y方向数据量，得出回弹规律，提高检测系统精度。