基于YOLOv5 的铁路远距离异物识别报警装置

袁 航，胡 伟，赵 龙，琚中超，卜旭辉

（1.河南理工大学，河南焦作 454003；2.郑州铁路局郑州机务段，河南郑州 450053）

0 引言

铁路作为国家经济发展的大动脉，已经成为交通运输不可或缺的一部分。在铁路运行时，常发生接触网悬挂异物、异物侵限，甚至地陷等安全隐患。如果可以实现远距离对侵限异物快速、准确、高效的检测，就可以有效减少碰撞异物问题，降低损失。目前，对侵限异物的检测主要分为接触式和非接触式两类[1]。徐伟等[2]提出的高铁接触网异物自动化智能检测方法，通过训练接触网安全巡检装置（2C），采集图像数据，并由Softmasx 进行目标分类，实现异物识别。刘力[3]提出的基于YOLOv4 的铁道侵限障碍物检测方法，研究通过改进YOLOv4，提高检测精度及速度。于晨[4]提出的基于深度学习的机场跑道异物检测与识别技术研究，通过融合FOD 图像检测算法与多属性识别算法，实现对FOD目标的准确检测，再通过对抗生成网络对样本进行识别分类。上述研究实现了异物检测功能，但由于摄像头铺设线路费用高、维修困难、面对突发情况来不及通知司机等问题，使在列车运行中的诸多突发情况仍需要依靠司机进行判断并采取措施。

如果可以实现在列车运行中实时远距离检测异物，就可以为司机留有足够的判断时间，及时采取停车或者降弓通过等措施规避异物，避免长时间停留而引发大规模晚点的事故发生。

AlexNet 网络[5]在ImageNet 大赛中一举夺冠后，深度卷积神经网络取得高速发展，如工程病害检测等任务[6]。主流检测网络分为单阶段检测以及以YOLO 为代表的双阶段检测[7]。YOLOv5以其简洁的网络结构、简单的环境配置、较快的检测速度以及较好的识别精度被本次研究所采用。本文将显示模块、识别模块、语音报警模块、视频传输模块、定位模块相结合，构建了铁路远距离异物识别报警装置，可以实现列车在运行中远距离图像实时传输并识别异物。构建铁路异物数据集并进行训练，部署YOLOv5 深度学习算法，实现常见异物的检测识别。针对路外人员配合背景优化和离线增广，探究了背景及数据扩容对目标检测的影响，从而实现了高精度、高鲁棒性的目标检测。

1 硬件搭建

YOLOv5 权重训练使用的计算机配置如表1 所示。

表1 权重训练计算机配置

语音报警模块选用Risym 的MP3 语音播放模块，定位模块选用亚博智能的GPS 北斗双模定位模块，图像传输模块选用海康威视DS-2DC4423IW-D 型，显示模块选用7″高清触摸屏，检测模块选用Jetson Nano，具体硬件设计如图1 所示。在接通电源后，通过双摄像头模块进行远、近图像传输，通过RTSP 推流将视频送入边缘计算设备进行预测。由于存在误判的可能，增设一个阈值，在预测概率大于阈值时进行报警。在报警信号发出后，为方便观察异物，添加延时程序。由定位模块进行设备定位，实现位置信息识别并判定，通过与预设的位置区间相比较，控制远距离传输摄像头云台旋转至预设位置。

图1 硬件设计

2 部署YOLOv5 并构建铁路异物数据集

2.1 YOLOv5_6.1 网络结构

YOLOv5_6.1 网络结构主要由输入端、Backbone（骨干）网络、Neck 网络、Head 网络构成（图2）。

图2 YOLOv5_6.1 网络结构

2.1.1 输入端

在网络训练中，每个模型文件会设定有预设框。在YOLOv5 中，将自适应锚框计算融入到代码中，每次训练时都会在初始锚框的基础上与真实框进行比较，反向迭代网络参数，用来计算数据集中最佳锚框值。

2.1.2 Backbone 骨干网络

YOLOv5_6.1 骨干网络采用New CSP-Darknet53。New CSPDarknet53 相较于YOLOv4 的骨干网络，将网络原本第一层的FOCUS 模块替换为一个6×6 的卷积层，两者在理论及实际准确率相同，但随着GPU 的普及，6×6 的卷积层更加高效。同时将SPP结构替换为SPPF（图3）。

图3 SPP、SPPF 网络结构

2.1.3 Neck 网络和Head 网络

Neck 网络位于Head 网络与骨干网络之间，主要用来特征融合以在不同尺度下都可以获取丰富的语义信息，在YOLOv5 中采用FPN+PAN 结构。通过FPN（Feature Pyramid Network，特征图金字塔网络）可以融合高分辨率的浅层结构和具有丰富语义的深层结构；而PAN 自底向上传达强定位特征，两者结合对不同分辨率大小的检测层进行融合，方便实现各个尺寸的目标检测。

2.2 铁路异物数据集

2.2.1 铁路异物数据集类别构成

在设计铁路异物数据集时，通过大量事故案例以及咨询业内相关人士，构建出铁路异物数据集类别及属性（表2）。

表2 铁路异物数据集类别及属性

2.2.2 铁路异物数据集统计

铁路异物数据集的标组工作采用Labelimg 软件进行。在标注完成后对标注图片进行筛查、修改等，确保标注图片准确可靠。铁路异物数据集包括9 类异物，共计2000 张图片，选取各类型图片文件夹前70%作为训练集、后30%作为验证集。

2.2.3 权重训练

选用yolov5s.pt 作为预训练权重，修改类别以及分类个数，epochs 设定300 轮，batch_size 为4，输入图像分辨率为640×640，训练权重PR 曲线及各类AP（Average Precision）值如图4 所示。

图4 铁路异物权重PR 曲线及AP 值

选取数据量较大的路外人员为例，选用路外人员数据集500 张，采用PS、PPT 分别进行更换背景，并通过高斯模糊、锐化、对比度等方法模拟不同天气、不同时间段的图像情况。每张图片进行离线增广后为扩大5 倍，结合原图共计3000 张，其中训练集2400 张、测试集600张，增强效果如图5 所示。

图5 离线增强示意

在模拟真实背景的情况下，初始训练集、统一背景、统一背景且离线增广权重的AP0.5、AP0.5～0.95 如表3 所示。

表3 不同权重AP 值

2.2.4 鲁棒性测试

为验证权重的鲁棒性，构建图片包含大、中、小三种目标并进行检测（图6），分别进行遮挡、旋转、模糊、拉伸及高亮度修改，实验结果如图7 所示。图7a）进行随机遮挡约1/4，准确率分别为0.78、0.53、0.80、0.83、0.54；图7b）为旋转，在旋转9%的情况下准确率分别为0.89、0.78、0.84、0.92、0.93；图7c）高斯模糊，进行三轮高斯模糊半径为10、阈值20，准确率为0.90；图7d）长度拉伸一倍情况下准确率分别为0.92、0.80，图7e）宽度拉伸一倍情况下准确率分别为0.79、0.92；图7f）为高亮度，准确率分别为0.89、0.90、0.80、0.65、0.51。

图6 原图测试

图7 鲁棒性测试

通过观察图7 可以观测到，权重在鲁棒性测试中准确度分别下降17.9%、-2.8%、-28.6%、1.7%（长度拉伸）、2.3%（宽度拉伸）、-0.5%，由精度下降可以看出，在进行部分遮挡时，精度下降较大，而在其他测试中精度总保持在较高水平，甚至有提高。为剔除偶然因素，依次构建20 张图片并统计，随机遮挡、旋转、模糊、拉伸及高亮度修改平均准确度下降为19.1%、-1.3%、-5.6%、5.8%（长度拉伸）、6.1%（宽度拉伸）、1.7%。

3 应用效果及实际问题解决

3.1 远距离检测效果

将软件与硬件相结合后，使用Jetson Nano 调用YOLOv5，在摄像头传输距离为2～2.5 km 范围内调用YOLOv5s 权重，输入分标率为640 情况下，检测效果如图8 所示，基本检测出所有待检测目标。

图8 远距离检测效果

截取真实铁路运行视频帧，构建图片并检测，效果如图9所示。

图9 模拟铁路检测效果

3.2 图像延时及摄像头旋转问题

实验发现，检测时存在3 s 延时，面对运行的列车，尤其是对高速列车而言，3 s 可前进约290 m，无法达到实时监测的目的。本文采用的Jetson Nano 设备采用ARM 架构，经查阅资料，其SDK 仅适用于x86 架构，无法通过官方SDK 调用rtsp 推流加速。由于无法使用SDK，造成无法通过调用SDK 控制摄像头旋转。通过对检测代码重新梳理并改进后，实现了摄像头实时图像传输，并取消缓存检测，修改后的延迟约为0.5 s。编写Python 代码，通过对网页发出请求实现摄像头根据位置信息，实现旋转至预设点，满足实时检测条件要求。

4 结论

（1）构建铁路异物数据集平均检测精度均值为63.8%，通过离线增广，可将路外人员平均检测精度均值由85.1%提升至93.7%；通过Python 代码解决在ARM 架构下摄像头无法旋转以及摄像头延时的问题，将延迟降低至0.5 s 以内，满足实时检测条件。

（2）构建基于YOLOv5 的铁路远距离异物识别报警装置，有效解决了人工瞭望的局限性，通过远距离图像传输，实现提前20 s 发现异物，留给司机足够反应时间，甚至达到在异物前停车，减弱了异物侵限所成的损害。

（3）以检测分辨率640、YOLOv5s 权重为例，使用NVIDIA GeForce RTX 2060 显卡，同时调用2 个摄像头，帧率可达31 fps，满足实时检测需求。而使用入门级的Jetson Nano 帧率只有6 fps，无法满足实时观测的条件，实际使用中需采用Jetson AGX Orin或Jetson AGX Xavier 版本，以满足实时检测的需求。

（4）在天气不良或瞭望困难的场景下，检测距离会极度缩短。