基于YOLO的智能化铁路货车搭扣缺陷检测系统设计与实现

李林俊，张欢，厉伟，李宏林，王亚萍

(1.国能铁路装备有限责任公司 生产技术部，北京 100048； 2.南京斯尔默电气有限公司 智能信息事业部，江苏 南京 211161)

0 引言

铁路货车车辆作为铁路货运的主要载体，货车不同程度的缺陷和损伤会成为铁路货车行车的安全隐患，列检作业是当前保证铁路安全的一个有效手段。随着铁路货车重载、提速战略的实施，采用新技术、新设备，全面推广“科技保安全”理念已成为货检作业改革的发展方向[1]。

现有的列检作业模式以人工作业或人机分工检查为主，检车员劳动强度较高，存在一定程度的安全隐患。近年来，以视频监控、深度学习为代表的新技术在车体识别、车号识别以及安全分析等领域广泛应用，为铁路货运安全管理提供了新的技术基础。李博等[2]、周雯[3]、林瑛霞[4]将图像智能识别方法应用于高速铁路行车安全分析，张超[5]将深度学习方法应用于铁路货车类型的识别，雷蕾[6]将图像识别应用在货车转向架识别上。针对货车车体面积大，缺陷不规则等挑战，基于YOLO的智能化铁路货车搭扣缺陷检测系统以货车搭扣缺陷检测为基础需求，利用图像采集技术、深度学习以及物联网技术，实现车体搭扣缺陷的智能检测，目的是优化列检作业模式，降低安全风险，提升作业效率和质量，诠释“科技保平安”理念，对构建铁路货车安全智能保障具有重大意义。

1 研究内容

以国能铁路装备有限责任公司肃宁分公司定州西卸货站为实施对象，设计并实现智能化铁路货车搭扣缺陷检测系统，系统功能架构如图1所示。

图1 系统功能架构Fig.1 Functional architecture of system

铁路货车搭扣缺陷检测系统围绕车体搭扣缺陷检测需求，在定州西卸货站出入咽喉区和通信机房部署安装硬件设备，实现图像采集、基础数据管理、智能判别、报警管理、统计分析以及系统管理等功能。

2 总体设计

2.1 逻辑结构

在逻辑上将智能化铁路货车搭扣缺陷检测系统划分为图像采集模块、图像分析处理单元、数据库以及人机交互及显示模块4部分，系统逻辑结构如图2所示。其中图像采集模块作为基础部分，由补光光源、图像采集器及车轮传感器等设备组成，实现图像的采集与处理。图像分析处理单元是系统的业务中心，负责获取图像数据的引接、解析、分析以及智能推理等功能。人工交互及显示模块主要以缺陷结果展示和处理为主，具体包括基础数据管理、智能判别、报警管理、统计分析以及系统管理功能。

图2 系统逻辑结构Fig.2 Logic structure of system

2.2 体系架构

采用分层思想将整个系统划分为服务对象层、应用服务层、数据资源层、网络层以及前端设备层，系统架构如图3所示。其中服务对象层主要是面向铁路货运组织的列检人员，具体包括货站列检人员、货检管理人员以及各级领导。应用服务层基于装卸货站的列检需求，提供列检作业的智能检测服务。数据资源层通过建库与数据接口的方式实现货检数据的存储、共享以及管理，为应用服务层提供数据支撑。网络层是数据传输的通道，通过无线网络将前端采集的数据传输到数据处理中心，在数据处理中心通过建库和接口的方式实现数据共享。前端设备层负责货车车体图像的采集与处理工作，具体包括图像采集器、补光光源阵列、车轮传感器以及车号智能识别装置等设备。

图3 系统架构Fig.3 System architecture

2.3 缺陷检测流程

缺陷检测业务流程如图4所示。其中数据采集是利用图像采集器采集正在行进中的车体图像并按照预先确定的格式保存在图像采集主机。通过架设的5G微波网络将采集的数据传输到数据处理中心，在数据处理中心首先进行进出站判断，若是进站，通过图像处理系统按照预先选定的搭扣缺陷检测算法模型进行判别，按照对应的策略进行数据存盘。若是出站，在完成智能判别后，根据对进出站的识别结果进行比对，并生成缺陷报告。

图4 缺陷检测业务流程图Fig.4 Business flow of defect detection

3 系统设计

3.1 缺陷检测模型

近年来，随着工业成像、深度学习等领域的新技术层出不穷，基于机器视觉的工业缺陷检测技术得到了长足的发展。

目前目标检测算法分为2种框架：一种是以SSD/YOLO为代表的一阶段检测算法(one-stage)[7]，即直接设计一个端到端的提取特征、目标检测的框架；另一种是以Faster-RCNN为代表的二阶段检测算法(two-stage)[7]，在进行目标识别过程中，首先对区域框进行检测，产生候选区域，然后对候选区域分类。正是由于2种框架的差异，在性能上也有所不同，前者在算法速度上占优，后者在检测准确率和定位精度上占优。

该模型基于YOLOv5缺陷检测模型将YOLO原有的Darknet网络替换为RepVGG结构，并进行多尺度融合使其速度与精度都得到了极大的提升。YOLOv5与其他的目标检测算法一样由输入、骨干网络(backbone)、特征融合(neck)、预测(prediction)结构组成[8]，YOLOv5网络结构如图5所示。

图5 YOLOv5网络结构Fig.5 YOLOv5 network structure

缺陷检测模块设计流程如图6所示，首先对数据进行图像增强、畸变消除以及图像对齐/切分等预处理操作，然后按照时间戳辨认进出方向，进行车体编号识别、关键区域检测，通过计算相似位置的关键区域的匹配度，进行关键区域比对识别，对匹配度大于阈值的区域进行标识，然后依据标识结果与车号、进出方向等关键信息进行关联，最后针对整列货车进行缺陷报警与缺陷统计。

图6 缺陷检测模块设计流程Fig.6 Defect detection module design

货车车侧搭扣基座在装卸作业过程中容易造成损坏，其缺陷在车侧表面成像中所占的像素面积非常小，在缺陷检测模块设计实现时借鉴RepVGG的思想，将原有的3×3conv替换成RepVGG Block，并采用多层融合机制，有效地保留小目标的特征，提高了模型对搭扣及基座小缺陷的检测能力。同时，由于采用RepVGG作为主干网络，在训练过程中，使用的是一个多分支模型，而在部署和推理的时候，转化为单路的模型，对模型进行裁剪，有效地提高了模型推理的速度。网络结构如图7所示。

图7 网络结构Fig.7 Network structure

基于YOLOv5目标检测框架，构建铁路货车搭扣缺陷目标检测模型。在铁路货车搭扣缺陷检测算法设计上，将整个训练过程分为2个阶段。其中，第一个阶段基于大量样本训练得到一个预训练模型，第二个阶段基于少量样本对预训练模型进行模型微调。此外，还添加了2个新的网络分支，在这个新的网络分支上应用了新提出的缺陷突显模块(Defect Prominence Module，DPM)。DPM利用同一辆车进出站在咽喉区2张车体图片相减操作，借助无缺陷样本的特征来加强缺陷区域的特征。由于系统采用线阵相机对车体进行扫描成像，精度达到0.85～1 mm/px，每个搭扣及基座占200个像素，成像和算法相匹配，精度能够满足模型检出的要求。

最后网络模型利用特征聚合操作来综合不同分支输出的特征，进一步提升了缺陷检测性能。

3.1.1 改进的RepVGG的特征提取主干

缺陷检测模型将YOLO原有的Darknet网络替换为RepVGG结构，RepVGG结构由若干个不同尺寸的RepVGG Block组成。其中Block由Conv3x3+bn，Conv1x1+bn，identity分支构成，以上3个分支输出add-wise后(不改变通道数)再使用ReLu。模型将所有Block分为4个stage，每个stage通过统一缩放[1.5，1.5，1.5，2.75]的经验宽度设置来确定层宽度。

3.1.2 多尺度融合模块

在神经网络下采样提取特征图的过程中，根据采样的不同倍率，可以分为浅层特征和深层特征。其中浅层特征中语义的信息比较少，但是其由于有较高的分辨率，目标位置信息丰富，对于小目标的检出有较大的作用。而深层特征随着下采样或卷积次数增加，感受野逐渐增加，感受野之间重叠区域也不断增加，此时的像素点代表的信息是一个区域的信息，获得的是这块区域或相邻区域之间的特征信息，相对不够细粒度，分辨率较低，但语义信息丰富。考虑到搭扣及基座缺陷在车体表面图像中的像素范围，将用作缺陷检测的输出特征图设计为3个尺度(19×19、38×38和96×96)。首先，每个尺度下先堆积不同尺度的特征图；之后，使用卷积核(3×3和1×1)对不同尺度特征图之间的局部特征进行融合[9]，输入融合后的特征图，融合后的特征图能有效提高车侧端缺陷的检测精度。

3.2 图像采集处理流程

在对图像进行分析之前，对数据进行图像增强、畸变消除以及对齐/切分等预处理工作。

（1）图像增强。在采集时采用多组相机，按照目标区域分区成像，需要将分区成像拼接成一整幅图像，算法会对每幅图像数据进行一个提取比对，达到对图像增强的效果。

（2）线阵相机畸变消除。采集的车体图像存在畸变时，图中各观测部位形状都会发生不同程度的形变。图像畸变校正方法是首先采用基于深度学习的目标检测算法定位车辆车体，然后根据检测出的关键位置框计算图形畸变率，确定车辆图像各部分的畸变率数值，最后基于畸变率数值对图像各部分进行校正，实现畸变列车图像的复原。

（3）图像对齐/切分。由于线阵相机成像的特点，经过畸变消除之后，按照车体高度和宽度的比例，对图片进行对齐、切分，使得切分之后的每张图片含1节车厢。

3.3 系统流程及接口设计

铁路货车搭扣缺陷检测系统在物理上分为前端采集设备、数据处理中心和监管中心3部分，系统流程图如图8所示。前端采集数据通过无线网络发送给数据处理中心，数据处理中心将接收到的数据保存本地磁盘，同时推送给算法分析服务进行计算分析工作。算法分析服务开始关键区域检测，然后根据进出站的识别结果进行比对工作，最后对比对结果进行标注。比对结果通过铁路内网发送监管中心并保存在数据库中。人机交互及显示模块通过数据访问接口显示识别结果并关联货车基础信息。

图8 系统流程图Fig.8 System flow

3.4 功能设计

3.4.1 图像采集

图像采集模块是系统的基础部件，由轨旁设备、机房设备2部分组成，图像采集单元结构图如图9所示，其中轨旁设备包括图像采集器、补光光源阵列、车辆传感器以及车号智能识别装置，机房设备包括图像采集主机、图像处理主机以及车轮传感器处理装置等。在设定好的检测点，车轮传感器作为判断模块判断是否有车辆通过，如果有，来车判断模块向图像采集模块发送开机信号，图像采集模块开始采集图像并将数据保存在图像采集主机。整个车列通过检测点后，来车判断设备判断该列车已全部通过，发送结束信息给图像采集模块，图像采集模块停止工作。

图9 图像采集单元结构图Fig.9 Image acquisition unit composition

3.4.2 智能判别

智能判别模块将服务器接收到的单帧图像进行一定的预处理，使用缺陷检测模型对图像进行卡座检测，确认搭扣是否正常。如果检测异常，则标记出异常搭扣边界框，输出异常类别信息，并显示到软件界面上。

3.4.3 基础数据管理

通过对基础数据统一规范的管理构建基础数据资源目录，为铁路货车车体缺陷检测识别系统提供数据支撑，具体数据包括作业车辆信息、设备管理以及检车人员等内容，通过设置作业车辆信息、列检人员的出勤信息，方便后续车辆报警责任追溯。

3.4.4 报警管理

报警管理是对报警信息进行处理、查询以及统计，同时支持对报警信息的查看和追溯。报警管理包括报警记录处理、报警记录查询以及报警记录统计功能。

3.4.5 统计分析

系统根据管理需求提供统计分析功能，方便管理人员进行多维度的统计，对损坏的配件进行成本分析，方便列检人员上报、回溯、追责。

为方便统计管理，系统自动生成不同维度的统计报表，方便随时查看；车辆自动检测结束后，系统自动生成检测报告，系统支持报表、报告的下载和打印。

3.4.6 系统管理

系统提供自定义配置用户、组织机构、车体以及装卸站等基础信息管理功能。其中用户管理是对用户信息、所属单位以及权限等信息进行管理。组织机构管理对货场名称、编号、负责人、员工人数以及上级单位等信息进行维护管理，为货车车体缺陷检测识别系统在其他货场的推广使用打下基础。

4 系统实现

4.1 系统架构

系统采用前后端分离的架构模式，系统技术架构如图10所示，前端采用Vue框架，用Vue整合Echarts，Echarts-gl图表进行数据展示，后端采用Spring Cloud微服务框架，采用nacos做注册中心，配置和管理微服务，其中Spring Cloud Gateway 为微服务架构提供一种简单且有效的 API 路由的管理方式，并基于 Filter 的方式提供网关的基本功能，如统一入口、鉴权校验、动态路由，减少客户端与服务端的耦合；服务可以独立发展，通过网关层来做映射；使用Fegin组件进行微服务之间的远程调用；使用minio进行对象存储，适合于存储大容量非结构化的数据，比如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几 kb 到最大 5 T 不等；Java语言实现后台逻辑功能开发。采用前后端分离的架构模式可以实现高内聚低耦合，减少后端(应用)服务器的并发/负载压力，分工明确，一定程度上能提高工作效率。

图10 系统技术架构图Fig.10 Technology architecture of system

4.2 功能实现

4.2.1 图像采集

本次验证的数据是通过现场临时架设设备采集的货车数据，图像采集器的关键参数高速2 K(2048)线扫相机，搭配12 mm镜头，输出.BMP位图，拍摄距离是3 m，图像采集数据8趟车，数据量158 GB，有效样本8 000张。

4.2.2 智能判别

在系统中可视化展示货车进站、出站图像以及缺陷识别结果等内容，智能判别系统界面如图11所示。

图11 智能判别系统界面Fig.11 Intelligent discrimination interface

4.2.3 基础数据管理

基础数据管理包括作业车辆管理以及出勤管理，基础数据管理操作界面如图12所示。

图12 基础数据管理操作界面Fig.12 Basic data management operation interface

4.2.4 报警管理

报警管理包括查看报警信息记录、报警记录查询以及异常情况处理等内容，报警管理界面如图13所示。

图13 报警管理界面Fig.13 Alarm management interface

4.2.5 统计分析

统计分析界面如图14所示，分为近7日报警次数统计、当日报警类型统计、站内车厢报警统计和7日内人员报警次数统计。

图14 统计分析界面Fig.14 Statistical analysis interface

4.2.6 系统管理

系统管理界面如图15所示，具体包括用户管理、组织机构管理、卸货站管理和车厢管理。

图15 系统管理界面Fig.15 System administration interface

4.3 实现成果

本算法的验证数据集使用高速2 K(2048)线扫相机，搭配12 mm镜头，输出.BMP位图。现场临时架设设备，人工采集8 000张图片，通过系统可以实现自动识别搭扣未扣、搭扣破损，并通过人机交互及显示模块展示告警信息。

系统实现效果如图16所示。

图16 实现效果Fig.16 Realization effect

5 结束语

针对目前货车检测工作效率低、列检工作强度大等问题，结合国能铁路装备有限责任公司肃宁分公司定州西卸货站的实际需求，以图像识别技术为核心，结合先进设备和技术[10]设计实现智能化铁路货车搭扣缺陷检测系统，通过深度学习训练模型自动检测识别货车搭扣丢失、搭扣未扣以及搭扣破损等故障。实验表明，智能化铁路货车搭扣缺陷检测系统的功能完整，满足铁路货车缺陷检测的要求，为运用铁路货车车体缺陷检测的研究和开发提供了一种新的设计思路。在研究中探索、在应用中总结，下一步仍需根据铁路货车列检场景的检测需求，不断完善缺陷检测模型，提高铁路货车列检管理的智能化水平。