基于深度学习技术的货检图像智能识别与测试研究

柴雪松，张 慧，辛向党，龚 喆，李健超，于国丞

(1.中国铁道科学研究院集团有限公司 铁道建筑研究所，北京 100081；2.中国铁路兰州局集团有限公司 货运处，甘肃 兰州 730000；3.中国铁路呼和浩特局集团有限公司 乌海车务段，内蒙古 乌海 016000)

0 引言

为了保障铁路货运安全，货运计量安全检测监控系统、货运安全检测监控与管理系统等业务系统[1]先后研发，这些系统为铁路货运安全提供了强有力的支撑。其中，铁路货运安全检测监控与管理系统采用高清图像技术[2]，实现了对货物装载状态的高清图像采集和存储，使得货检作业人员在室内就可以清晰查看铁路货物装载状态，并留存作业记录，为货检工作闭环管理提供了有力的手段。在高清图像检测设备已大量安装使用的情况下，如何快速识别图片中装载状态的不良问题成为制约高清设备功能发挥的瓶颈。

由于既有系统不具备智能识别功能，装载状态不良的判别依赖于人工浏览海量图像资料，浏览强度大、视觉易疲劳，作业质量难以保证，容易形成安全隐患。因此，研制智能化的货检图像识别系统成为趋势[3-4]。近年来，人工智能特别是深度学习技术取得突破性发展[5-6]，在语音、图像智能识别方面已具备工业应用的水平。与传统图像处理方法对比，深度学习技术具有精度高、能够解决复杂问题等优点，而且随着图像样本数量的增加，识别效果还会逐步提高。深度学习与传统方法比较如图1所示。

图1 深度学习与传统方法比较Fig.1 Comparison between in-depth learning and traditional method

高清视频监控系统的大规模建设，提供了海量高清图像，为开展货检智能识别研究提供了必要的前提条件。深度学习技术发展基本成熟，为开展货检智能识别提供了可行性。开展货检智能识别技术研究，可以使海量高清图像资料得到充分应用，显著提升货检自动化水平，保障货检作业质量，促进铁路货运安全。

1 货车装载问题采集与分析

货检作业目的之一就是发现装载状态不良的车辆，并及时进行处理。开展智能识别工作的前提是掌握既有货车装载中存在的问题，根据采集获取的问题图片建立问题图片库，分析问题类型和特征。

1.1 样本采集

对于建立样本库，通常有2种方式。方式1：扣取一定数量的车辆组织为试验专列，人工设置多种装载不良工况，然后通过货检高清设备来获取样本图片。方式2：直接收集实际检测图片，再分门别类的建立样本库。

对于方式1，由于实际运用车辆的新旧程度差别很大、装载不良的形态各异，而且试验列车能模拟的工况有限，因而这种方式获取的图像代表性不足，不能很好地反映实际情况。对于方式2，为了获取广泛的实际图片，需要选取多个测点，而且涵盖一定时间跨度，因而工作量较大，这样建立的图片库能反映客观实际工况，更具有应用价值。因此，从2017年1月到2018年10月底，收集整理中国铁路兰州局集团有限公司兰州北、武威南、嘉峪关、迎水桥站4个车站，以及中国铁路呼和浩特局集团有限公司乌海站，在此期间实际过车时装载状态不良的图片，从中抽取样本图片650张，以此建立问题图片样本库。

1.2 样本分析

1.2.1 不同车型的问题车辆占比分析

对问题车辆按不同车型(将集装箱视为载体，对于装载集装箱的集装箱专用平车、平集两用车和敞车，统称为集装箱车)进行分类统计，不同车型的问题车辆占比如表1所示。从表1中可以看出，集装箱车、罐车和敞车病害数量占比较高，是装载状态不良的易发车辆，这三者合计占比高达90%以上。

表1 不同车型的问题车辆占比Tab.1 Proportion of improper vehicles in different types

1.2.2 不同车型的装载不良形态

对不同车型的装载状态不良进行分类统计，集装箱车装载不良分类如表2所示，罐车装载不良分类如表3所示，敞车装载不良分类如表4所示，棚车装载不良分类如表5所示。

表2 集装箱车装载不良分类Tab.2 Types of improper loading in container cars

表3 罐车装载不良分类Tab.3 Types of improper loading in container cars in tank cars

表4 敞车装载不良分类Tab.4 Types of improper loading in open wagons

表5 棚车装载不良分类Tab.5 Types of improper loading in box wagons

从表2至表5可以看出，对于不同车型，其装载状态不良的形态有所差异。这与车辆结构特点，以及所装货物的种类都有关系。对于集装箱而言，箱顶异物、箱门开启、防尘盖开启是易发问题。对于敞车而言，车内杂物是最多发生的装载状态不良，占比超过80%；绳网破损、腰绳断等也是多发现象，占比接近15%。对于罐车而言，螺栓未入槽是最多发生的问题，车顶杂物和上盖开启也是多发现象。对于棚车而言，车顶杂物是最多发生的问题。

1.2.3 装载不良类型统计

对所有装载不良进行统计，装载不良分类如表6所示。由表6可知，装载状态不良的种类主要有11种。其中，顶部杂物、螺栓未入槽、车内杂物、车门开启、防尘盖开是主要发生的装载不良类型。

2 货检图像识别模型研究

货检图片种类复杂，货检智能识别工作也将是一个不断完善的过程。为了使货检智能识别技术能在保证识别效果的前提下尽早发挥作用，以棚车、集装箱车、敞车的装载状态不良为主要研究内容，对车顶、箱顶异物、棚车门开、集装箱门开、集装箱防尘盖开的智能识别技术进行研究。

2.1 技术难点

通过对问题图片的分析，发现技术难点主要表现在以下方面：①类型众多。异物种类多种多样，图像颜色、特征类型各有区别，因而需要训练识别的模型就很多，导致了识别难度和识别时间的增加。②类内差异大、类间差异小。同一类问题差异性很大，如异物形状不规则，很难搜集不同规则的形状，导致后续检测难度加大。背景和检测物体差异性小，并且背景不是很干净，经常图上背景由于车辆、装载物及光照影响存在很大的干扰。③多尺度。例如，车内的小块异物和棚车车门打开，两者尺度差距很大，模型需要周全考虑图片中不同问题可能出现的各种尺度。

2.2 模型研究

目前基于深度学习的目标检测主要分为以下2种思路。①以Faster-RCNN为代表的两阶段法[7]，即先通过浅层网络生成候选目标矩形区域，再通过使用分类模型如支持向量机(SVM)对候选区域进行分类和深层网络对候选区域精调。②以SSD/YOLO为代表的一阶段法[8]，即直接计算图片特征图像，利用整张图片回归出目标物体坐标。前者的优势在于检测结果更加精确，而后者的优势是检测速度更快。研究提出的模型框架在SSD/YOLO为代表的一阶段模型上进行改进获得，降低了简单负样本对模型的影响，从而在检测速度快的基础上，有效地提高精度。模型框架如图2所示。

由图2可以看出，检测方法端到端地将特征提取、组合、目标分类、目标定位统一于一个神经网络中。神经网络直接从图像中提取候选框区域，然后进行特征提取，再使用提取的特征建立分类子网络和目标框回归子网络，达到检测装载状态不良图片的目标。

（1）特征提取网络。模型首先使用残差网络(Resnet)进行特征提取。残差网络是在标准卷积网络的基础上增加了恒等映射，减小了优化的难度，提高了特征提取的效果。然后，使用特征金字塔网络(Feature Pyramid Net)进行特征的提取与组合。特征金字塔网络在标准的卷积神经网络的基础上增加了一路自上而下的支路和特征横向连接，并将不同尺度的特征组合在一起。金字塔的每一层可以分别检测不同尺度的物体。特征金字塔网络能够通过一个全连接网络提高多尺度物体的预测性能。

表6 装载不良分类Tab.6 Types of improper loading

图2 模型框架Fig.2 Model structure

在特征提取网络中，使用了P3—P75层特征，下标i表示特征的层数，第i层的分辨率是原图的2i分之一。这里，由于P1和P2层处在浅层，还不能学到高阶抽象特征，因而忽略了P1和P2的信息。P3—P5是结合了残差网络中对应的层和上一层Pi+1的信息，即把更抽象，语义更强的高层特征图横向连接至前一层特征图，因而高层特征得到增强。P6是在P5的基础上进行卷积核为3×3，步长为2的卷积操作得到，P7是在P6的基础上再次进行卷积核为3×3，步长为2的卷积操作。

（2）分类子网络。分类子网络预测了每个区域每个类别的概率。该子网络是在特征金字塔网络的每一层上，增加了一个全卷积神经网络，并在最后增加softmax非线性激活函数，输出每个区域每一类的概率。设候选区域的个数为A，类别数为K，全卷积神经网络将256个通道的输入特征，首先使用4个卷积核为3×3的卷积层，每个卷积层都使用ReLU非线性激活函数，最后使用K×A个3×3滤波器，通过一个sigmoid函数，得到每个候选区域中，存在每个类别的物品的概率。

（3）目标框回归子网络。与分类子网络类似，目标框回归子网络也使用了若干个全卷积网络。即对特征金字塔得到的每一层的256个通道的特征，首先使用4个卷积核为3×3，激活函数为ReLU，滤波器个数为256的卷积层，然后通过卷积个数为3×3，激活函数为ReLU，滤波器个数为4×A的卷积层，对每个候选区域，输出4个数值。该数值表示预测得到的目标框相对标准框的偏移值。分类子网络与目标框回归子网络的参数不共享。

（4）损失函数。损失函数表示预测结果与实际数据的接近程度。分类情况下，典型的交叉熵损失函数计算公式为

式中：CE(p，y)表示预测结果与实际数据的接近程度，数值越小表示越接近；y表示实际数据的情况，当实际数据中存在某一类别时，y= 1，反之，y= -1；p表示预测结果中是否有某一类的概率，p∈[0，1]。

针对某一类别t的概率可以表示为

式中：pt为存在类别t的概率。

于是，类别t的损失函数可以转写为

3 货检图像试验测试分析

3.1 测试样本

测试集用来测试模型检测性能，同样从中国铁路兰州局集团有限公司和中国铁路呼和浩特局集团有限公司实际过车图片中，随机抽取450张图片，建立测试集。其中，人工核查问题图片共计352张。

3.2 评价指标

对于识别模型，在理论分析中常用的评价指标是错误率和精度。但是，在工程应用中，最关心的是识别结果中有多少图片被漏掉，以及识别结果中确实存在问题的图片比例。因此，检出率R和查准率P更为适用于此类需求的性能度量。根据真实情况和模型预测结果的组合，查准率P和检出率R分别可以表示为

式中：TP为检测结果中的真正例；FP为检测结果中的假正例；FN为检测结果中的假反例。

3.3 测试数据分析

3.3.1 检出率和查准率

利用建立的智能识别模型，对测试样本集开展测试。测试中，总共有7种工况，集装箱防尘盖开启、集装箱门开、棚车门开、敞车车顶异物、敞车车内异物、集装箱车顶异物和棚车车顶异物。不同工况的测试结果如表7所示。

表7 测试结果Tab.7 Inspection result

从表7中可看出，模型总体识别效果良好。合并统计测试结果，对于问题图片352张(TP+FN)，测试漏判59张(FN)，漏判率16.5%，检出率为83.5%。对于自动识别结果图片312张(TP+FP)，其中没有问题的图片误判19张(FP)，查准率为93.9%。进一步分析检测结果，敞车内异物和集装箱顶异物识别效果相对较差，主要是由于2种问题图片中各种干扰因素较多。为了提高检出率，还应收集更多样本图片并进一步训练模型。

3.3.2 检测速度

针对测试集中450张图片，系统总体检测时间为6 min 46 s，平均每张图片耗时为0.9 s。对于编组场货检作业，按每列车60辆计算，则货检智能识别系统需要的检测时间T为

考虑高清设备安装在进站信号机之外，列车通过高清设备并进站停车时需要5 min左右时间。因此，货检智能识别系统可以实现列车到达前，工作人员即可收到自动识别结果，满足指导货检作业的要求。

4 结束语

货检作业是保障铁路货运安全的必要环节，不断采用先进的技术手段来提升货检作业质量是国内外铁路的发展方向，也是我国铁路进步的必然要求。采用深度学习技术，通过不断完善研究建立可靠的智能识别系统来实现对海量货检图片的自动识别，可以避免人工检查可能存在的漏检，同时极大地解放了货检一线人员的作业强度，可以使有限的人力集中在核实自动识别结果以及处理所发现的问题上，在现场作业人员普遍不足的背景下，以人机结合的方式有效提升货检作业的效率和质量，从而为保障铁路货运安全提供坚实的设备基础。