基于深度学习的铁路关键部件缺陷检测研究

赵 冰，代明睿，李 平，马小宁，吴艳华

(1.中国铁道科学研究院 研究生部，北京 100081；2.中国铁道科学研究院 铁路大数据研究与应用创新中心，北京 100081)

缺陷自动检测技术由于广泛应用于各业务领域，成为计算机视觉的重要研究方向，基于视觉图像的缺陷检测技术，在检测速度、准确性、适用场景等方面相比于传统方法优势明显。同时由于实际检测可能出现图像拉伸明显、光照条件不佳、缺陷类型多且差异不明显等情况，也使得缺陷检测问题成为计算机视觉领域的一大难点问题。考虑到铁路行业检测图像数据量大，时效性高，工作环境具有特殊性，完全依赖人工进行图像分析的方法比较耗时且充满主观性，工作人员难以长时间保持注意力进行准确的缺陷识别，利用图像分析技术对高速列车关键部件进行周期性的缺陷检测，成为保障车辆安全稳定运行的基础[1]。复兴号动车组是我国完全拥有自主知识产权的标准型动车组，由于其采用全新的标准化设计，关键部件结构较既有车型差异明显，现有的动车组运行故障图像检测设备TEDS(Train of EMU Failures Dection System)，无法正常应用于缺陷检测任务，针对复兴号动车组的结构特点，开展高速列车关键部件缺陷自动检测技术研究具有重要意义。

目前缺陷检测技术按照特征提取方式，可以分为传统的基于手动的提取特征方法与基于深度的学习方法。手动提取特征进行缺陷检测的方法在一段时间内应用广泛[2]，由于缺陷表面的材质差异，缺陷检测方法各有适用范围。对于混凝土、路面等裂纹缺陷明显、场景简单的表面结构，边缘检测及形态学运算的方法更加适用于提取局部特征[3]。对于缺陷不明显的复杂场景，图像滤波[4]、局部二值模式 LBP(Local Binary Pattern)[5]、Gabor滤波[6]等图像分析技术是更适合的方法。对于金属表面，基于视觉的缺陷检测方法已经被用于轮轨表面缺陷检测任务中[7]，传统的梯度方向直方图HOG(Histogram of Oriented Gradient)、尺度不变特征变换SIFT(Scale-invariant Feature Transform)、空间金字塔结合支持向量机分类器SVM(Support Vector Machine)在铁路缺陷检测领域均有着广泛应用[8]，但手动提取的特征基于经验假设，忽视了数据本身具有的特点，在大数据时代，该类方法已经不适合对海量检测数据进行分析。随着深度学习技术的出现，依靠深度卷积神经网络DCNN(Deep Convolutional Neural Network)[9]进行特征的自动提取为缺陷检测任务提供了新的思路。随着CNN在图像分类、目标检测等领域取得了令人瞩目的成就，CNN开始应用于铁路行业的缺陷检测任务中。在文献[10-11]相关研究中，深度卷积神经网络已经被用于车轮状态的快速自动检测；结合卷积神经网络与朴素贝叶斯数据融合技术实现对缺陷视频的实时缺陷检测；结合图像语义分割技术，模型可对多种材料表面实现自动缺陷检测。目前利用深度方法解决缺陷检测任务的主流思路是将其看作分类问题或目标检测问题，分类方法需要对图像进行分割预处理，适用于部件在图像中的位置具有规律性，否则将加大预处理工作量；目标检测方法适用于缺陷差异明显的情况，当差异较小时，直接利用目标检测方法效果不佳。同时深度学习技术的特点决定其需要大量带有标注的数据，使得应用深度学习方法的成本较高。

本文提出将改进的Faster R-CNN串联单独训练的Resnet-101网络，构建双通道缺陷检测框架MCDDF(Multi-channel Defect Detection Framework)，应用于铁路关键部件缺陷检测任务中，MCDDF的部件检测通道实现铁路关键部件定位，定位区域图像进行超分辨率提升后送入缺陷分类通道实现缺陷分类。本文对比分析了特征提取网络、区域推荐网络RPN(Regional Proposal Networks)、超分辨率算法等改进策略对MCDDF性能的提升，同时对比了MCDDF与Faster R-CNN在铁路关键部件缺陷检测任务中的性能差异，结果显示MCDDF有效解决了将目标检测方法应用于缺陷检测任务时，由于多次下采样导致缺陷特征难以准确分类的现状，在缺陷特征不明显及小尺寸缺陷部件环境下具有极佳的检测性能。

1 数据采集方案

利用TEDS系统在轨底安装的面阵(图1(a))和轨侧安装的线阵(图1(b))组合摄像头，对CRH380BL型复兴号动车组自动采集走行部、制动配件、底架悬吊件、钩缓连接、车体两侧裙板、转向架、踏面、轮缘、轮辋等部位图像。系统选用高速COMS线阵相机加装红外滤光片配合近红外波段大功率一字线型激光光源，解决户外阳光干扰及LED设备补光不足的问题；采用4K线阵相机拍摄图像，可完整截取整节车厢图像；高速线阵相机行频可达200 kHz，能够适应最高350 km/h的车速。

(a)车底采集设备 (b)车侧采集设备

针对采集数据，建立高铁关键部件缺陷标注数据集与高铁螺栓部件分类数据集。其中，高铁关键部件缺陷标注数据集用于开展本文提出的缺陷检测模型训练使用，涵盖制动盘、制动闸钳、牵引机、侧悬挂、下悬挂、板螺栓6类部件，图像分辨率2 048×2 000 px，共3 000张图片，出于数据差异性考虑，每类部件目标仅标注是否包含缺陷，部件总标注数达到15 000个目标，正负样本约3∶1，典型缺陷部件如图2所示。高铁螺栓分类数据集用于验证针对不同尺寸部件，MCDDF模型缺陷分类的超分辨率提升效果对分类模型的性能影响，按照螺栓尺寸(大目标：分辨率大于100 px；中目标：分辨率在50～100 px之间；小目标：分辨率小于50 px)及特征分为B1、B2、M1、M2、L1、L2六类，共7 000张图片，典型螺栓部件如图3(a)所示，图3(b)展示螺栓部件来源。训练集与验证集划分比例均为7∶3。

(a)裙板脱落 (b)异物 (c)连接线断裂

(d)漏油 (e)螺栓丢失 (f)轴簧断裂

(a)典型螺栓部件

(b)螺栓部件来源

2 MCDDF

为解决将Faster R-CNN方法直接应用于缺陷检测任务面临的性能下降问题，MCDDF采用两通道方式分别实现部件检测及缺陷分类任务，部件检测通道以任意分辨率图像作为输入，采用ResNet-101作为特征提取网络的Faster R-CNN主干模型，输出为部件定位与分类结果。缺陷分类通道以部件检测通道的输出信息进行部件图像裁剪，经超分辨率算法RAISR[12](Rapid and Accurate Super Image Resolution)聚合多种滤波器特征，实现图像超分辨率重建，丰富细节特征，经单独训练的Inception_ResNet_V2[13]网络进行缺陷分类。结合两通道输出在原始图片上给出缺陷部件的定位及缺陷类别，模型框架如图4所示。

图4 MCDDF网络结构

2.1 部件检测通道

部件检测通道借鉴Faster R-CNN[14]模型，由RPN与Fast-RCNN组成。本文在原始Faster R-CNN模型基础上引入了ResNet-101网络作为特征提取网络，借由残差网络结构提升特征提取性能；同时提出了一套适用于高铁关键部件检测的RPN锚点(anchor)推荐及训练机制。

2.1.1 特征提取

经典的Fast R-CNN算法选用VGG网络实现特征提取，相比于VGG-16等传统的层间直接堆叠的平原网络，层次更深的残差网络理论上在每一阶段能够提取到更鲁棒的特征，解决梯度消失和梯度爆炸的问题，本文选择ResNet-101网络作为特征提取网络，使用每一阶段最后的残差块的激活输出作为特征，将conv2，conv3，conv4，conv5层的输出定义为{C2，C3，C4，C5}，步长为{4，8，16，32}，残差网络的引入能够为目标检测任务提取更适宜的特征，深层单元与浅层单元的递归关系为

(1)

根据式(1)及链式法则，可得残差网络的反向传播公式为

(2)

2.1.2 RPN锚点(anchor)机制

RPN判断区域是否包含目标及边界框的回归依赖一系列的锚点，锚点通过预先定义的多种尺寸及长宽比涵盖不同的形状与尺寸。对高铁部件图像分析可得，部件尺寸在50～1 500 px之间，长宽比最大可达1∶4(4∶1)，本文设定锚点尺寸为{452，642，1282，2562，5122}，长宽比为{1∶1，1∶2，2∶1，1∶3，3∶1，1∶4，4∶1}，共35种锚点。锚点训练阶段，使用锚点与边界框的交并比IOU(Intersection-over-Union)作为是否包含目标的评判指标，出于文献[15]中锚点数量与模型准确性相关性较小及铁路领域关注漏检性的考虑，设定IOU大于0.6的锚点为正样本，IOU小于0.2的锚点为负样本。

2.2 缺陷分类通道

缺陷分类通道以部件检测输出为输入，该通道由RAISR超分辨率重建网络及CNN分类网络构成，从检测原理角度进行分析，Faster R-CNN对小目标检测能力较差，同时，当目标类间差异较小时，其分类能力下降明显。针对此问题，该通道引入RAISR对检出部件进行两倍分辨率提升后，送入单独训练好的Inception_Resnet_V2缺陷分类网络，将缺陷检测任务分解为部件检测通道与缺陷分类通道的多通道思想，可以有效解决直接利用，Faster R-CNN等目标检测方法同时实现部件位置检测与缺陷分类检测所造成的性能损失。

2.2.1 RAISR

由于利用CNN进行缺陷分类需对图像进行预处理，以符合CNN输入分辨率，部件检测通道输出的部件图像尺寸较小，直接基于二线性插值方法进行图像尺寸处理会对缺陷特征引入过多噪声，本文引入RAISR算法，实现对缺陷目标图像的超分辨率图像转换。

给定的低分辨率图像生成对应的高分辨率图像的原理是将给定的一系列高低分辨率图像对作为训练数据，利用学习到的滤波器对训练数据外的图像进行滤波操作，得到高分辨率图像。低分辨率与高分辨率图像的关系为

z=DSHx

(3)

式中：z∈RM×N为输入的低分辨率图像；x∈RMS×NS为对应的高分辨率图像；H∈RMNS2×MNS2为线性模糊核；DS为衰减矩阵。超分辨率重建即为在已知低分辨率图像z信息的情况下恢复未知高分辨率图像x的过程。

RAISR方法首先将低分辨率图像进行双线性插值操作，继而将预训练好的滤波器应用在图像块中，进一步利用哈希方法对图像块进行聚类训练，提升图像恢复效果。滤波器的训练过程即为最小化给定高分辨率图像与滤波器输出，最小损失函数为

(4)

式中：Ai∈RMN×d2为训练输出的高分辨率图像块组成的矩阵；h∈Rd2为滤波器；bi∈RM×N为对应的理想高分辨率图像位置部分的像素点。

RAISR后接的缺陷分类网络默认输入图像尺寸为224×224 px，大于此尺寸的部件无需进行超分辨提升即可送入分类网络，小于此尺寸的部件应进行超分辨提升以接近此分辨率，考虑到螺栓为高铁部件中典型的小尺寸部件，在对高铁螺栓分类数据集进行2倍超分辨提升后，螺栓分类效果如图5所示。分析发现，对大目标(分辨率大于100 px)及中目标(分辨率50～100 px)而言，分类准确率提升有限(4%左右)，而对于小目标(分辨率小于50 px)，分类准确率提升显著(18%左右)，分辨率两倍提升后，Inception_ResNet_V2分类网络小目标分类准确率可达96.5%，故无需进行更高倍数的分辨率提升。

图5 RAISR对部件分类效果的影响

基于迁移学习方法对高铁关键部件进行超分辨率提升训练，2倍超分辨率提升效果如图6所示。

(a)原图 (b)RAISR

2.2.2 缺陷分类网络

在MCDDF训练阶段，根据高铁关键部件缺陷标注数据集标注信息，将裁剪对应的部件及其缺陷类别应用于Inception_Resnet_V2缺陷分类网络的调参训练，相关网络已在ImageNet进行预训练，提高了网络收敛能力，在MCDDF测试阶段，将经超分辨提升的裁剪图像块传入图像缺陷分类网络实现检出部件的缺陷分类任务。

3 实验与结果分析

3.1 实验环境

本实验在Linux Ubuntu16.04系统环境下基于TensorFlow深度学习框架Object Detection API搭建，GPU使用NVIDIA GeForce GTX 1080TI，内存12 G，训练样本为高铁关键部件缺陷标注数据训练集，共2 100张图片，图片分辨率统一为2 048×2 000 px，按7∶3比例划分训练集和验证集。

初始参数设置如下：初始学习率为0.000 2(迭代步数处于10 000～20 000步时，学习率为0.000 02，迭代步数大于20 000步后，学习率设置为0.000 002)，动量为0.9，权重衰减为0.000 1，最大迭代步数为20 000步。训练过程将输入图片固定为1 024×600 px，每张图片生成300个推荐区域，MCDDF在高铁关键部件缺陷标注数据集的训练时间为6 h。

3.2 模型分析

针对MCDDF部件检测通道模型设计了一系列改进方案，简化起见，本部分仅利用MCDDF部件检测通道在高铁关键部件缺陷标注数据集中的正样本数据集进行测试，测试样本采用高铁关键部件缺陷标注数据集中的1 000张图片，屏蔽负样本标注，仅测试正样本检出能力。

特征提取网络：本测试验证不同的特征提取网络对部件检测通道检测性能的影响，表1展示不同的特征提取网络在关键部件检测任务性能的影响，随着深层网络(Inception-v2)的引入，网络特征提取的性能相比平原网络(VGG16)提升明显，平均精度mAP提升13.6%，在此任务中，ResNet-101取得了最优的检测效果，而更复杂的Inception-ResNet-v2检测性能略有降低，说明在小数据集条件下，过于复杂的网络可能导致训练不充分的情况。

表1 不同特征提取网络下的目标检测性能对比

RPN网络：本测试验证前文提出的RPN锚点机制改进方案对部件检测通道检测性能的影响，Basenet为上节以ResNet-101为特征提取网络的检测模型，按2.1节修改，Net1改进Anchor尺寸为{452，642，1282，2562，5122}，Net2改进Anchor长宽比为{1∶1，1∶2，2∶1，1∶3，3∶1，1∶4，4∶1}。表2为RPN网络模型改进对部件检测通道性能的影响，“+”代表在基础网络上添加Net1及Net2，结果显示，通过设定更符合目标数据集的Anchor尺寸、长宽比，可以有效提升检测性能，该策略在铁路等特定专业场景具有重要意义。

表2 RPN网络改进对模型检测能力的影响

3.3 铁路关键部件缺陷检测实验

本测试采取经典的以VGG-16为特征提取网络的FasterR-CNN目标检测模型作为对照，验证本文提出的MCDDF相比传统方法在缺陷检测及小目标检测方面的有效性。测试样本为高铁关键部件缺陷标注数据测试集，包含900张图片，测试过程中最小批量为32张，单张图像测试时间为0.5 s。图7为MCDDF训练过程中的分类损失变化情况。

(a)定位损失

(b)分类损失

表3对比了FasterR-CNN方法与采取改进策略的MCDDF缺陷检测性能，“+”指模型选用表第一列所述的改进策略。结果显示，对照模型在该检测任务下的mAP值为0.651，各改进方案对检测性能的贡献如下：特征提取网络模型贡献为9.98%，RPN改进模型贡献为2.93%，多通道检测模型贡献为3.53%，采用超分辨率策略的MCDDF方法的mAP值为0.792，性能提升21.66%。实验证明本文提出的MCDDF方法在缺陷检测任务中表现优异。图8为高铁关键部件缺陷标注数据集典型测试图例，其检测结果能够代表本文提出的MCDDF方法在小目标缺陷检测及缺陷部件与正常部件相似性较高情况下的检测效果，其中紫色框代表检出的正样本，其他颜色框代表检出的缺陷样本，检测结果显示Faster R-CNN对照方法应用于缺陷检测任务时，虽然正样本检出效果尚可，但对含缺陷部件存在大量漏检的情况。MCDDF未出现漏检情况，对含缺陷部件特别是小尺寸部件具有更优的检测效果。

表3 MCDDF模型性能改进对比

(a)对照模型

(b)MCDDF

4 结束语

为解决缺陷检测业务遇到的实际难题，本文从Faster R-CNN模型改进与缺陷部件超分辨率提升两个思路进行了相关研究，结合两者优点，基于将缺陷检测流程分割成部件检测与缺陷分类两通道的思路提出MCDDF方法，经对比实验，本文提出的方法表现优于目前主流的基于Faster R-CNN进行缺陷检测的方法。下一阶段计划将多尺度分析方法引入MCDDF检测流程中，进一步提升小目标检测水平。