基于改进型Faster R-CNN的接触网设备缺陷检测方案

常占宁，张一平，韦宝泉，曾 晗

（1.中国铁路兰州局集团有限公司，甘肃 兰州 730030；2.华东交通大学电气与自动化工程学院，江西 南昌 330013）

0 引言

随着检测智能化的推行，各种深度学习模型在接触网零部件的检测上得到了广泛应用。由于接触网设备众多，采集到的图像数据十分复杂，极易使得检测模型产生偏差，大大影响了检测精度。且我国接触网设备数据集通常不对外开放，检测模型容易出现过拟合现象[3]。刘舒康等人提出了一种基于智能数据的增强算法，并对YOLOv3目标检测算法进行了改进[4]；文献[5]利用卷积神经网络来精确定位的相邻绝缘子片边缘像素差分检测，用于绝缘子破损缺陷检测。文献[6]结合中值滤波、高斯滤波等图像处理算法对吊弦区域进行处理；利用边缘检测算法对吊弦轮廓进行提取，使用直线拟合、阈值分割算法对吊弦缺陷进行判定。文献[7]通过改进YOLOv3算法完成接触网和钢轨检测的样本不平衡问题。文献[8]利用faster-RCNN完成了接触网紧固件的缺陷检测。文献[9]针对高铁接触网顶紧螺栓目标小、缺陷检测困难的问题，提出一种基于深度学习的顶紧螺栓缺陷检测方法。文献[10]提出了一种基于深度卷积神经网络精确定位的相邻绝缘子片边缘像素差分检测方法，用于绝缘子破损缺陷的检测。以上的模型对小型零件的细微故障（裂纹、磨损等）检测效果不错，但检测对象单一，大多是对特定零件的优化。且容易受到采集图像噪声的影响。

文中提出一种基于改进型Faster R-CNN的接触网设备缺陷检测方案，采用ResNet-101结构替代了Faster R-CNN的特征提取网络VGG-16，大大减少了冗余计算。针对检测环境的复杂性，对不同卷积层的特征图进行多尺寸融合，提高了检测精度。

1 系统概述

为解决接触网设备缺陷检测精度不高以及检测效率难以提升等问题，本文在原始的Faster R-CNN算法模型上对网络架构进行了一定的改进，结合样本扩充方法最终得到优化的接触网设备缺陷检测模型[11]。系统的整体框架如图1所示。

图1 接触网设备缺陷检测系统框图

整个检测系统模型分为训练阶段和测试阶段。首先，将采集的图像，通过样本扩充方法得到足够的图像样本。然后按一定的比例划分为训练集、验证集及测试集。训练集样本用于训练模型，验证集样本验证优化模型的性能。测试集样本用于检测最终模型的性能。

1.1 基本网络

针对Faster R-CNN模型小目标检测精确度不高的问题，本文对模型进行改进，将Faster R-CNN网络中的VGG-16卷积网络替换成深度更深、运算量更小的ResNet-101深度残差网络，以此来有效解决梯度弥散和梯度爆炸的问题[12]。

残差结构以跨层链接的方式，构成了身份映射和残差映射两种映射路径。通过在普通模块连接过程中添加恒等映射的方法，使得该网络在缓解梯度消失问题的同时，有效地控制网络层参数和计算复杂度不变。残差结构单元可表示为：

式中，xj、xj+1分别代表该层网络的输入和输出信息；表示该层待学习的参数。将式（1）进行递归运算，可得到任意深层单元Wj的特征表示：

为了更好地说明残差网络模块的作用，在此引入反向传播的概念。令网络损失函数为，由反向传播的链式求导法则可推出：

例（3）中拒绝行为就是一种有伤面子的行为，因此，商务人士在拒绝对方时要谨慎，尽量修饰自己的拒绝行为，使自己的拒绝言语行为显得间接，因为拒绝言语行为越间接，就越显得说话人有礼貌，越有利于双方的谈判沟通。例（3）中卖方表示不能满足买方对该商务的需求，用“regret”来缓和语气，表达同情。接着又提出一旦有新货供应，将再和买方接洽商谈。这表明卖方的态度，原意与买方合作，只是目前的客观情况，只能暂时拒绝，后期有再合作的机会。这不但给对方留了面子，也符合礼貌原则中的“一致准则”。

在式(3)中，后半部分必不等于-1，由此可得该单元能够有效避免学习过程中信息丢失的问题。

ResNet101[13]是以VGG网络结构为基础，基于短路机制添加残差学习模块而产生的。该网络多达101层，残差块由大小分别为1×1，3×3和1×1的3个卷积层依次相串并与输入合并构成，在各层后均加入了Rule激活函数。

ResNet101网络结构如图2所示。从第1组卷积块起到第5组均为残差模块，将大小为224 pixel×224 pixel的图像数据输送后，经残差网络提取特征进行学习训练，最终缩减为7 pixel×7 pixel的尺寸。

图2 ResNet101网络结构

改进后的Faster R-CNN模型以ResNet-101作为特征提取网络，ResNet-101的前4个段（92层）作共享网络，获取特征图；而后作为RPN的输入，生成候选目标区域。ResNet-101网的第5段（9层）在ROI Pooling层后用于目标的检测。针对ResNet-101的特点，对其结构进行一定的分割和调整，再与Faster RCNN结合起来，可以最大程度地保存小尺寸目标的特征信息，且能有效保留目标的位置信息。

另一方面，重新对锚框进行设计，以获得包含更好位置信息的锚框。根据在训练集上的训练经验分析，将锚框的长宽比设置为3种，即1∶1、1∶1.5和2∶1，将锚框的尺寸设置为5种，即16×16、32×32、64×64、128×128和256×256，由此得到15种不同长宽比和尺寸的锚框，大大提高了对小尺寸目标的捕捉能力。

1.2 L2归一化

为在不同尺寸候选区对设备缺陷点域特征进行扩展，现对3个不同尺寸特征图执行ROI-Pooling操作后进行融合[14]。通常，在ResNet-101的每一层中，特征图的通道数量和尺寸大小都不同，在更深的卷积层上对应的特征图尺寸也更小。因此，直接对ROIPooling后的特征图进行融合无法获得最佳效果。特征图之间的尺寸差异较大，且尺寸大的特征图可能会占据主导地位，减弱了算法的鲁棒性。为解决上述问题，现对ROI-Pooling后的特征图做L2归一化处理。归一化后，对每个特征图执行尺寸缩放操作。对于一个d维的输入x=（x1，x1，…xd），应用L2范数对其进行标准化处理，如式（4）所示：

输入x的L2参数，定义如式（5）所示：

其中，x是原始像素向量；x是归一化后的像素向量；d是每个ROI-Pooling后特征图的通道数。

引入缩放因子[15]，并通过式（6）缩放归一化后的值：

在训练阶段，缩放因子γ和输入数据x通过反向传播来计算，相应的链式法则定义为：

1.3 在线难例挖掘

在线难例挖掘是提高目标检测准确率的一种有效策略[16]。难例是指那些无法被网络准确预测到的样本。因此，将样本中的难例再次送入到网络中训练，可以有效提升网络的性能。在原始Faster-RCNN中，候选区域和真值区域的重叠率（IOU）在[0.1，0.5]之间的样本被设置为负样本，重叠率大于0.5的样本被设置为正样本。为保持样本均衡，设置正负样本的比例为1∶3。

本文将在线难例挖掘算法加入到模型中。首先通过RPN计算候选区域的损失值，并将这些损失值从大到小排序，挑出前K个最大损失值作为难例加入到后续的网络中进行训练。同时，将负样本的阈值下调为0，并取消正负样本的比例，使网络能够自适应训练。

2 实验结果及分析

2.1 数据集处理

针对故障样本数量不足的状况，为训练性能良好的缺陷检测模型，本文采用一种图像增强方法[17]。图像增强的目的是为了提升模型对缺陷图像的敏感性，获得足够的样本供模型进行深度训练，有效降低过拟合风险，从而提高缺陷检测模型的泛化能力。图像增强对采集到的原始图像进行变亮、平移、加噪、仿射等扩展处理。增强效果如图3所示。

图3 图像增强效果

2.2 评价指标

为测试模型的检测效果，本文通过P（Precision）、R（Recall）、mAP（mean Average-Precision）、IOU（Intersection over Union）来评价其各方面性能；TP（True positives）为正确样本被识别为正样本的数量；FP（False positives）为负样本被错误识别为正样本的数量；FN为正样本被错误识别为负样本的数量；AP值表示单个类别的识别准确率；mAP表示所有类别总体识别准确率[11]。

2.3 实验结果

本实验采用Faster R-CNN改进算法对接触网几种关键部件进行检测，并在此基础上对检测结果进行修正[18]。图4所示为具有代表性的几种不同类型部件的缺陷检测结果，其中，左侧为经过原始模型的初步检测结果，右侧为通过改进模型检测的缺陷定位结果。根据检测结果可以明显看出，针对尺寸较大部件的缺陷，改进的模型均能有效地定位与识别，对于细微部件的缺陷检测也能达到与大尺寸缺陷相当的精度。综合分析以上实验结果，本文设计的改进算法对于接触网关键设备的缺陷图像检测取得了良好效果。

图4 不同部件缺陷检测结果

2.4 不同算法实验结果比较及分析

为了进一步验证本文所提方法的优越性，在相同的数据集上分别与YOLO[19]、SSD、MS-CNN、原始Faster R-CNN[20]进行对比实验。实验中，使用mAP、IOU及检测速度来评价各方法的性能，不同方法的检测结果对比如表1所示。

表1 不同检测方法的性能比较

据表1对比结果，本文提出的改进Faster RCNN[21]综合性能最佳，在缺陷检测效果方面具有显著优势，能够满足接触网缺陷检测需求。

3 结论

文中对于接触网设备缺陷检测问题进行深入研究，提出一种基于改进型Faster R-CNN的故障检测方法。为了提高在大规模变化、目标数量庞大等复杂环境中的检测精度和模型鲁棒性，本文首先采用ResNet-101结构替代VGG-16来构建基础卷积层。通过构建多尺寸特征图融合网络以应对多种设备缺陷问题，最后应用在线难例挖掘并在区域生成网络中进行多尺寸训练，实现了对复杂环境下设备缺陷的准确识别。实验结果表明，该算法的mAP达到88.28%，每张图片检测时间仅需0.15 s，在检测精度方面取得了良好的效果，综合性能最佳。