基于改进DeepLabv3+的接触网开口销缺陷检测

王晓明 温锐 姚道金 董文涛

摘要：针对当前基于语义分割的开口销缺陷检测算法存在分割精度不高、检测效率低等问题，提出一种基于改进DeepLabv3+的接触网开口销缺陷检测方法。首先，采用减枝后的MobileNetv2作为DeepLabv3+的骨干特征提取网络，提高检测效率。然后，通过在DeepLabv3+的编码器网络中引入CBAM注意力机制，提高开口销语义分割精度。同时，为缓解开口销区域和背景之间不平衡带来的负面影响，采用CEDice Loss作为损失函数。最后，根据开口销语义分割图像的颜色、形态信息，对开口销进行缺陷识别。实验结果表明：在语义分割方面，相比于原DeepLabv3+模型，改进DeepLabv3+模型的平均像素準确率和平均交并比分别提高了3.54%和3.42%，且测试用时减少了14.41 ms/张，模型参数量缩减了88.61%；在缺陷识别方面，对开口销缺失，松脱，正常三种状态的识别准确率分别为100%，98.1%，99.5%，能够快速有效地识别出开口销缺陷。

关键词：开口销；缺陷检测；DeepLabv3+；MobileNetv2；CBAM

中图分类号：U225.4 文献标志码：A

本文引用格式：王晓明，温锐，姚道金，等. 基于改进DeepLabv3+的接触网开口销缺陷检测[J]. 华东交通大学学报，2023，40（5）：120-126.

Defect Detection of the Split Pins in Catenary Based on Improved DeepLabv3+

Wang Xiaoming， Wen Rui， Yao Daojin， Dong Wentao

（School of Electrical and Automation Engineering， East China Jiaotong University， Nanchang 330013， China）

Abstract：Aiming at the problems of low segmentation accuracy and low detection efficiency of split pin defect detection algorithms based on semantic segmentation， this paper proposes an improved method of split pin defect detection for catenary based on DeepLabv3+. Firstly， the MobileNetv2 network is pruned， and the MobileNetv2 network is replaced with Xception for feature extraction， which can greatly reduce the consumption of computing resources and improve the detection efficiency. Then， CBAM（Convolutional Block Attention Module） is integrated into ASPP（Atrous Spatial Pyramid Pooling） module， and CBAM is introduced to process shallow features of input Decoder network， enhance the perception of split pin edge features， and improve the accuracy of model semantic segmentation. In order to alleviate the negative impact caused by the imbalance between split pin region and background region and improve split pin segmentation accuracy， CEDice Loss is used as the Loss function in this paper， combining the advantages of Cross-Entropy Loss and Dice Loss. Finally， according to the principle of split pin defect discrimination formulated in this paper， the state recognition of split pin is carried out according to the color and shape information of image segmentation. The experimental results show that compared with the original DeepLabv3+ model， the MPA and MIOU of the improved DeepLabv3+ model are improved by 3.54% and 3.42%， respectively， and the testing time is reduced by 14.41 ms per image， and the model parameters is reduced by 88.61%. In terms of defect identification， the accuracy of the method for missing， loose and normal split pins is 100%， 98.1% and 99.5%， respectively， which can quickly and effectively identify split pin defects.

Key words： split pin; defect detection; DeepLabv3+; MobileNetv2; CBAM

Citation format：WANG X M， WEN R，YAO D J，et al. Defect detection of the split pins in catenary based on improved DeepLabv3+[J]. Journal of East China Jiaotong University，2023，40（5）：120-126.

近年来，随着深度学习技术的不断发展以及接触网悬挂缺陷检测监测装置（4C装置）的广泛应用，基于深度学习技术的接触网零部件缺陷检测方法正受到越来越多关注。Jiang等[1]提出一种基于改进Faster R-CNN的接触网绝缘子识别算法。Wu等[2]先采用基于级联的YOLO对接触网支撑装置上的紧固件进行定位，再利用RRNet（rotation retina net）对紧固件进行缺陷识别。杨丰萍等[3]提出了一种基于深度学习的绝缘子自爆缺陷检测方法。顾桂梅等[4]提出一种基于YOLOv5s的接触网吊弦线和载流环缺陷识别算法。康高强等[5]在开口销钉缺失故障检测中，通过构建集成分类器进行开口销故障识别。王昕钰等[6]利用DCGAN（deep convolutional generative adversarial network）生成模拟开口销缺陷样本，VGG16分类网络进行分类。上述研究中在接触网零部件缺陷检测中都取得了较好效果，为解决由于缺陷样本少导致的类别不均衡问题，常采用数据增强等方法对缺陷样本进行扩充，但提升效果有限，且开口销正常和松脱状态特征粒度区别小，利用训练分类器的方法很难得到较好的结果。

随着图像语义分割技术应用于接触网缺陷检测，为开口销缺陷检测提供了新方法。程敦诚等[7]采用Unet[8]算法实现顶紧螺栓的状态检测。罗隆福等[9]利用DeepLabv3+算法和阈值法对顶紧螺栓的进行缺陷判别。Wang等[9]通过DeepLabv3+得到语义分割图片，然后根据不同类型开口销制定不同的分类策略。闵锋等[10]利用DeepLabv3+算法对接触网上的开口销区域进行语义分割，然后根据开口销形态来进行状态检测。从以上研究可知，基于图像语义分割技术的开口销缺陷检测已取得一些阶段性成果，能更好地解决开口销类别不均衡问题。但当前开口销图像分割精度不高，这直接影响了后续开口销缺陷判断，且当前应用于开口销缺陷检测的图像分割算法模型冗余，难以达到实时性检测要求。

为解决上述研究问题，本文着重研究了DeepLabv3+语义分割模型，对DeepLabv3+语义分割模型进行如下改进：① 使用MobileNetv2作为DeepLabv3+的骨干特征提取网络；② 在编码器网络中引入CBAM（convolutional block attention module）

注意力模块；③ 采用Cross-Entropy Loss和Dice Loss的组合作为本文损失函数。最后，根据开口销语义分割图像的颜色、形态信息，制定开口销缺陷判别原理，对开口销进行缺陷识别。

1 基于改进DeepLabv3+的开口销语义分割模型

1.1 DeepLabv3+网络模型改进

DeepLabv3+网络模型结构主要由编码器（Encoder）和解码器（Decoder）组成，如图1所示。在Encoder部分，输入开口销图像经过骨干网络Xception进行特征提取，获得两个不同深度的有效特征层。其中的浅层特征输入Decoder部分，而深层特征输入ASPP模块中。然后，使用空洞空间卷积池化金字塔（atrous spatial pyramid pooling，ASPP）模块对深层特征进行特征提取。最后，将经过ASPP 模块的特征图使用1×1卷积调整通道数。在Decoder部分，将获得的浅层特征经过1×1卷积后，与深层语义特征进行融合。融合特征图经过3×3卷积和上采样后，得到输出结果。

R（Rate）表示膨胀率，ASPP 模块由 4 个卷积并行和池化层组成，其中 4 个并行卷积分别是一个 1×1的标准卷积和膨胀率分别为 6、12、18 的 3 个 3×3 的空洞卷积。

改进DeepLabv3+网络模型结构如图2所示，改进后的DeepLabv3+骨干网络采用MobileNetv2实现特征提取，分别在ASPP模块和编码器浅层特征提取网络中引入CBAM注意力模块。

1.2 DeepLabv3+骨干网络结构改进

MobileNetv2的识别准确率与经典骨干特征提取网络相当，同时具有较少的参数量和计算量，较符合实际需求。本文选用MobileNetv2作为模型的骨干网络，原MobileNetv2网络结构如表1所示。

原MobileNetv2网络适用于分类任务，但在分割任务中分割边界不够准确。在原MobilenNetv2网络中使用了5次步长为2的下采样，最后输出特征图分辨率为输入的1/32，由于特征提取网络层太深，导致丢失部分细节和边缘信息。对原MobileNetv2 网络进行改进，改进后网络结构如表2所示。其中：Operator为不同网络模块层；Input为输入特征图尺寸；c为特征图输出通道数，n为该层模块使用次数；s为卷积步长。

对比表1，表2可知，为了提高最后输出特征图分辨率，将第5层、第7层模块由原来的步长2改为步长1。此时改进MobileNetv2网絡的特征图输出分辨率比原MobileNetv2网络提高4倍，为输入图像的1/8，能够更多保留特征图中细节信息。由表1可知，在第8层之后通道数提高至1 280，参数量大大增加。对原MobileNetv2网络进行剪枝，丢弃用于实现分类的后3层。

1.3 引入CBAM注意力机制

ASPP模块采用过大的膨胀率R会使网络无法很好地提取特征信息，同时也会影响开口销局部特征之间的关联，使得开口销表达能力变弱，降低开口销图像分割精度。为增强对开口销边缘特征的感知，本文将CBAM注意力机制集成到ASPP模块中，同时引入CBAM对输入Decoder网络的浅层特征进行处理，调整特征通道的权重份额，重点关注开口销边界区域的显著性特征，提高模型图像分割的精度。

在Channel Attention Module部分，输入特征图F经过最大池化（MaxPool）和平均池化（AvgPool）后，得到两组特征图输入共享多层感知器网络（Share MLP），然后通过逐元素相加和Sigmoid函数得到通道权重系数Mc（F）。最后将输出的Mc（F）与特征图F相乘，得到特征图F′。 在Spatial Attention Module部分，特征图F′经过MaxPool和AvgPool后，将得到的两个特征图进行拼接，然后利用7×7卷积调整通道数，再通过Sigmoid函数得到空间权重系数Ms（F′），最后将Ms（F′）与F′相乘得到特征图F"。

1.4 损失函数

在语义分割领域，交叉熵损失（cross-entropy loss，CE Loss）是最常用的损失函数。CE Loss计算式为

式中：N为总像素数；M为总类别数；i为训练像素；j为训练像素的类别；y为训练像素标注的真实类别；iM为训练像素预测的类别。在本文数据集中，开口销图像分为开口销头部，尾部和背景，因此M为3。

CE Loss将图像中所有像素均匀地作为一个整体来计算，但在本文数据集中开口销在整个图像中占据的区域较少，开口销区域和背景区域不平衡。网络在训练过程中倾向于学习背景特征，导致开口销分割精度较低。Milletari等[11]提出了一种基于Dice系数的损失函数Dice Loss，该损失函数可以缓解数据集中目标区域与背景区域不平衡所带来的负面影响。Dice Loss计算式为

式中：X为真实分割图像的像素标签；Y为预测分割图像的像素类别；μ用于防止分母为0，值设为1×10-6。

在训练过程中，Dice Loss更关注目标区域，更倾向于挖掘目标区域。但Dice Loss函数容易陷入局部最优解，导致训练不稳定，不利于模型收敛。考虑到开口销数据集的特点，本文使用的损失函数为CEDice Loss，它是CE Loss和Dice Loss的结合，其函数表达式如

2 开口销缺陷识别

2.1 开口销种类和状态

开口销种类和状态示意图如图3所示，根据开口销安装位置不同，大致可以将开口销分为两类，分别记为SP_A和SP_B。图3分别展示了这两类开口销的正常，松脱和缺失三个状态。

2.2 缺陷判别原理

开口销的形状多变，且由于拍摄角度不同可能导致开口销的头部、尾部被遮挡，因此本文主要根据语义分割图像的颜色进行判别。在语义分割图像中，红色表示开口销头部，绿色表示开口销尾部，背景为黑色。

若语义分割得到的图像颜色为全黑，则判断为开口销缺失，语义分割图像中含有红色、绿色区域则进入下一步判断。为减小噪声干扰，本文加入了一个面积阈值，若语义分割图像的红色和绿色区域面积都小于阈值时，则判断为开口销缺失；若语义分割图像的红色或绿色区域面积大于阈值，则判断开口销没有缺失，进入下一步判断。

图4为开口销松脱状态判别过程，当语义分割图像中存在红色和绿色区域粘连的情况，则确定存在松脱区域，如图4（b）所示的绿色区域。当不存在松脱区域时，判断开口销处于正常状态；若存在松脱区域，进入下一步判断。

开口销头部与松脱区域如图4（b）所示，开口销在图像中比例不一，因此选择取长度比值作为标准，通过opencv库函数获取开口销头部和松脱区域的最小外接圆，求得长度D1和D2，如图4（c）所示。然后判断D2/D1的值是否大于阈值，若D2/D1大于阈值，则开口销松脱，否则开口销正常。设定合适的阈值，即可判断开口销的状态，在本文中SP_A类开口销阈值设为1.2，SP_B类开口销阈值设为1.25。

3 实验与分析

3.1 实验环境及参数设置

为实验硬件环境配置软件环境为：CUDA 11.3，Pytorch 1.11，Python 3.8，Ubuntu 18.04等。

实验训练设置如下：选择SGD优化器，训练周期为100，批处理大小为8。本实验使用了预训练模型，加快模型收敛。

3.2 数据集

以4C检测车拍摄所得的南昌—九江铁路线接触网图像为研究的基础数据，选取接触网支撑装置上的套管单耳、套管双耳和腕臂底座处的开口销作为实验数据集样本，将其从接触网原图中截取出来，统一缩放为224×224像素。使用图像数据标注工具Lableme进行多边形标注，共标注 1 249张开口销图像，并按照 8∶2 比例随机划分训练集和测试集。

3.3 评价指标

为客观评价图像分割模型在开口销语义分割中的性能，采用平均像素准确率（mean pixel accuracy，MPA）、平均交并比（mean intersection over union，MIoU）、模型参数量和每张图像的测试用时作为评价指标来评估图像分割模型性能。MPA侧重体现像素级的准确率，MIoU侧重体现分割区域的完整性和分割位置的准确性，计算式如

式中：k表示目标类别数；pii表示预测正确的像素数量；pij表示第i类被预测为第j类的像素数量；pji表示第j类被预测为第i类的像素数量。

3.4 不同图像分割模型的对比实验

为验证改进DeepLabv3+模型在开口销图像分割中的效果，将Imp-DeepLabv3+与UNet、PSPNet[14]和标准DeepLabv3+模型进行对比实验。不同模型的开口销图像分割结果如图5所示，从开口销的分割结果可看出，UNet和PSPNet模型有时无法正确区分背景和开口销尾部，如圖5（a）所示，开口销尾部出现了错误分割。与UNet和PSPNet相比，虽然标准DeepLabv3+模型能较准确地从图像中分割出开口销，但还是丢失了部分边缘细节特征。Imp-DeepLabv3+模型能较准确识别开口销边缘细节特征，可以和开口销实际边界更有效拟合。

开口销图像分割实验中训练过程的损失曲线如图6所示。总体来看，损失都在第60轮左右趋于平稳，说明模型已收敛至稳定。相较于UNet，PSPNet和标准DeepLabv3+模型， Imp-DeepLabv3+模型收敛性更强，后期波动小。

由表3不同图像分割模型性能指标可知，Imp-DeepLabv3+模型的MPA为94.66%，MIoU达到 89.76%，MPA和MIoU分别比标准DeepLabv3+模型提高了3.54%和3.42%，均优于UNet和PSPNet模型。这是因为添加CBAM 模块和改进损失函数后，突出开口销边缘区域显著特征，提高模型特征表达能力。由于改进DeepLabv3+模型使用MobileNetv2作为骨干网络，减少了模型参数量。相较于DeepLabv3模型，Imp-DeepLabv3+模型的参数量只有6.23 M个，模型参数量缩减了88.61%；测试用时为18.57 ms/张，减少了14.41 ms/张。因此，Imp-DeepLabv3+更易满足开口销图像分割的精度和实时性要求。

3.5 改进Deeplabv3+模型的消融实验

为测试和分析引入MobileNetv2骨干网络、CBAM 模块和CEDice Loss对改进 DeepLabv3+模型性能指标的影响，进行消融实验。由表4可知，以 Mobilenetv2 作为骨干网络时，DeepLabv3+模型的参数量大大减小，提高了测试速度，且分割准确率比原Xception网络略有提高。DeepLabv3+模型分别引入CBAM 模块和CEDice Loss后，MIoU和MPA都有不同程度提高。其中：×表示未引入模块；√表示引入对应模块。

以MobileNetv2作为骨干网络的DeepLabv3+模型为基准，引入CBAM 模塊后，虽然测试用时增加了2.21 ms/张，模型参数量增加了0.41 M个，但MIoU和MPA分别提高了1.87%和2.61%；引入CEDice Loss后MIoU和MPA分别提高了2.51%和2.4%，对参数量和测试速度影响很小。将三种改进方法结合后效果最佳，进一步验证改进方法的可行性。

3.6 开口销缺陷识别实验

为验证本文缺陷识别方法的有效性，将其与文献[10]方法、MobileNetv2模型进行对比分析。本文方法按照上文的判别原理对开口销状态进行检测。MobileNetv2算法以开口销原始图片作为训练数据集，得到分类模型。由于开口销缺陷样本数量少，利用Python中imgaug库函数对现有的缺陷样本进行数据增强，拓展样本数量，最终得到正常、缺失、松脱状态的开口销图片各600张。上述三种方法对于开口销三种状态的识别准确率如表5所示。

文献[10]方法和本文方法都是依据开口销语义分割图片颜色进行判别，对于开口销缺失状态的识别准确率几乎达到了100%。本文方法对开口销正常、松脱状态的识别准确率均优于MobileNetv2算法、文献[10]方法。且本文方法不需要预训练模型，更加节省时间，检测时不需要加载模型，检测速度快。

4 结论

1） 采用减枝后的MobileNetv2替换Xception进行特征提取，可大大减少计算资源的消耗，从而提高检测效率。

2） 通过将CBAM注意力机制集成到ASPP模块中，同时引入CBAM模块对输入Decoder网络的浅层特征进行处理，增强对开口销边缘特征的感知，提高了模型语义分割的精度。

3） 为缓解开口销区域和背景区域不平衡所带来的负面影响，提高开口销分割精度，本文结合Cross-Entropy Loss和Dice Loss的优点，使用CEDice Loss作为损失函数。

参考文献：

[1] JIANG X J，DU X L. Railway catenary insulator recognition based on improved faster R-CNN[J]. Automatic Control and Computer Sciences，2023，56（6）：62-68.

[2] WU Y P，QIN Y，QIAN Y，et al. Automatic detection of arbitrarily oriented fastener defect in high-speed railway[J].

Automation in Construction，2021，131：103913.

[3] 杨丰萍，彭云帆，李远征. 基于深度学习的小样本绝缘子自爆检测研究[J]. 华东交通大学学报，2022，39（2）：110-117.

YANG F P，PENG Y F，LI Y Z. Research on insulator self-explosion detection with small sample based on deep learning[J]. Journal of East China Jiaotong University，2022，39（2）：110-117.

[4] 顾桂梅，贾耀华，温柏康. 基于YOLOv5s的接触网吊弦线和载流环缺陷识别算法[J]. 铁道科学与工程学报，2023，20（3）：1066-1076.

GU G M，JIA Y H，WEN B K. Defect identification algorithm of dropper line and current-carrying ring of catenary based on YOLOv5s[J]. Journal of Railway Science and Engineering，2023，20（3）：1066-1076.

[5] 康高强，高仕斌，于龙，等. 基于深度学习的高铁接触网旋转双耳开口销钉缺失故障检测[J]. 铁道学报，2020，42 （10）：45-51.

KANG G Q，GAO S B，YU L，et al. Fault detection of missing split pins in swivel with clevis in high-speed railway catenary based on deep learning[J]. Journal of the China Railway Society，2020，42（10）：45-51.

[6] 王昕钰，王倩，程敦诚，等. 基于三级级联架构的接触网定位管开口销缺陷检测[J]. 仪器仪表学报，2019，40（10）：74-83.

WANG X Y，WANG Q，CHENG D C，et al.Detection of split pins defect in catenary positioning tube based on three-level cascade architecture[J]. Chinese Journal of Scientific Instrument，2019，40（10）：74-83.

[7] 程敦诚，王倩，吴福庆，等. 基于深度学习的接触网顶紧螺栓状態智能检测[J]. 铁道学报，2021，43（11）：52-60.

CHENG D C，WANG Q，WU F Q，et al. Research on intelligent detection of state of catenary puller bolt based on deep learning[J]. Journal of the China Railway Society，2021，43（11）：52-60.

[8] RONNEBERGER O，FISCHER P，BROX T. Convolutional networks for biomedical image segmentation[J]. Computer Science and System Engineering，2023，45（5）：2093-2109.

[9] 罗隆福，叶威，王健. 基于深度学习的高铁接触网顶紧螺栓的缺陷检测[J]. 铁道科学与工程学报，2021，18（3）：605-614.

LUO L F，YE W，WANG J. Defect detection of the puller bolt in high-speed railway catenary based on deep learning[J]. Journal of Railway Science and Engineering，2021，18（3）：605-614.

[10] 闵锋，郎达，吴涛. 基于语义分割的接触网开口销状态检测[J]. 华中科技大学学报（自然科学版），2020，48（1）：77-81.

MIN F，LANG D，WU T. The state detection of split pin in overhead contact system based on semantic segmentation[J]. Journal of Huazhong University of Science and Technology（Natural Science Edition），2020，48（1）：77-81.

[11] MILLETARI F，NAVAB N，AHMADI S A. V-Net：Fully convolutional neural networks for volumetric medical image segmentation[J]. Computer Vision and Pattern Recognition，2016，1606：04797.

[12] ZHAO H S，SHI J P，QI X J，et al. Pyramid scene parsing network[J]. Computer Vision and Pattern Recognition，2017，1612：01105.

通信作者：王晓明（1978—），男，副教授，硕士生导师，研究方向为机器视觉。E-mail：2501@ecjtu.edu.cn。

（责任编辑：姜红贵）