基于Faster R-CNN和U-net改进的 混合模型绝缘子故障检测

胡 祥，李英娜

（1.昆明理工大学 信息工程与自动化学院，云南 昆明 650500；2.云南电网有限责任公司研究生工作站，云南 昆明 650217）

0 引 言

绝缘子广泛用于高压输电线路中，并在电绝缘和导体结合方面发挥重要作用。绝缘子故障（如玻璃绝缘子自爆）会对电力系统构成严重威胁，因为它可能会导致级联故障。在极高电压条件下定期手动启动绝缘子存在很大的安全风险。然而，传输线上部署有数千个绝缘子，这些绝缘子通常距离较远且海拔较高。常见的绝缘子安装方法是捕获航拍图像，由直升机或无人飞行器（Unmanned Aerial Vehicle，UAV）安装绝缘子。随着技术的进步，巨大的航拍图越来越容易获得，因此迫切需要一种精确、实时的绝缘子定位方法。一般来说，绝缘子定位存在以下影响因素：一是复杂的背景，航空影像的背景通常包括森林，河流，农田等各种场景；二是动态视图更改，有时相机可能无法对焦；三是低信噪比（Signal-Noise Ratio，SNR），与整个图像相比，相当多的像素包含损坏的绝缘体信息，在某些极端情况下，很难通过人眼识别来定位折断位置。

传统的绝缘子识别方法有利用目标颜色特征进行阈值分割的识别法[1]和基于轮廓特征的定位方法[2]等。但上述方法要求人工提取目标特征，且根据目标场景差异设计有区分度的特征，防止由于主观因素的干扰出现漏检和误检等情形，识别准确率相对不高。

与传统方法相比，深度学习在计算机视觉方面大放异彩，在过去十年中取得了瞩目的成绩。Hinton等人提出的关于AlexNet[3]的建议再一次把深度学习的浪潮推到了顶端。随着新网络架构（如VGG[4]）的发明，InceptionNet[5]和ResNet[6]深度学习在各个级别的图像分类比赛中的效果远超过传统方法。Ren等人提出的Faster R-CNN[7]方法能够完成端到端的高效训练且实时获取目标检测数据。文献[8]利用Faster R-CNN框架对绝缘子进行识别，在定位方面取得了较传统方法稍好的识别效果，但在小物体检测和速度方面效果一般。此外，全卷积网络（Fully Convolutional Network，FCN）由文献[9]产生的像素到像素分割精度十分优秀，改善且革新了以前语义分割中的最佳结果。最近，在绝缘子检测和状态分类方面，国内外已经进行了很多工作。卷积神经网络（Convolutional Neural Network，CNN）能够从图像中自动提取表达能力更强的特征[10]，减少识别时间，提高分类和识别的准确率，文献[11]在绝缘子定位中引入了CNN。文献[12]在R-FCN模型的基础上引入ASDN层，将绝缘子识别的平均准确率由77.27%提升至84.29%；张文秀等人运用U-net[13]在细胞分割中得到了良好的效果，带来了小目标检测的新思路。但在U-net识别过程中，由于图像背景复杂，噪声点多，许多干扰因素在图片中的面积占比大于等于绝缘子和其故障位置的面积占比，容易受到干扰，造成错误识别，影响结果，导致识别准确率不够理想。要检测出比绝缘子图像还要小很多的缺陷故障位置更是不现实的。

针对以上问题，本文采用注意力机制与Faster R-CNN相结合识别出绝缘子，之后通过U-net定位绝缘子故障的模型。首先，在Faster R-CNN网络的特征提取阶段引入Hu等[14]提出的基于注意力机制的SENet结构，使网络能够自动学习到每个特征通道的重要程度，关注与目标相关的特征通道而抑制与目标不相关的特征通道，提升网络性能；其次，在RPN生成anchor阶段，根据绝缘子的特点，改进基础anchor的比例和尺度；再次，结合注意力机制计算候选框之间相互依赖关系的权重，融合周围候选框的特征向量来更新每一个目标建议框的特征向量，使目标建议框的特征向量包含更准确的位置信息，促进识别准确率的提升，进一步提高绝缘子识别精度，裁剪出来的图像提高了绝缘子和其爆裂位置在图像中的占比，降低了U-net的运用难度；最后，将裁剪后的图像作为U-net的输入，并将像素二进制分类结果作为输出，对于损坏的部分，将像素标记为false，对于正常的部分将像素标 记为true。

1 相关技术介绍

1.1 SENet结构

SENet网络的设计基础为注意力机制，兼具简单和效果理想等优势。其关键功能在于拓宽特征提取层的感受野，进而增进卷积神经网络性能。它使用全局信息来有选择地强调信息功能，同时压制不太有用的功能，将权重引入图层的每个要素图。

以下是SENet结构5个连续操作的综合功能：全局平均池化（Global Average Pooling，GAP）的作用是将输入的特征图按全局平均进行归并，将M个W×H大小的特征图抽取为M个1×1实数序列，目的是使其他特征图的上下文信息都能被每个特征图利用，因此，可以为规模较小的低层次网络提供全局信息；之后在两个全连接层中得出一个有效的数字，降低维度，得到矢量1×1×（M/r），使用ReLU后提高维度，通过使用Sigmoid活化函数获得一个向量1×1×M，以获得相当于每个通道的权重，各通道分别与对应的权重系数相乘，进而获得更新后的通道。由于具有FC和池化操作等额外的层，因此参数和计算负载的数量略有增加。这种“Squeeze-and-Excitation”（SE）网络的独特结构如图1所示，X、Y分别指输入特征图及更新后输出的特征图。在SENet结构中，注意力机制的两大核心操作是挤压和激励，同时引入了以输入为条件的固有动态特性，以增强功能的可分辨性，可以与任何标准体系结构如Faster R-CNN、DenseNet及多输入网络等一起使用。

图1 基于注意力机制的SENet结构

1.2 Faster R-CNN模型

Faster R-CNN由两部分构成：RPN属于完全卷积网络，其用途以生成建议区域为主，Faster R-CNN则对建议区域起到检测和分类的作用。Faster R-CNN模型架构如图2所示。

图2 Faster R-CNN结构图

如图2所示，通过在ImageNet上预先训练的常用CNN模型（如Resnet和VGG）提取航拍图像的有效和丰富特征，预训练的卷积层由RPN和Faster R-CNN共享。RPN处于模型核心位置，其目标是识别所有可能的候选框，使用连接到最后一个共享卷积层的内核3*3卷积来生成256通道的特征图，在特征图中实现滑动窗口方法，且256维特征向量都被每个特征图获得。在每个滑动窗口中，来自该区域的建议被同时规划。该建议被参数化，与一个称为“锚定点”的参考框相关，分别使用3类规格和刻度不等的参数值以提高精度。由Fast R-CNN网络检测RPN生成的建议区域，将特征图重构为一个大尺寸的资源向量，要素层完全连接到另一个相同长度的要素层，且提供边界框平移和缩放参数，候选框填制不同类别概率值。

1.3 U-net模型

U-net是一种FCN架构。FCN包含上采样和跳过层两个核心操作。FCN采用上采样以确保输出与输入图像具有相同的大小。但是，通过直接上采样获得的特征图通常会导致非常粗糙的分割结果。故跳过层的功能设计在于克服前述弊端。跳过层方法对不同池化层的输出进行上采样，并通过特征融合（如复制和裁剪）细化结果。

U-net结构如图3所示，其形状与U形相近。需要注意的是，U-net的输入可以是任意大小的图像，例如图中的572×572。U-net由压缩和恢复层组成，压缩层是经典的VGGNet-16。重复运用两个3×3卷积内核和2×2最大池化层的结构，并利用池化层的向下采样效果逐层提取更多高级特征。恢复层的结构与VGGNet-16完全不同，由2×2反卷积核与两个3×3卷积核重复叠加获得，并由1×1卷积核实现特征图的维映射，依照softmax函数作输出层分类。需要注意是，池化层的输入必须是宽度和高度十分均匀的要素图，因此需要仔细设置超参数。

图3 U-net网络结构图

2 改进的基于Faster R-CNN和U-net的绝缘子故障识别框架

本文提出的方法总体流程如图4所示。

图4 提出方法总体流程图

2.1 引入SENet结构的特征提取网络

原始绝缘子图像依次进行尺寸放缩，VGG16特征提取，并获得网络提取特征。为了使特征提取网络能够使用全局信息，不局限于局部感受野，本文在特征提取网络VGG16的5个卷积模块之后引入SENet结构。权重和加权更新通道的生成，契合特征通道维度压缩特征，由此保证特征图的绘制更具表达能力。实验结果显示，采用该结构后，网络识别能力有所提高。

2.2 改进区域建议网络

将得到的特征图输入RPN，在特征图上滑动窗口遍历每个点，每个点上生成不同长宽比例（一般设置为1∶2、1∶1、2∶1，用于识别公共数据集中的大多数目标）和尺度的锚框。在以往的Faster R-CNN算法中锚框的比例设置并不适用于识别绝缘子，绝缘子偏窄长，并且跟拍摄角度关系很大，需要对生成基础锚框的长宽比进行改进。从RPN生成基础锚框的原理出发，对绝缘子图像数据中绝缘子长宽比进行统计，其中绝缘子的长宽比范围按数量依次排序为（4∶1、5∶1、6∶1），在此基础之上，调整生成基础锚框的比例，同时，为更好地识别出尺寸较小的或者拍摄距离较远的绝缘子，调整尺度为（642、1 282、2 562），特征图上每个点生成12种锚框，总共生成W×H×12个锚框。

2.3 基于注意力机制的建议框融合

将RPN获得的目标建议框与对应的特征图一一映射，而后依照ROI池化操作步骤，将各目标建议框在特征图上的映射区域的大小设置为7×7，输入对象为全连接层1。

考虑到RPN获得的目标建议框定位不够精准，对后续分类和定位的准确度造成了不可小视的影响，此外，相比较而言，周围建议框含有更多丰富有用的位置信息，因此对目标建议框的设定较具矫正意义。然而，周围建议框对于校正的绝缘子目标建议框的重要性不尽一致，而本文研究的基础在于注意力机制，因此周围建议框的选定要求与目标建议框的IOU值应高于等于阈值T，训练学习各周围建议框的重要程度（权重系数aij），且引入加权求和的方式完成融合，使绝缘子目标建议框的特征向量FV=[fv1,fv2,…,fvi]获得更新，进而提供更为精准的向量位置信息，体现精确分类与位置回归的意义，同时对模型识别精度提升具备不容忽视的重要价值。

3 输出识别结果

涉及到全连接层2输出的特征向量，引入Softmax分类器对各目标建议框加以运算，分类设定为绝缘子的置信度分数，且分别做边界框回归，据此获得与真实框相对应的偏移量预测值，完成目标建议框的修正，使其定位信息更趋精确，识别获得高置信度分数的目标建议框。图像编辑后用作U-net输入，在像素二进制基础上输出分类结果，其中正常及损坏部分的像素分别标记为true和false。

4 实验结果与分析

4.1 实验环境配置

本文实验使用的操作系统为Windows 10，处理器为Intel（R） Core（TM） i5-10400F CPU 2.90 GHz， 32 GB RAM，GPU选用NVIDIA GeForce GTX 1080Ti 显存为8 GB，深度学习框架为Pytorch 1.4。评价指标为AP。

4.2 数据集及实验参数

数据集整理自某电网公司电力科学研究院无人机航拍的绝缘子图像数据。采集所得复合绝缘子图像共计840张，图像尺寸参数为576×432像素，以图像编辑软件沿顺逆时针方向旋转180°、60°以及放缩等方式将图像集增加至2 000张。实验过程中，对绝缘子数据按照Labelme数据集格式进行标注，并随机划分训练集为1 600张，测试集为 400张。

4.3 绝缘子串定位

Faster R-CNN在玻璃绝缘子串定位中发挥有重要作用。引入动量法完成Faster R-CNN的训练。训练损失如图5所示。该定位方法的平均精度为0.921，对于在复杂场景下检测玻璃绝缘子串非常 有效。

图5 Faster R-CNN损失函数训练图

4.4 自爆式绝缘子串故障定位

以边界框裁剪图像作为U-net的输入，实验选定的架构如图4所示。需要注意的是，要在卷积层之后添加批归一化层，以避免消失梯度问题并加速深度网络训练。实验选取的优化算法Adam将相关参数E、β1、β2依次设定为0.000 000 01、0.9、0.999，批处理大小设置为1，初始学习率设置为0.001，按照线性方式减小，也就是随着训练周期的增大而依次降低。数据增强方法使用旋转和翻转等办法。训练周期80轮后的损失收敛如图6所示。依照背景差异获得4类结果，如图7所示。故障位置被标出，如图8所示。平均精度值为0.919，而图像获取所耗费的U-net时间成本则基本能够忽略。

图6 U-net损失函数训练图

图7 不同背景下的Faster R-CNN定位结果

图8 U-net输出结果

不同方法的识别结果对比如表1所示，可以看出，以AP作为评价指标，和文献[8]、文献[10]及文献[11]的方法相比，本文方法比文献[10]的CNN高出0.019，比文献[11]的R-FCN高出了0.01，比文献[8]的Faster R-CNN高出0.003。对于绝缘子故障位置识别的平均准确率，本文研究方法更具优势。

表1 不同方法识别结果

5 结 语

本文介绍了SENet+Faster R-CNN+U-net的模型，使用某电力科学研究提供的航拍图片制作成数据集，并对模型进行训练、测试以及对比试验。SENet+Faster R-CNN负责玻璃绝缘子串的位置定位，大大提高了效率，增加了绝缘子在图片中的面积占比，打消了U-net过于精确而受到噪点干扰的后顾之忧。U-net可以对不同尺寸的裁剪图像中的像素进行精确分类，提升了准确度。由此将两类架构的优势自然糅合起来。实验结果表明，随着训练样本数量的增加，该方法的效果会变得更好。