基于Faster R-CNN级联的输电塔螺栓缺失检测

2021-07-02徐敏罗劲刘华

广东电力 2021年6期

徐敏，罗劲，刘华

(广东电网有限责任公司广州供电局，广东广州 510620)

在输电线路中，输电塔螺栓起着固定塔身、连接导线等重要作用。由于长期暴露于室外，输电塔容易出现螺栓缺失、老化、断裂等问题，这严重危害输电线路的安全；因此，需要对输电塔进行定期巡检，定位螺栓缺失位置。传统的螺栓缺失检测方法通常是人工巡检，使用全站仪等设备，实地测量检测。由于输电塔所处地理环境复杂，实地测量困难，存在工作量大、效率低、不安全等问题。随着无人机技术的发展，人工识别无人机拍摄的图像成为常用方法，但该方法工作效率依旧低下，且人力成本高。为提高巡检效率和精度，节省成本，目前常用的方法是将无人机技术和传统图像处理与深度学习相结合。

传统的图像处理方法主要有：冯敏等[1]根据无人机采集得到的影像数据建立样本库，提取得到样本影像的方向梯度直方图(histogram of oriented gradient，HOG)特征，构建支持向量机(support vector machine，SVM)分类器，实现对影像中螺栓的自动识别。黄志文等[2]对采集得到的影像分2步提取感兴趣的区域，第1步利用灰度投影算法对输电塔的横担区域进行定位，第2步利用改进的霍夫变换提取精确的位置，并利用面积阈值法去除背景信息，提取螺栓信息。

深度学习与传统图像处理方法相比，具有更强的鲁棒性，适用于海量螺栓数据。常用的目标检测算法主要有：快速循环卷积神经网络(faster recurrent convolutional neural network，Faster R-CNN)、Mask R-CNN和YOLO[3]、SSD(single shot multibox detector)[4]。李宁等[5]利用无人机巡视的便捷性，采用Faster R-CNN算法对海量无人机影像和视频进行预处理识别，同时对缺陷位置进行标注和分类，准确识别出输电线路的缺陷影像，提高了缺陷巡视效率。薛阳等[6]采用改进的Faster R-CNN对螺栓的缺陷进行识别，用ResNet50替代原来的VGG-16，对影像进行特征提取，实现了对螺栓缺陷的精确检测，具有较高的工程意义。麦俊佳等[7]构建具有2级深度卷积神经网络结构的缺陷识别模型，实现对输电线路航拍照片中部件、缺陷的检测识别和综合应用。王凯等[8]利用RetinaNet算法，在添加辅助数据样本的情况下，实现销钉缺陷智能识别。郑秋梅等[9]使用ResNet作为YOLOv3网络模型的特征提取网络，根据检测目标的大小来调整损失函数的影响权重，增强小目标的检测性能。范海兵等[10]使用Faster R-CNN和YOLOv3这2个检测网络实现电力设备的锈蚀检测，效果较好。韦汶妍等[11]提出一种基于深度学习网络的输电杆塔智能检测算法，基于ImageNet进行前期训练和迁移学习，实现杆塔的高效检测。李瑞生等[12]基于SSD目标检测网络，使用HSV(色调、饱和度、明度)颜色转换完成空间映射，实现变压器呼吸器缺陷智能识别。徐小冰等[13]提出一种电缆附件缺陷红外图像自动诊断方法，使用Faster R-CNN实现目标定位，其次使用Mean-Shift聚类算法计算温度参数，实现缺陷识别。颜宏文等[14]提出基于改进YOLOv3的绝缘子检测方法，通过自主建立绝缘子样本库，采用Focal Loss函数和均衡交叉熵函数改进YOLOv3算法的损失函数，基于多阶段的迁移学习实现绝缘子检测。上述方法均使用的是传统目标检测网络，针对通用数据集设计，对螺栓这种小目标物的检测效果较差。此外，检测效果受限于螺栓所处的背景，鲁棒性较差。

针对解决以上方法的不足，本文提出基于Faster R-CNN级联的螺栓缺失检测方法，根据输电塔螺栓所在部件的特征及规律性，使用Faster R-CNN目标检测网络，检测包含螺栓的部件并生成影像，减少螺栓复杂背景的影响，提高信噪比。由于各类部件上螺栓数量和分布存在规律性，检测部件影像中的正常螺栓，提取检测到的正常螺栓中心点坐标，使用最近点迭代(iterative closest point，ICP)[15]算法实现检测到的正常螺栓分布和部件上螺栓的固定分布配准，找到螺栓缺失位置，完成缺失检测。

1 基于Faster R-CNN级联的螺栓定位

由于螺栓尺寸较小，传统的特征提取网络，例如视觉几何群(visual geometry group，VGG)网络[16]和ResNet[17]系列，都要进行几次下采样处理，导致螺栓在特征图上的尺寸只有几个像素的大小，目标检测分类器对螺栓的分类效果较差。此外，如果在经过几次下采样后的特征图上进行分类和回归，螺栓的感受野映射回原始影像上可能小于螺栓在原始影像上的尺寸，造成检测效果差[18]。为解决上述问题，本文提出基于Faster R-CNN级联的螺栓定位方法，先定位正常螺栓所在的部件，将检测到的部件输出为影像，再检测部件影像中的正常螺栓，提高信噪比，提升检测精度。

基于Faster R-CNN级联的螺栓定位主要流程如下：①将螺栓所在部件的数据集送入网络训练，得到部件检测结果，将检测框内的部件输出，组成部件数据集；②将部件数据集送入网络训练，得到部件上螺栓的检测结果。

1.1 Faster R-CNN原理

Faster R-CNN结构如图1所示，基于Faster R-CNN的处理过程如下：

图1 Faster R-CNN结构示意图Fig.1 Structure diagram of Faster R-CNN

a)使用VGG-16骨干网络进行特征提取，获取特征图，VGG-16网络结构如图2所示；

图2 VGG-16网络结构示意图Fig.2 Structure diagram of VGG-16 network

b)将特征图送入区域候选网络(region proposal network，RPN)，判断锚框(Anchor)属于前景还是背景，使用bounding box回归修正Anchor，得到更精确的候选区域；

c)感兴趣区域(region of interst，ROI)池化层(Pooling)融合特征图和RPN输出的候选区域，得到固定大小的特征图，输入全连接层，判断目标类别；

d)使用特征图计算候选区域的类别，同时利用bounding box回归，修正得到Anchor的精确位置。

由图2可知整个特征提取网络是“卷积+Relu激活+池化”的构成。其中，CR-X代表共有X个“卷积层+RELU激活层”。影像每次经过池化处理，尺寸都会缩小1/2，最终，特征图大小为原始影像尺寸的1/16。

其次，将特征提取到的特征图送入RPN进行候选框提取，Anchor即大小和尺寸固定的候选框，共3种不同的尺寸和比例，组成9种不同类型的候选框。这些候选框在特征图上移动，特征图上的每个点对应9个候选框，可以有效将绝大多数的真值框包含在其中。

将特征图分别送入分类和回归2条通路，一条通路通过softmax分类得到特征图中的前景和背景，另一条通路用于计算候选框偏移量，以获得精确的推荐候选框。

最后，挑选出128个推荐候选框样本，对应特征图上不同大小的区域，使用ROI Pooling将这些不同尺寸的区域归一化到同一个尺度上，使权重共享，如图3所示。

图3 ROI Pooling原理Fig.3 Schematic diagram of ROI Pooling

归一化后，用VGG-16训练的权重初始化前2层全连接层，加上后面2个全连接层，分别预测候选框的类别和精确的位置。通过全连接层和softmax分类计算每个候选框的类别，输出属于该类别的概率；同时再次计算候选框偏差，得到精确的候选框。网络的损失函数为

(1)

(2)

1.2 部件检测

整合无人机采集的影像数据发现，部位螺栓所在部件主要有4种类型，如图4所示。

图4 4种类型螺栓部件Fig.4 Schematic diagram of bolt parts

将部件数据集送入Faster R-CNN进行训练，得到部件的检测结果。由于部件在影像中像素占比偏大，属于大目标，特征表达能力较强，检测效果好，如图5所示。

1.3 螺栓检测

根据检测框的位置和尺寸信息，将图5中部件裁剪出来，输出为部件影像，可以减少螺栓复杂背景的影响，如图6所示。

图5 部件检测结果Fig.5 Schematic diagram of the detection results of parts

图6 部件影像Fig.6 Schematic diagram of parts images

对图6中的螺栓进行标注，送入Faster R-CNN训练，得到正常螺栓的检测结果，如图7所示。其中矩形框即检测到的正常螺栓，存储检测框的中心点坐标(x,y)，组成数据集Q，为缺失检测提供坐标数据。

图7 螺栓检测结果Fig.7 Schematic diagram of detection results of bolts

2 螺栓缺失检测

由于1条输电线路中存在不同类型的输电塔，同时每种类型输电塔上螺栓的分布和数量不固定，很难找到规律[20]。通过对影像进行整理、分析，发现输电塔主要有直线塔和转角塔2种，其中直线塔分为交流双回路直线塔和交流单回路直线塔，转角塔分为交流双回路转角塔和交流单回路转角塔。直线塔和转角塔各自有着特定的结构，从螺栓分布和数量上都可以直观展现。图8所示为输电塔类型。

图8 输电塔类型Fig.8 Schematic diagram of transmission tower types

2.1 粗检测

基于不同塔型螺栓的分布和数量规律，若某种部件检测结果中螺栓个数和该部件上螺栓的实际数量存在偏差，则该影像中可能存在螺栓缺失，也可能是螺栓漏检。图9所示为缺失分析示意图。

图9 缺失分析Fig.9 Schematic diagram of missing analysis

如图9所示，以交流双回路转角塔绝缘子和导线连接处为例，通过先验的大量数据观察，矩形框内的部件上螺栓的数量为11或15个。在检测该区域时，计算正常螺栓检测框中心点个数，不满足上述数量要求的影像输出，组成缺失样本数据集，完成粗检测。

2.2 基于ICP配准的精检测

上述粗检测将需要进行螺栓缺失检测的数据集压缩，减少多余的计算量，提高检测效率。由于已知部件上螺栓的分布，提取每个螺栓的中心点坐标，组成螺栓标准分布数据集S，与1.3节中检测得到的数据集Q进行ICP配准，寻找2组点集间的差异，具体流程如下。

步骤1，取si∈S，qi∈Q，使得‖si-qi‖数值最小。其中si和qi分别是数据集S和数据集Q的第i个坐标点的向量化表示，均为3维列向量，‖si-qi‖表示2个坐标点之间的欧氏距离。

步骤2，计算3×3旋转矩阵R和3×1平移矩阵T，使得损失函数最小，计算式为

(3)

式中：n为点集中坐标点个数；‖Rsi+T-qi‖表示计算经坐标转换后的标准数据集的2个坐标点之间的欧式距离，使用奇异值分解法(singular value decomposition，SVD)，求解R和T的参数值，使得该距离值最小。

步骤3，对si进行旋转矩阵为R、平移矩阵为T的变换，得到转换后的坐标点s′i=Rsi+T，最终组成新的数据集S′，即s′i∈S′。

步骤4，计算S′和数据集Q中对应每个坐标点的欧式距离，从而得到平均距离d，

(4)

若d小于阈值或迭代次数大于设定的最大迭代次数，停止迭代计算；否则，返回步骤2，迭代直到收敛为止。完成配准后，若数据集S中某个中心点，在数据集Q中不存在相应的中心点，则说明该螺栓检测结果中存在螺栓缺失。

3 实验结果

本实验数据来源于广东电网有限责任公司广州供电局，螺栓影像背景复杂，数据采集时光照、拍摄角度、距离等条件各异。通过对数据采用翻转、平移、角度旋转等方式增强数据集，采用精确率与召回率来衡量检测效果。精确率为标记正确的边界框个数与标记出的所有边界框个数之比，召回率为被正确识别为正样本的边界框个数与测试集中所有正样本边界框个数之比；并且结合输电塔部件结构的特殊性和螺栓数量的规律性，对精度进行评定。

本实验采用开源的学习库pytorch作为深度学习框架，使用图形处理器(graphics processing unit，GPU)对训练过程进行加速；使用的硬件配置为32 GB内存的i7处理器，NVIDIA TITAN X显卡；软件环境为Windows10系统，python3.7；GPU加速库采用CUDA10.0和CUDNN7.4。

以部件为对象，训练Faster R-CNN时，训练样本的个数和质量在很大程度上决定着网络的性能。实验先后对200个、400个、600个“连接板”部件样本进行标注、训练，结果见表1。