结合尺度约束与空间信息的输电线路多金具检测方法

2022-10-11翟永杰

华北电力大学学报(自然科学版) 2022年5期

翟永杰，杨旭

(华北电力大学控制与计算机工程学院，河北保定 071003)

0 引言

随着我国城市化进程的大跨步推进，电网的覆盖面积逐年扩大。输电线路作为电力系统的重要组成部分，担负着输送和分配电能的任务[1-3]。其中，金具作为输电线路的重要部件，起到了支持、固定、接续裸导线以及维持整个线路稳定运行的作用[4]。由于输电线路广泛分布在平原或高山之中，因此金具往往常年暴露在外，受到风吹日晒和雨雪侵蚀的影响，其复杂多变的工作环境极易使其发生位移、歪斜、破损等缺陷[5]。因此对输电线路金具进行定期巡检将大大减少输电线路的故障发生，确保电力系统的正常运营。

随着无人机巡检技术的成功应用，基于图像处理技术与计算机视觉的输电线路航拍图像巡检技术逐渐成熟。其中，如何实现准确的多金具检测成为当前限制输电线路缺陷巡检准确率的基础问题与主要瓶颈[6]。研究早期，金具检测任务往往通过人工特征与分类器等机器学习算法实现，如陈晓娟等[7]对采集的线路图像进行预处理，利用随机Hough变换与一定的形状条件，实现对防震锤的检测；金立军等[8]利用图像匹配和形态学运算提取可见光图像中的间隔棒，基于校正透视畸变实现骨架提取，最后通过形状度量与最小风险原则显示间隔棒检测；翟永杰等[9]利用绝缘子具有的梯度轮廓闭合性特点进行目标建议，利用局部特征实现绝缘子粗定位，以绝缘子骨架结构描述子实现细定位。但是，基于机器学习的金具检测算法在实际应用中往往易受到周围环境的影响，且在检测性能上还有很大的提升空间。

随着深度学习在工业领域的逐步应用，基于深度目标检测的金具检测技术得到了国内外研究学者的广泛关注[10]，如汤踊等[11]利用改进的Faster R-CNN和不同核大小的卷积神经网络实现了均压环的检测。杨罡等[12]通过多尺度特征融合方法和深度可分离卷积在移动端ARM设备上实现了绝缘子、悬垂线夹、防震锤等部件的检测。李伟性等[13]利用改进的SSD和图像像素估计实现了复合绝缘子的目标检测和故障评估。然而上述算法仅针对具有较大尺寸的单一金具，在实际应用往往会由于金具组合安装与无人机拍摄距离等问题导致检测精度下降，受到金具尺度不同、互相遮挡等特点影响严重，如图1所示。

图1 多金具航拍图像Fig. 1 Aerial images of multi-fittings

其中图1(a)与图1(d)中的联板由于拍摄距离的影响表现出不同尺度大小的特点，如黄色方框所示，图1(b)中联板、屏蔽环与锲型耐张线夹等金具在组合使用时往往互相遮挡严重，如绿色方框所示。受到上述因素影响，当前算法面对航拍图像中多金具问题时，往往难以取得良好的检测效果。

为解决多金具检测任务中目标尺度不一、互相遮挡等问题，本文提出尺度约束与空间信息的输电线路多金具检测方法(Scale Constraint and Spatial Information R-CNN, SCSI R-CNN)。首先使用Faster R-CNN算法作为基本框架，采用k-means++算法对输电线路金具数据集中各个金具的标注框进行聚类分析，通过CH指标比较得到与检测任务适配的锚框尺度，然后基于金具空间布局的相对几何特征，采用潜在空间模块对输入视觉特征进行增强，最后在金具数据集上对所述算法进行了验证。

1 Faster R-CNN

Ren等[14]在2015年提出了Faster R-CNN算法，其模型框架如图2所示。

图2 Faster R-CNN检测框架Fig. 2 Detection framework of Faster R-CNN

Faster R-CNN主要由卷积神经网络(Convolutional Neural Networks, CNN)、区域生成网络(Region Proposal Networks, RPN)、感兴趣区域池化单元(Region Of Interest Pooling, RoI Pooling)以及分类和回归单元4部分组成：

(1) 卷积神经网络：基于一系列卷积、池化与非线性模块的组合，由浅至深提取航拍图像的特征图(Feature Map)，并输出到RPN网络与RoI Pooling单元。

(2) RPN网络：通过3种尺度(8, 16, 32)和3种比例(2∶1, 1∶1, 1∶2)形成9种预设锚框 (Anchor Box)。预设锚框在特征图上滑动生成多个候选框，基于交并比(Intersection over Union, IoU)分配正负样本，如公式(1)所示：

(1)

式中：GT表示真值框，Anchor表示滑动锚框。然后使用非极大值抑制算法(Non-Maximum Suppression, NMS)筛选出Nr个目标候选区域。

(3) RoI Pooling：对不同尺寸的正样本候选框所对应的特征图区域作为输入，基于平均池化模块生成Nr个维度相同的特征向量。

(4) 分类与回归单元：将步骤3得到的特征向量输入全连接层，利用softmax函数判断特征图候选区域的类别以及准确位置，如公式(2)所示：

(2)

2 SCSI R-CNN

由于Faster R-CNN多金具检测核心过程就是通过预设锚框与RPN网络实现预测框回归和目标定位，然后提取对应区域的特征进行金具类别检测。因此预设锚框参数与特征选取至关重要。基于此，本文采用kmeans++算法对任务目标的标注框尺寸进行聚类分析，以便于实现金具检测的锚框适配与尺度约束，结合CNN网络特征提取与RPN网络的锚框生成与候选区域生成，提取基本候选目标特征向量，并采用潜在空间模块与金具视觉特征级联完成增强，结合金具间的空间几何特征实现更加准确的多金具检测，算法框架如图3所示。

图3 本文检测算法流程图Fig. 3 Flow chart of detection algorithm for this article

2.1 标注框尺度约束

由于无人机对输电线路高压负荷的敏感性导致无法近距离拍摄的问题，输电线路金具数据集中的航拍图像目标往往尺寸不一，呈现小目标特点。因此，Faster R-CNN模型针对大尺寸目标预设的锚框参数对于当前目标的覆盖效果不佳，需要按照金具尺度特点重新设定锚框参数。然而人工预设的方法往往需要大量验证实验，且易引入人工误差导致与模型不匹配。

本文采用输电线路金具数据集中各个金具标注框的宽与高作为输入数据，采用kmeans++算法[16]对目标框聚类分析，根据聚类结果重新设置锚框参数，达到适配任务目标的尺度约束效果，具体步骤如下所示：

(1) 输入输电线路金具数据集，统计航拍图像的各个目标标注框信息，得到含有N个样本的数据集a={xi|xi=(xi1,xi2,…,xim),i=1,2,…,N}，其中m为特征维度。

(2) 初始化k个数据点作为初始聚类中心，即C={cj|ci=(ci1,ci2,…,cim),j=1,2,…,k}。如公式(3)所示，基于欧式距离计算数据集a中每一个数据点xi与每一个中心点cj的距离d。如公式(4)所示，计算每个样本点被选为下一个聚类中心的概率P。

(3)

P(i)=d2(xi)/sum(d2(xi))

(4)

(3) 按照轮盘法选出下一类聚类中心，重复步骤(2)与(3)直到聚类中心的位置不发生变化或误差平方和最小为止，如公式(5)所示：

(5)

在kmeans++聚类算法中，不同的聚类中心点量会改变最终的聚类效果，因此本文选用CH指标[17]直观评估样本集的聚类情况。

CH指标是用来衡量聚类的类内密集度和类间离散度的综合指标，如公式(6)所示：

(6)

式中：k表示聚类中心数目；n表示当前的类；trB(n)表示类间离散度矩阵的迹；trW(n)表示类内离散度矩阵的迹。由公式可知，CH指标越大，表明类别内部样本的密集度越高，类与类间的样本离散度越高，即聚类效果越好。

2.2 空间信息提取

空间信息能够表征金具间复杂的位置信息，因此本文采用空间信息作为视觉特征的辅助信息解决金具间相互遮挡的问题。潜在空间模块以Nr个目标候选区域池化后的D维特征向量F∈Nr×D作为输入，通过堆叠的多层感知机(Multi-Layer Perceptrons, MLPs)将目标候选区域构建为空间区域图GS(VS,ES)，其中区域图GS的边ES用于表征节点目标间的空间关系，将区域特征F与区域空间位置VS联合计算，得到包含每个目标区域位置信息的潜在空间特征。最后将潜在空间特征与视觉特征级联，计算最终分类与回归结果。

为更好表征金具间的空间布局，捕获目标间的空间知识，本文采用相对几何特征B={bi}作为空间区域图的输入。首先利用目标检测器的骨干网络与RPN网络提取各个目标区域的预测框。为提取固定尺度相对几何特征B，本文将单个目标预测框的相对几何信息bi表示成长度为5的几何向量，如公式(7)所示：

(7)

式中：W和H分别是输入航拍图像的宽度与高度；xi、yi、wi和hi分别为区域i的中心点坐标与宽度和高度；pi为当前区域的置信度分数。

对于给定的目标区域i和j，我们提取相应的几何特征bi和bj，并使用MLP学习两区域的相关关系，如公式(8)所示：

(8)

(9)

(10)

3 实验结果与分析

本文采用现场采集的1 455张输电线路航拍图像进行人工标注，形成金具检测数据集。该数据集共包括9 098个检测目标，包含预绞式悬垂线夹、提包式悬垂线夹、压缩型耐张线夹、锲型耐张线夹、挂板、U型挂环、联板、并沟线夹、防震锤、间隔棒、均压环、屏蔽环、重锤、调整板共14类金具。

本文所述模型使用Faster R-CNN作为基线模型，以预训练的ResNet-101作为特征提取网络，训练集与测试集比例为3∶1。在训练过程中随机水平翻转进行数据增强，该模型的基本参数为：初始学习率为0.001，迭代次数为20，batch size为1，采用随机梯度下降算法(stochastic gradient descent, SGD)作为优化器，交叉熵作为损失函数。采用NVIDIA 1080Ti专业加速卡进行训练与测试；利用CUDA10.0加速训练；网络开发框架为Pytorch。

3.1 聚类分析

基于输入的金具检测数据集，本实验提取到9 098个目标框的标注框尺寸，输入信息为各个标注框的宽与高，即N=9 098，m=2。分别设置初始聚类中心k=2, 3, 4, 5, 6, 7并对标注框尺寸进行聚类分析，结果如图4所示。

图4 聚类结果Fig. 4 Clustering results

其中图4的横、纵坐标分别表示金具目标标注框的相对宽度与高度，不同颜色的样本点分别代表不同的聚类簇，簇内的黑色叉号表示该类数据的聚类中心。可以看出，由于金具工作环境往往不易近距离拍摄，相比于5 760×3 840分辨率的航拍图像，金具呈现明显的小尺度特点，其中目标框面积小于航拍图像1%像素尺寸的数量为7 171个，约占数据集中全部目标的79%。

计算不同聚类中心数的中心点坐标和宽高比，并利用相对宽度与高度的聚类结果作为聚类数据，根据式6计算相应CH指标，结果如表1所示。

表1 不同聚类中心数的聚类结果Tab.1 Clustering results with different numbers of cluster centers

由表1可以看出，当聚类中心数为5时CH指标的值最大，即此时聚类效果最好。分析聚类中心数为5的中心点坐标可以看出，簇中心面积的极值范围集中在2162～2 3872之间。结合特征提取网络ResNet101在原图的感受野为642，因此本文设定锚框适配尺度为(2, 4, 8, 16, 32)。此时，生成锚框能够覆盖(1282, 2562, 5122, 1 0242, 2 0482)大小的原始图像，即锚框极大值、极小值尺寸能够在最大程度上匹配金具标注框面积分布。分析宽高比可以发现，聚类中心点的宽高比集中在0.41～1.72之间，目标标注框的比例与预设锚框比例基本一致，所以保持锚框比例(2∶1, 1∶1, 1∶2)保持不变。上述锚框尺度与比例的修改有助于本文所述算法达到适配金具检测任务的尺度约束效果，帮助更好解决金具小尺度问题。

3.2 模型实验与比较

以单类金具检测平均精度(Average Precision, AP)为评价指标，本文首先给出了基线模型Faster R-CNN与本文所述模型SCSI R-CNN在多类金具检测性能的比较结果，如表2所示。

由表2可以看出，与基线模型相比，虽然本文所述SCSI R-CNN算法在压缩型耐张线夹、屏蔽环和重锤等大尺度金具的检测精度有所下降，但基本与Faster R-CNN检测准确率持平。同时对比U型挂环、并沟线夹等小尺度金具，以及提包式悬垂线夹、调整板等易产生遮挡的金具，本文算法都能较好提高其检测率，如并沟线夹等单类金具的AP提升最多达到25.24%。综上可知，SCSI R-CNN算法将输电线路金具的尺度约束与空间信息融合到目标检测模型中，对小尺度目标、遮挡目标具有良好的改善效果。

表2 单类金具检测准确率比较Tab.2 Comparison of detection accuracy of single-type fittings

为验证本文所述SCSI R-CNN在多金具检测任务中的检测性能，本文在保证超参数相同的情况下比较了SSD[18]、RetinaNet[19]、YOLOv4[20]、Faster R-CNN、HKRM[21]以及本文算法的模型性能，通过MS COCO2014[22]中COCO评价指标对模型进行评估。比较结果如表3所示。

表3 检测算法性能比较Tab.3 Performance comparison of detection methods

可以看出，相比于Faster R-CNN，本文所述算法在基本检测性能AP50上提高了6.8%，与其他算法相比，无论是一阶段检测模型SSD、RetinaNet或YOLOv4，还是二阶段检测模型Faster R-CNN与HKRM，SCSI R-CNN都在各个检测指标上取得了较高的提高。需要注意的是，APS与ARS分别代表对于小目标检测的准确率与召回率，相比于基线模型，本文所述算法分别取得了5.8%与7.8%的提升，有效展示出尺度约束在解决金具小目标问题的性能提高。

图5给出了本文所述算法与Faster R-CNN的可视化检测结果。可以看出，由于工作背景复杂，图5(a)红色方框中输电杆塔被Faster R-CNN算法误判为小尺度金具——并沟线夹，SCSI R-CNN算法通过尺度约束对小目标检测的适配性，改善了此类误检现象，如图5(d)所示。同样地，用于金具间相互连接的挂板往往受限于自身尺寸，因此往往检测准确率不高。比较图5(b)与图5(e)中黄色方框可以看出，Faster R-CNN漏检的两个挂板被本文所述算法成功检出，即基于标注框聚类分析的尺度约束有利于检测模型对输电线路金具形状与尺度进行更加准确地适配，尤其对于小尺度目标的提升显著。根据图5(c)与图5(f)中黄色方框亦可看出，对于U型挂环、提包式悬垂线夹等小尺度金具的检测效果有了良好的改善。最后，由于输电线路金具的组合结构，往往会导致密集目标间的相互遮挡。对比图5(c)与图5(f)中紫色方框可以看出，由于屏蔽环对U型挂环、压缩型耐张线夹、挂板等金具的遮挡，以及防震锤大量组合使用的互相遮挡，Faster R-CNN在左上侧与下侧的金具组合结构中发生了大量漏检，降低了模型检测性能。因此SCSI R-CNN算法基于金具目标间的空间信息对视觉特征进行增强，大大改善了航拍图像中密集金具目标的遮挡问题，验证了潜在空间特征辅助目标检测的有效性。

图5 可视化结果比较Fig. 5 Comparison of visualization results

3.3 消融实验

为了更好理解尺度约束与空间信息对SCSI R-CNN算法的作用，本文对部分超参数进行了消融实验。首先针对尺度约束中不同锚框尺度数量对检测准确率的影响进行比较，然后采用不同维度E的潜在空间特征对检测准确率进行超参数对比实验，结果如表4所示。

表4 消融实验结果Tab.4 Results of ablation experiments

可以看出，随着锚框尺度数的增加，算法准确率逐渐增加，即金具检测准确率对于小尺度锚框的适配度更高，更多小尺寸锚框的生成往往有助于检测输电线路金具这类小尺寸目标，能够有效提升检测准确率5.15%。另外，通过对潜在空间特征维度E的超参数实验可以看出，适宜的特征维度能够提升算法性能1.61%。然而过低或过高的特征维度对算法提升较小，即产生欠拟合或过拟合等问题。甚至当潜在空间特征维度达到2 048维时会导致算法准确率的下降。