基于遮挡关系推理的输电线路图像金具检测

戚银城，赵席彬，耿劭锋，张薇，赵振兵，吕斌

（1.华北电力大学 电子与通信工程系，河北 保定 071003;2.华北电力大学 河北省电力物联网技术重点实验室，河北 保定 071003;3.国网浙江杭州市萧山区供电有限公司，浙江 杭州 310000）

输电线路作为电力系统的重要基础设备之 一，其运行状态的安全稳定是电力传输的重要前提保障。金具[1-2]作为输电线路上种类繁多且应用广泛的金属附件，主要用于支持、固定、接续裸导线和其他导体。输电线路长期暴露在野外恶劣环境下，一些金具部件极易产生锈蚀、破损和脱落等故障，就会对整个电力系统的稳定运行造成威胁，因此对金具部件进行定期检修可以有效保障线路的正常运行。传统的金具检修方式为人工巡检，费时费力且检修效率较低，目前电力系统已广泛采用安全系数较高的直升机和无人机进行输电线路上金具巡检工作[3-4]。但由于拍摄角度的多变性和金具所处背景的复杂性，必须利用鲁棒性较强的图像处理算法，并结合金具的背景信息处理其检测问题，这能够很大程度地提高输电线路自动化巡检的效率。

目前，输电线路图像金具检测工作也取得了一定的进展，以防振锤、线夹和均压环等金属部件为研究对象，相关的检测算法研究主要以传统图像处理、机器学习方法为代表和以深度学习算法为代表两大类。基于传统方法的输电线路金具识别研究中，文献[5]通过提取图像边缘，根据防振锤、绝缘子等部件中存在的圆形边缘进行识别分类。文献[6]提出一种利用层次模型“与或图”对目标进行分解表达，建立部件之间的约束关系，构建多向的判别路径的方法，该方法在少量样本的条件下，能有效地实现若干输电线路部件的缺陷判别。文献[7]基于图像灰度变换、Otus算法分割和Hough 变换实现了物体的精确识别。为实现对防振锤锈蚀的识别，文献[8]结合了形态学处理和RGB 彩色模型，通过图像色区的不同检测防振锤锈蚀缺陷。这类算法主要针对单一金具识别，并不适用于复杂背景下输电线路的多类部件检测，并且很难达到输电线路部件检测的精度和效率之间的平衡，其具有一定的局限性。随着深度学习研究的逐渐深入，基于深度学习的金具检测算法越来越多，文献[9]提出一种将多尺度特征融合方法与输电线路关键部件的检测相结合的算法，提高了算法在具有边缘计算能力的移动端ARM 设备上的运行速度和部件的检测精度。文献[10]提出了一种基于改进SSD 模型的金具检测方法，通过嵌入关系模块有效提升了小目标金具的检测精度，但模型检测精度较低且参数量较大。文献[11]提出了一种结合KL 散度和形状约束的 Faster R-CNN 典型金具检测方法，有效地提高了模型定位金具目标的准确性。基于深度学习的检测算法虽然一定程度上可以检测出金具目标，但由于仅仅关注图像内目标感兴趣区域附近的局部信息，忽略了图像内丰富的场景信息和目标间的关系信息，这不可避免地会限制所检测物体的准确性，容易导致模型出现漏检、误检等问题，故直接使用以上算法检测效果不佳。相比于公共数据集，输电线路金具数据集的特殊之处在于，最初安装金具时需要遵循一定的安装规则，即多类金具间的隐式位置关系信息，进而造成巡检图像中金具间的遮挡现象，故通过结合场景关联信息和金具间的关系信息有助于更好地实现复杂场景中多类金具检测的精准定位[12-14]。

本文针对在巡检图像中金具所处背景复杂且金具间存在复杂遮挡问题，提出了一种基于遮挡关系推理的金具检测方法，选取综合目标检测效率和精度平衡的超快速区域卷积神经网络(faster region-based convolutional neural networks,Faster R-CNN)模型[15]作为基础模型，构建结合金具间遮挡关系信息的图，并以金具所处场景信息作为图迭代更新的指导信息，进行输电线路金具位置和类别的联合推理检测。其中，金具目标作为图的节点，金具间的遮挡关系信息和金具所处的背景信息作为金具节点状态更新的指导信息，以提高金具的检测精度，从而为输电线路典型金具运行状态的智能检测提供新的思路。

1 Faster R-CNN 模型

Faster R-CNN 模型是Ren 等[16]在Fast R-CNN模型的基础上改进提出的，主要分为4 个部分，分别为卷积层提取特征、生成候选区域 (region proposal networks，RPN)、感兴趣区域池化(RoI pooling)[17]及分类/回归预测。在检测目标时，先将整幅图像输入卷积神经网络中提取图像特征，特征提取部分采用的是VGG16 网络，通过卷积和池化输出后续用于分类和预测的特征图；将生成的特征图输入到RPN 中用于生成候选区域，即在特征图上以每个点为中心生成9 种不同大小的锚框，然后通过3×3 的滑动窗口生成特征向量，并基于全连接层和分类层输出参考框作为前景的置信度；由于RPN 中提取出的区域建议框和特征图上区域形状差异较大，为保持卷积神经网络输入尺度固定，采用ROI pooling 将输入中任意尺度的特征图转化成统一尺度的特征向量；最后使用全连接层以及softmax 分类器计算出不同区域建议的类别，其损失函数为交叉熵函数，再通过边界框回归对目标框进行微调，得到精确的边界框位置，其损失函数为Smooth L1 函数，Faster R-CNN模型的整体框架如图1 所示。

图1 Faster R-CNN 模型结构Fig.1 Faster R-CNN model structure

Faster R-CNN 模型的主要创新在于提出RPN网络。RPN 是全卷积网络，可以和Faster R-CNN模型的主干网络共享全局特征，实现了端到端的目标检测。但是，Faster R-CNN 模型在分类和位置回归时，只利用了金具感兴趣区域内的视觉特征，导致金具检测器出现图2 的漏检情况(如虚线框所示)，图(a) 漏检了与联板相连的提包式悬垂线夹和被均压环遮挡的线夹，图(b)漏检了与调整板相连的U 型挂环。如果能够利用金具间的连接关系，即巡检图像中金具标注框间的遮挡关系，可以一定程度上改善输电线路金具漏检现象。

图2 Faster R-CNN 模型金具检测错误示例Fig.2 Examples of error detecting fittings by the Faster RCNN model

2 基于遮挡关系推理的输电线路图像金具检测方法

本文的主要研究任务是在海量的输电线路航拍巡检图像中更加精准地检测多类金具，选取Faster R-CNN 作为基础模型进行输电线路图像金具检测。为了构建以金具间遮挡区域关系信息作为边信息的图，首先需要学习金具目标间关于遮挡区域的位置关系表达，借鉴数学几何中相交区域的位置描述思想，本文提出了金具目标间遮挡关系信息的描述方法，即将学习目标标注框间相交区域的位置信息作为其遮挡关系信息，并采用基础模型提取金具目标特征作为节点，提取整张图像特征作为场景关联信息，与遮挡关系信息一起作为推理检测过程的指导信息，并基于节点的最优状态完成金具目标的检测。图3 为整体检测框架图，其中虚线框为金具图建模后的结构推理检测部分。

图3 整体检测框架Fig.3 Overall detection framework

2.1 基于金具遮挡关系信息描述的边建模

为了完成基于金具遮挡关系信息描述的图的设计，首先需要构建基于金具遮挡关系信息描述的边。具体为，在一张巡检图像中，基于两金具标注框相交区域的坐标位置描述，完成对两金具间包含遮挡关系信息的边建模。其主要作用为，可以帮助检测模型充分地学习到金具间的遮挡关系信息，而不再仅仅关注金具目标信息。在公共检测数据集中，由于目标间存在较少的遮挡情况，在构建以目标为节点的图的边时，通常以目标标注框的相对位置关系表达式来描述两者的几何位置关系，对图片中所有目标计算了几何关系，这并未体现目标间的相交情况。区别于公共检测数据集，输电线路的金具由于在最初安装时遵循一定的安装规则，进而造成了金具间的遮挡现象，具体示例见图4。图4(a)从上往下依次为重锤和提包式悬垂线夹的遮挡区域示意图、U 型挂环被其他金具的遮挡区域示意图和联板与线夹的遮挡区域示意图；图4(b)为金具遮挡关系，从上往下依次为重锤与线夹、均压环与线夹、联板与线夹、均压环与联板、U 型挂环与调整版。通过分析输电线路图像中金具间存在的遮挡区域可知，两两相交的区域通常包含两类目标的部分特征信息，具有一定的相似性，相对于金具的固定位置关系，金具间的相互遮挡信息具有代表性且遮挡区域具有一定的结构化，故完成金具节点间的边结构设计之前，需要完成对金具间的遮挡关系描述，以替代原有的相对位置关系表描述。

图4 输电线路金具数据集中金具间遮挡区域Fig.4 Shielded area between the fittings in the transmission line fittings data sets

基于输电线路中金具安装规则的先验知识，实际输电线路场景中金具间的遮挡关系与人工标注的输电线路图像中金具标注框的相交关系密切相关，且标注框相交区域具有一定的相似性，故金具目标间遮挡关系描述可以转换成金具标注框相交区域的位置关系描述。输电线路图像中两两金具标注框间存在相交与未相交两种关系，描述标注框间的相交区域前需要判断两者之间是否存在相交，若满足判断条件，则判定两者存在相交关系，即目标间存在遮挡关系。

通过数据集标注信息可知金具目标标注框的左上角和右下角坐标，通过几何数学关系可求得标注框的几何坐标为 (x,y)，即标注框的中心坐标，w和h分别代表标注框的宽和高，则目标m和目标n的遮挡判断条件为

式中：xm、ym、wm、hm为目标m的标注框的几何坐标；xn、yn、wn、hn为目标n的标注框的几何坐标。当目标m和目标n同时满足式(1)时，即可判断两者存在相交即遮挡。

当目标m、n的标注框存在相交区域时，可通过式(2)求得相交区域的几何坐标为(xmn,ymn,wmn,hmn)。当两者未存在相交时，其相交区域坐标为(0,0,0,0)。

根据上述矩形框相交区域的几何坐标描述方法可知，输电线路巡检图片中金具间的遮挡关系信息可通过式(1)、(2)得到的相交区域几何坐标进行描述，为了使其具有平移旋转不变性特征[10]，对相交区域矩形坐标进行变换，产生关联几何空间特征向量，通过遮挡关系描述构建基于金具遮挡信息的边向量Rn→m，其数学表达式为

式中s代表标注框的面积。

2.2 基于金具遮挡关系信息的图建模

本文通过提取巡检图像中不同标注框的相对遮挡关系信息构建金具节点间的边，进而完成构建包含金具遮挡关系信息的图，接下来将阐述图的具体设计方法。

一般地，图主要包括目标节点和节点间的边[18]，对于输电线路图像金具目标而言，考虑到巡检图像的金具目标包含丰富的场景上下文信息，对一张巡检图像上所有的金具目标特征、金具间的遮挡关系边和金具所处的场景信息建模。即图主要包括3 部分，即金具节点、金具节点间的边和场景关联信息，用数学表达式描述为G=(V,E,c)，其中，G为图，V为图中所有金具节点向量，E为每对金具节点之间的边向量，c为金具所处场景向量，如图5 所示。其作用为，通过构建包含场景信息和多类金具遮挡信息的图，帮助模型充分地学习到金具特征信息，提升多类金具的检测精度。

图5 基于金具遮挡关系信息的图建模Fig.5 Graph modeling based on the information of fittings occlusion relationship

完成基于金具遮挡关系信息的图建模之前，首先需要进行金具节点特征和金具场景信息的提取，综合考虑模型的检测精度和效率，选择目前的主流检测模型Faster R-CNN 作为基础模型，并选用特征提取能力较强的VGG16 作为骨架网络进行金具特征提取。通过RPN 网络获得了金具的多个区域提取框，使用NMS 方法选择固定数量(128 个)的感兴趣区域，对于每个ROI (vm∈V)，基于池化层生成固定尺寸的特征图，并通过全连接层提取金具的视觉特征作为金具节点特征向量。由于整张巡检图像没有真实场景标签c，采用上述相同方法提取整张图像特征向量作为场景关联信息fc，提取ROIs 的几何坐标向量并通过遮挡关系信息描述方法转换为遮挡关系向量Rn→m进而构成包含金具遮挡关系信息的边向量en→m(具体见式(4))，完成基于金具遮挡关系的图建模。

2.3 基于金具遮挡关系信息的推理检测

完成基于金具遮挡关系信息的图建模之后，需要对图的每个金具节点状态进行更新，并基于节点的最优状态完成金具的检测。通过分析一张巡检图片的金具分布情况，可知存在多类金具且金具间存在复杂的遮挡关系的情况下，金具的状态更新即为基于该巡检图片中其他所有金具和巡检图片场景传递的信息编码。由于节点需要接收来自多个节点的信息，为了减少金具节点状态更新时的信息冗余和复杂度，选择门控循环单元(gated recurrent unit,GRU)[19]作为信息传递单元。GRU 作为常用的存储长序列信息的记忆单元，可以根据其他金具节点和场景的信息传递情况，丢弃无用的信息并选择与该金具节点相关的部分来更新其状态，进而完成金具节点的状态更新，即图推理为基于场景门控循环单元和边门控循环单元对图中金具节点状态进行更新，多次的信息传递更新可以更鲁棒地表示金具节点的状态，直至迭代到最优状态并基于该节点信息完成金具的推理检测。其作用在于，通过构建两种门控循环单元信息传递机制，借助基础检测框架完成金具节点推理检测，帮助金具节点在训练迭代中充分学习来自场景信息和其他金具节点传递信息，丰富该金具节点自身特征信息，从而提升其检测效率。

由于巡检图像中的金具处于复杂的输电线路背景中，并且金具间具有复杂的遮挡连接关系，因此选择两种门控循环单元构建结构推理模块完成金具的推理检测，即场景门控循环单元和边门控循环单元。在场景关联信息指导下，金具节点之间基于遮挡关系程度进行信息传递，进而完成节点状态更新，每个节点需要在保留当前状态重要信息的同时接收多个节点传递的信息。对于金具节点vm，场景关联信息向量fc作为场景GRU 的输入，该节点集合其他节点的信息量te作为边GRU 的输入，即通过遮挡关系程度计算不同节点传递的信息，并池化整合信息，其输出用数学表达式描述为

式中：节点vm的特征向量主要通过聚合其他节点到该节点传递的信息，并采用最大池化操作提取重要特征信息。场景GRU 和边GRU 的输出信息通过均值池化表达为节点更新后的状态，多次的信息传递更新可以更鲁棒地表示金具节点的状态，直至迭代到最优状态并基于该节点信息进行金具类别和边界框预测。

3 实验结果及分析

基于深度学习的目标检测模型的准确性很大程度上依赖于一定规模的数据集。考虑到模型的可识别性和建库的可操作性，借鉴PASCAL VOC数据集[20]的构建方法，基于人工经验标注构建专业的输电线路金具检测数据集，为后续的研究工作提供重要的数据准备。综合考虑巡检图像中金具数量级、金具间遮挡关系和金具形态特征[21]等因素，本文实验最终选取提包式悬垂线夹、均压环、间隔棒、重锤、U 型挂环、防振锤、调整板、联板8 类金具目标作为研究对象，这8 类是目前课题组拥有的样本数量最多、易发生故障、且与其他金具普遍存在连接关系的金具。由于原始图像尺寸较大，一般为6 000×4 000 像素，在检测过程中会给GPU 工作站带来巨大的负担，为此本文在尽量不损失金具图像重要信息的前提下，对原始样本进行裁剪并将尺寸固定为3 000×2000 像素。文中实验使用的金具训练集和测试集样本数分别为1 166 和290 张，其中，训练集和测试集中所包含每类金具的数量情况统计如图6 所示。

图6 金具训练集和测试集单类金具的标注框数量图Fig.6 Number of labeled boxes for the training sets and test sets of single-type fittings

本文的软件运行环境是基于Python2.7 的tensorflow1.3.0 深度学习框架，硬件环境为Ubuntu 16.04 以及8 GB 内存，显卡为NVIDIA GeForce TITAN Xp，超参数批处理大小为128，初始学习率为0.001，当训练迭代次数达到60 000 时，学习率降为0.0001，直到达到最大迭代次数80 000 次。为了验证遮挡关系推理模块的有效性，在Faster R-CNN 模型的基础上嵌入其模块，其中，原始Faster R-CNN 模型作为文中实验对比分析的基线，并且改进前后模型的参数设置保持一致。

本文采用目前主流的目标检测模型评价指标AP (average precision) 值、mAP (mean average precision) 值和recall 值对模型性能进行评估。其中，AP 为平均精度，即通过度量模型输出框与Ground truth 的距离计算单类目标的检测准确率；mAP 值为平均精度均值，即多类目标的检测准确率的平均值；recall 为召回率，即测试集所有正样本样例中，被正确识别为正样本的比例。

表1 为加入遮挡关系推理模块前后的模型检测结果。从表1 可以明显看出，加入遮挡关系推理模块一定程度上提升了金具的检测准确率，相较于微调的Faster R-CNN 模型，改进后模型的mAP 值提升2.85%，recall 值提高3.1%，针对原检测模型并未考虑到金具间的遮挡关系和金具所处的复杂背景信息，导致模型产生漏检和低精度等问题。本文将金具检测问题形式化为金具图推理，通过引入遮挡关系推理模块，建模以金具为节点、金具间遮挡关系信息为边指导信息的图，采用门控循环单元消息传递机制对巡检图像中金具类别和位置进行联合推理，使模型检测时更依赖金具间的遮挡信息，显著提高了模型对于典型金具数据集的检测精度。

表1 遮挡关系推理模块加入前后的模型检测结果Table 1 Model detection results with and without the occlusion relationship reasoning module %

表2 为基于原始Faster R-CNN 模型和基于引入遮挡关系推理模块后模型的单类金具检测的AP 值。从表2 可以看出，巡检图像中的重锤通常与3 个及以上悬垂线夹组装，且两类金具遮挡度较高，故通过学习遮挡信息可以有效提高被遮挡的悬垂线夹的检测精度，相对地，重锤检测精度提升不明显。此外，与均压环、调整板存在遮挡连接关系的U 型挂环和联板等连接金具的检测精度也有不同程度的提升。其中，U 型挂环金具目标尺度较小且在图像中分布十分密集，与其他金具间存在明显的遮挡关系，调整板和联板这两类金具的被遮挡程度同样较高，通过学习该类金具与其相连接金具的遮挡关系信息可以有效提升该类金具的检测精度。此外，输电线路中存在大量用于防止导线振动的防振锤，由于防振锤在图像中存在同类别遮挡情况易导致防振锤出现漏检等情况。实验结果表明，通过嵌入遮挡关系推理模块进行防振锤间的遮挡关系信息学习，即隐式学习防振锤成对成群安装规则，一定程度上提升了对防振锤的检测性能。

表2 改进模型前后单类金具的AP 值Table 2 AP value of single-type fittings before and after the improved model %

为了更好地验证结合遮挡关系推理模块的Faster R-CNN 检测模型对金具数据集的有效性，在相同的网络优化参数设置和相同的骨干网络VGG16 的基础上，本文不仅纵向比较了改进前后模型在金具数据集上的检测性能，还采用目前主流的单阶段检测模型SSD[22]和两阶段检测模型Faster R-CNN 与本文方法进行横向对比分析。实验结果如表3 所示，通过纵向对比分析表3 中的mAP 值可以看出，相较于单阶段检测SSD 模型，本文方法的mAP 值提高了5.65%，相较于微调后的Faster R-CNN 模型，其mAP 值提高了2.85%，这表明联合考虑金具间的遮挡关系信息和所处背景信息[23-25]有助于提升金具检测的准确率，可以一定程度上减弱仅考虑金具感兴趣区域内特征带来的金具误检、漏检等现象，尤其对于输电线路中具有连接关系的小尺度金具性能提升明显。

表3 各方法检测性能比较Table 3 Comparison of detection performance of each methods %

使用本文方法的金具检测可视化结果如图7所示，所给出的可视化结果为测试集中具有代表性的部分图像测试结果，包含金具目标检测的得分、类别和边界框，其中图(a)、(c)、(e)为迭代130 000次的微调Faster R-CNN 模型的检测结果，图(b)、(d)、(f)为迭代130 000 次引入遮挡关系推理模块的Faster R-CNN 模型检测结果，其中虚线框为模型漏检金具目标。可以看出，在原始Faster R-CNN模型检测结果中，图(a)中均压环下方的提包式悬垂线夹由于被遮挡未被原始模型检测，与联板相连的线夹由于拍摄角度被模型漏检，图(c)漏检了与均压环相连的联板，图(e)漏检了与调整板连接的U 型挂环，引入遮挡关系推理模块后，相关金具的检测精度有所提升，一定程度上改善了原始模型的漏检、误检和低检测精度等问题。

图7 Faster R-CNN 和本文方法金具检测结果Fig.7 Test results of the Faster R-CNN and the proposed method

4 结束语

为了满足输电线路智能化巡检高精度的要求，针对输电线路图像金具间存在不同程度遮挡导致金具检测出现漏检和误检的问题，本文提出了遮挡关系推理模块和Faster R-CNN 模型相结合的金具检测方法。在遮挡关系推理模块建模阶段，基于矩形框相交区域的数学描述方法学习金具标注框与其他金具标注框的相交区域信息，即学习与其他金具的遮挡关系信息。实验结果表明，结合金具遮挡关系推理的Faster R-CNN 检测mAP 值较原始模型有2.7%的提升，其中U 型挂环、联板和调整板等遮挡较为严重且尺度较小的金具提升尤为明显，这在一定程度上证实了学习金具间的遮挡关系信息，可以有效提升模型的检测性能，同时为后续的金具缺陷检测和金具上的螺栓检测奠定了良好的基础。