基于深度学习和视觉语义关系的防振锤滑移目标检测

安金鹏，王晓春

（新疆信息产业有限责任公司，乌鲁木齐 830011）

0 引 言

长期稳定供电能够保障国家经济的发展以及居民的稳定生活，因此输电线路的安全防护至关重要。国内外常见的电力导线断股原因，主要是微风振动导致的线路疲劳，最终形成断股。而防振锤的安放位置在保护电力导线中起着关键作用，因此对防振锤是否存在滑移异常检测就显得尤为重要。传统人工筛检方式，对于防振锤滑移目标的检测成本高、效率低，并对大量检测数据不能做出及时的处理。针对于此，国内外一些学者开始着手研究相关的机器视觉识别方法。判断防振锤是否滑移，首先需要能够识别出防振锤部件。关于防振锤部件的识别在国内外已有大量的研究资料。如：文献［1］中提出对图像的LBP特征、Haar特征及HOG特征进行组合，来识别防振锤所在位置。经验证，精确度能够满足检测要求。文献［2］提出利用改进的Canny算法，对采集到的防振锤螺栓图像进行边缘提取后，利用改进的Hough变换，对防振锤紧固螺栓的框架和中心进行精确定位，从而完成防振锤部件的位置判断，实验结果表明，此方法非常可靠有效。文献［3］中提出了一种基于深度学习的多特征融合检测方法，该方法首先利用卷积神经网络对防振锤进行训练，随后使用多个特征融合后的特征图像识别防振锤。经实验证明，此方法不仅能够提高防振锤检测精度，同时还提升了检测速率。

综上所述，虽然大量资料表明对于防振锤等相关部件的检测取得了突破性的进展，但对于防振锤滑移异常诊断还未有后续研究。

本文结合前人经验，提出一种基于深度学习和视觉语义关系的防振锤滑移异常目标检测方法。首先基于Cascade R-CNN网络训练了多级联的检测器，实现对防振锤部件及其相关联部件的检测与定位。依据空间上下文信息，判断所检测目标间的语义关系。基于输电线路相关规范，制定以下判断规则：

（1）防振锤与其它部件或两防振锤间相对距离小于规范时，判断为防振锤滑移。

（2）当图像中出现（≥2）个防振锤时，利用几何约束关系及聚类分析算法实现异常判别。

最终依据上述制定的相应视觉语义判别规则及约束算法，结合Cascade R-CNN目标检测方法，实现防振锤滑移异常判别。

1 防振锤滑移目标检测算法

1.1 基于Cascade R-CNN的相关部件目标识别与定位

1.1.1 Cascade R-CNN简介

CascadeR-CNN是目前两阶段目标检测算法中表现较为优异的网络，算法中提出了一种多阶段目标检测体系结构，即级联R-CNN。级联网络由一系列经过提高阈值训练的检测器组成，检测器是按顺序训练的，每个阶段负责预测特定类别下的置信度分数给定的前景／背景阈值。由于在目标检测时需要为每个目标实例分配一个类别标签（如防振锤、线夹等），因此使用检测器的输出作为下一个检测器的训练集，这种方式能够逐步提高假设质量，保证了所有检测器的正训练集大小相等，并使过度拟合达到最小化。

1.1.2 多尺度骨干网络Res2Net

卷积网络中的骨干网络主要就是用于提取图像不同通道中不同颜色的语义特征。例如，ResNet-50、ResNet-101、ResNeXt-101。目前常用的骨干网络特征提取大多采用分层方式表示多尺度特征，而Res2Net则在更细粒度的级别上提高了多尺度表示能力。区别于利用不同分辨率的特征来提高多尺度的能力，Res2Net在更细粒度的级别上提供了多尺度表示能力。为了实现这个目标，Res2Net用一组较小的滤波器组替换了个通道的3×3滤波器，每个滤波器组都有个通道。

基本卷积模块与Res2Net模块之间的差异如图1所示。图1中，“*”代表卷积操作。经过1*1卷积后，将特征图平均分成个用x表示的特征图子集。与输入特征图相比，每个特征子集x具有相同的空间大小，但通道数为1。除外，每个x都对应一个的3×3卷积。此时，y为特征子集x与K（）的输出相加，并与输入K（）作用后的卷积结果。为了在增加的同时减少参数，网络中省略了的3×3卷积。因此，y可以表示为：

图1 基本卷积模块与Res2Net模块之间对比Fig.1 Comparison between the basic convolutional module and the Res2Net module

其中，∈｛1，2，，｝，K（）表示33卷积结果。

这些较小的过滤器组以类似分层残差的样式连接，用来增加输出特征可以表示的尺度数量。具体来说，将输入特征图分为几组，过滤器首先从一组输入特征图中提取特征，然后将前一组的输出特征与另一组的输入特征图一起发送到下一组过滤器。重复上述过程，直到处理了所有输入特征图后为止。最后将来自所有组的特征图融合，并发送到另一组1×1过滤器，以完全融合信息。所输入的信息会经过不同的特征提取通道，每当其通过3×3过滤器时，等效感受野就会增加。这种先拆分、后融合的策略能够使卷积更高效地处理特征，使网络的特征提取能力更强大。

1.1.3 整体网络结构

目标检测架构如图2所示。首先，将来自无人机巡检时拍照的输电线路检测图片输入到Res2Net网络进行目标特征提取；此外，在网络NECK结构中还引入了FPN结构，在基本不增加原有模型计算量的情况下，大幅度提升了较小缺陷目标检测的性能，FPN结构通过自上而下的路径和横向连接，将低分辨率语义的强特征与高分辨率语义的弱特征相结合，构建了具有更多层的特征金字塔信息，能够获取所检测目标准确定位的低级信息和高级信息，使得特征更具有鲁棒性，可有效提高较小目标的检测精度，所构建的目标检测网络能够极大地提升防振锤相关目标检测精度，确保后续防振锤滑移目标判断的正确性。

图2 目标检测网络结构图Fig.2 Target detection network structure diagram

1.2 防振锤与相关部件视觉关系

视觉关系是图像中目标间的相互作用，存在于由多个物体组成的图片中，而每个目标间的关系在语义上是相互关联的。当分析一幅图片时，视觉关系往往会作为已知的知识或经验参与到分析过程中，帮助人们辨别事物。针对本文提出的问题，简单来说，当需要判断防振锤目标是否滑移时，只需要运用相关目标之间的关系，将目标所处的环境与姿态描述出来，说明物体之间语义关系，并将其转化为特征信息输入至神经网络中即可。

图3展示了防振锤可能出现滑移的多种姿态与位置变化情况。分析可知，图3（a）中存在多线电缆时，会出现防振锤并排现象；图3（b）中，防振锤与绝缘子相对距离超过标准安装距离（或接触），可判断为防振锤滑移；图3（c）中，线夹两侧防振锤相对距离超过标准安装距离（或接触），可判断为防振锤滑移；图3（d）中，防振锤与连接金具相对距离超过标准安装距离（或接触），可判断为防振锤滑移。

图3 防振锤位置与姿态Fig.3 The position and attitude of the vibration damper

其中，（，）为防振锤的图像坐标；（，）为防振锤相邻部件的图像坐标；（）为图像像素距离与空间距离变换的求解公式。

结合模型预测结果，本文利用位置关系描述防振锤与相关目标（绝缘子、连接金具、线夹）的空间关系，距离关系可直接判断防振锤是否出现滑移异常。

2 实验及分析

2.1 防振锤异常及相关部件的常规目标检测方法

实验训练和评估模型所使用的硬件环境为Tesla V100-DGX Work Station，其中搭载了4块NVIDIA Tesla V100 Tensor Core GPU。考虑到可编程性和灵活性，选择Pytorch作为深度学习框架，并使用经过ImageNet-1000预训练的模型，在输电线路数据集上做迁移学习，随机初始化其它层参数。使用Cascade-RCNN级联网络，训练防振锤、线夹、连接金具、绝缘子四类目标。训练过程中，判断正负样本的阈值分别设为0.5、0.6、0.7，输入图像训练尺寸为（（1 200，600），（2 400，1 200）），学习率初始化为0.01。

本文所使用训练集共有22 873张图片，经过150 000轮迭代，选取最优模型在测试集上进行测试。测试分为2部分：

（1）使用7 600张测试集数据对绝缘子、线夹等相关部件进行测试。

（2）收集2 831张含有防振锤滑移异常与无异常的数据，验证常规方式下Cascade-RCNN级联网络对防振锤滑移异常的检测效果。

采用目标识别应用中常用的评价标准：精准率（）和召 回 率（），评估 算法 的有 效性。推导得到的公式分别如下：

其中，表示防振锤滑移目标被算法正确检测的数量，表示被算法错误分类为防振锤滑移目标的数量；表示算法遗漏的防振锤滑移目标。

测试结果详见表1。针对绝缘子、线夹等部件目标识别的测试结果显示，Cascade-RCNN级联网络检测效果显著，能够实现0.9以上的平均检测精度，得到的召回率均在0.95以上，说明部件目标漏检情况极少发生。然而，在对2 831张混合有防振锤滑移异常与无异常的数据进行验证时，常规方式下Cascade-RCNN级联网络对防振锤滑移异常的检测效果只能达到0.584的平均检测精度，说明单纯利用Cascade-RCNN级联网络进行目标识别，网络对目标的形状、轮廓、纹理、颜色等特征提取效果显著，而对目标相对位置变化并不敏感，无法满足输电线路防振锤滑移异常的检测需求。但Cascade-RCNN级联网络对相关部件识别效果甚佳，为后期的防振锤滑移识别工作提供了良好的基础。

表1 常规目标检测精度结果Tab.1 Model test results on common components

2.2 基于视觉语义关系的防振锤滑移识别

基于目标在语义上的相互关联性，利用本文提出的目标检测方法，通过最优模型判断目标，并结合语义位置关系、距离关系，判断在图片档距范围内是否出现防振锤滑移异常。首先将部件识别结果及防振锤相关部件空间位置关系映射到向量空间，并通过距离约束，判定防振锤滑移异常。判断过程如下：

（1）判断存在防振锤目标的个数。

（2）判断是否出现防振锤相关联部件目标（如绝缘子、线夹、连接金具等）。

（3）当图像中出现（≥2）个防振锤时，需利用几何约束关系及聚类分析算法实现异常判别。将图片中展示的二维空间，通过Cayley-Menger行列式提供的距离几何约束，结合加权质心计算约束距离，进行判断。

（4）若同时出现防振锤相关联部件目标，还需计算出相邻部件与防振锤之间的轴间距，并转化为世界坐标，通过距离约束判定防振锤滑移异常。

基于此，又对研发出的算法流程做具体描述如下：

同样使用2 831张混合有防振锤滑移异常与无异常的数据，对上述算法步骤进行验证。在实验中，拟将检测所提算法的有效性，并对检测结果进行了可视化分析，测试结果如图4所示。由图4可见，虽然防振锤滑移目标的形态位置变化较大、目标大小不一，增加了检测复杂度，但加入视觉语义关系的检测算法，检测到防振锤滑移异常正确率却非常高。算法精度测试结果见表2。表2中数据显示，基于视觉语义关系的目标检测算法在防振锤滑移异常中的表现很大程度上优于Cascade R-CNN级联网络。与其相比，基于视觉语义关系的防振锤滑移异常目标检测，在召回率方面提升了38.4%，准确度方面提升了30.3%。基于视觉语义关系目标检测方法的结果如图4所示。分析可知，图4（a）与图4（c）中，为并排线路中防振锤出现滑移现象；图4（b）中显示防振锤滑移状况非常严重，而且出现了碰撞现象；图4（d）中，防振锤距离线夹部件小于标准安装距离，也被判别为防振锤滑移。综合上述可视化结果，本文所提算法在不同场景下对防振锤滑移异常检测都得到不错的效果。该模型能够应对多种环境变化，满足无人机巡检的实际需求，具有很好的鲁棒性和泛化能力。

图4 防振锤滑移目标检测结果Fig.4 Detection results of vibration damper sliding target

表2 算法精度测试结果Tab.2 Results of different algorithms

3 结束语

针对无人机输电线防振锤滑移异常对线路带来的危害，本文结合深度学习和视觉关系目标检测，提出了一种基于Cascade R-CNN算法联合视觉语义关系进行防振锤滑移异常检测算法，能够对输电线路防振锤滑移异常进行自动识别定位。经巡检图像实践测试，所提方法实现了防振锤滑移异常检测且效果显著，由此得到以下结论：

（1）本文提出的输电线路中防振锤滑移目标的检测方法，依据空间上下文信息，判断所检测目标间的视觉语义关系，并联合Cascade R-CNN目标检测算法及约束算法，实现了防振锤滑移异常判别。最终实验结果表明，本文所提的算法与常规目标检测算法相比在召回率方面提升了38.4%，准确度提升了30.3%，平均准确度为78.9%，能够有效地检测出3类防振锤滑移异常目标。

（2）对实验结果进行了不同场景的测试与分析，所训练模型能够应对多种环境变化，满足无人机巡检的实际需求，具有很好的鲁棒性和泛化能力。

（3）本文算法能够及时监测输电线路中防振锤滑移所引起的线路隐患，完成输电线缺陷自主巡检任务，有效地避免了输电线中防振锤滑移造成的线路问题，具有较高的理论价值和实际应用前景。