基于注意力机制的红外图像和自然图像电力设备异常检测方法研究

2020-04-13严利雄刘晓华司马朝进刘志鹏

通信电源技术 2020年4期

严利雄，刘晓华，李茗，司马朝进，刘志鹏

（国网湖北省电力有限公司检修公司，湖北武汉 430000）

1 介绍

随着社会的迅速发展，人们对电力的需求越来越大，电子设备的负荷也在不断增大。要保障人们的电力需求，必须要对高负荷的电力设备进行及时的异常检测以及维护[1-2]。否则，电力设备在长期处于户外的高温、高压且高负载的工作情况，很容易导致电力设备的损坏、劣化，甚至会发生重大事故。在电力系统刚建立时，由于科学技术的不发达，人们只能在电力设备发生故障之后才对其进行维修。这种情况下会对人们的生成产生不良影响并且造成巨大的经济损失。之后相关部门制定了一些政策以定期对电力设备进行检测，期望在电力设备发生故障前检查出来，以降低经济损失。但是，这些早期的检测方法必须要在电力设备停止工作的情况下才能进行[3]，一方面这样做法不利于人们的日常使用，另一方面由于设备停止工作前后的异常状态可能会不一致，影响检测结果。随着科技的发展，电力设备的发展趋势变为小型化、无油化、绝缘化、封闭化，早期的检测技术使用起来就更加的不方便。而自20 世纪80 年代，红外成像技术活跃在人们生活中[4-5]。红外热成像技术就是能够将发热信息瞬间可视化，进而加以验证的主要技术，且具有快速、非接触性和准确等优点，尤其是其能在电力设备工作的情况下对电力设备进行实时检测。因此，使用红外热成像技术对电力设备进行异常检测受到了广泛关注。

但使用红外热成像技术对设备进行异常检测也是需要人工对红外热图像进行观察、判断，进而得到诊断结果。这样做耗时耗力，因此人们开始寻求如何不在人为干预下对红外图像下的电力设备进行异常检测。近十年来，随着人工智能在各个领域的兴起，人们开始了“人工智能+电力设备异常检测”的步伐。其中由于深度学习方法在计算机视觉等领域的显著成效，被考虑用于红外图像下电力设备异常检测。但红外图像多，信息较为分散，采用基于深度学习的方法，无法精确的从这些红外输入中提取到关键的重要特征，因此异常检测的正确率很低，无法实现高精度的电力设备异常自动检测。

针对这些问题，本文引入了自然图像下的电力设备异常检测，通过引入更好的判断的信息进行电力异常检测。具体地，本文提出了一种基于注意力机制的三分支电力设备异常模型。分别对自然图像和红外图像采用结构相似的独立分支提取其深层特征，在提取特征的每个阶段，都通过注意力单元1 来对该阶段两个分支的特征进行进一步筛选以及融合，接着通过结合前一个阶段筛选的特征得到下一阶段的特征。然后将得到的特征通过注意力单元2 分别融合到两个分支中。最后通过全连接层来得到最终的预测结果。此外，为了保证自然图像分支和红外图像分支能够挖掘到相同的有用的特征，笔者在部分全连接层共享权重，并加入了一致性损失，来约束两种模态下挖掘的深度特征，弥补两种模态之间的差距。

2 相关工作

红外热成像技术最早应用于军事领域，20 世纪80年代后，红外热成像检测技术开始在其他领域如电力、化工等领域普及[4]。目前，各国电力相关部门基本上配置了红外热成像仪，相关电力部分也制定了一定的红外电力设备异常检测指导。我国1998 年制定了红外电力系统导则。通过对一些典型情况下进行了相关实验与测试，国家经贸委于1999 年颁布了DL/T6642—1999《带电设备红外诊断技术应用导则》。该导则包含多幅典型电力故障下的红外热图，为红外电力设备异常检测奠定了一定的基础。

尽管红外图像对电力设备异常检测有着相当大的作用，但受限于当前红外技术的发展水平以及电力设备的复杂性和多样性，对部分电力设备的异常故障仍无法做出准确检测。此外，红外设备异常检测多人为进行，无法在脱离人的情况进行自动化检测[3]。近十年，随着人工智能的发展以及深度学习在计算机视觉领域的兴起，人们开始关注于使用深度学习的方法对红外图像下的电力设备进行异常检测。基于深度学习的红外电力设备异常检测虽然能够实现自动化的检测，但准确度却达不到应用的需求，主要原因在于红外图像多，信息较为分散，不同异常故障下的电力设备异常在红外图像上的表现很相似。这样使得深度神经网络从红外图像中提取的深度特征包括大量噪声噪声，从而干扰最终的异常检测。因此，人们考虑结合自然图像进行电力设备异常检测。

结合自然图像和红外图像共同处理一个任务也被称为多源信息处理，在行人重识别、文本到图像的检索等领域都有广泛应用。其关键在于如何通过两者提取到关键的有用信息而把噪声信息滤除噪声信息，其中注意力机制被人们广泛使用，其能够引导卷积神经网络增强所需的关键特征信息而抑制噪声特征信息。

3 方法

本文通过基于注意力机制的三分支网络的解决电力设备异常检测问题。其整体框架如图1 所示，主要包含三个分支：自然图像分支，注意力分支和红外图像分支。在部分全连接层（FC2，FC3），自然图像分支和红外图像分支使用了权重共享，并且以一致性损失来约束两者提取的深度特征。

图1 总体框架结构示意图

3.1 自然图像分支和红外图像分支

自然图像分支是对自然图像进行电力设备异常检测，红外图分支是对红外图进行电力设备异常检测。骨干网络使用由ImageNet 预训练的ResNet[11]初始化，它包含5 个block（Res1-Res5）和三个全连接层（FC1-FC3）。将自然图像分支分支中FC2输出表示为，红外图像分支中FC2 的输出表示为。为了学习特征表示，引入了两种损失：异常检测损失和一致性损失。异常检测损失旨在通过使用特定模态的信息来学习辨别特征表示，这可以区分每种模态中的不同电力异常。在框架中自然图像分支和红外图像分支的模型参数分别表示为θ1和θ2。FC3 的长度由电力异常状态数量K决定，这与计算机视觉中多分类问题类似。类似的，采用交叉熵损失进行训练，自然图像分支异常检测损失可表示为：

其中，⊙代表卷积操作，t是目标异常状态，是预测概率，yi是真实值，且仅yt为1，其他为0。类似的，可以得到红外图像分支的是异常检测损失L2(θ2,t,x)。

一致性损失试图弥合两种模态之间的差距，这也可以增强特征学习的模态不变性。将x、z分别表示为可见图分支和红外图分支的FC2 层的输出。在计算一致性损失前先引入l2归一化，因此，一致性损失可以被表示为：

其中，N表示批量大小，dn=||xn-zn||2表示xn，zn的欧式距离，δ是预先定义的一个阈值常数，本文中所有实验都设置为0.5，yn是两个样本的标签，yn=1 表明两个分支图像中的电力设备异常属于同一种，yn=0 表明两个分支图像中电力设备异常不属于同一类。

通过考虑两个异常检测损失和一个一致性损失，两个分支的CNN 网络的整体损失函数被定义为：

其中，α是用于平衡异常检测损失和一致性损失的超参数，本文设置为0.1。通过优化总的损失函数L，可以弥合不同模态之间的差别，并获得两种异质模态的特征提取器。

由于自然图像和红外图像下的电力设备异常检测也与域适应问题密切相关，域适应问题总是采用除最后FC 层之外共享所有参数的结构。对于跨模态问题，需要弥合两种异质模态之间的差距。因此，假设在浅层中存在一些特定信息，因此浅层的参数对于两种不同的模态是特定的。然后，使用共享的完全连接的层来学习多模态可共享特征表示。即在FC2 到FC3 过程中对两个分支进行权重共享。

3.2 注意力分支

使用两个分支能在一程度上解决自然图像和红外图像下的电力设备异常检测，但两种视图下大的交叉视图变化和模态内变化问题，其仍不具有鲁棒性。关键原因在于其提取的特征包含了除所需关键特征之外的其他噪声，因此使用注意力分支来优化提取的特征，其整体结构如图1 所示。

将自然图像分支和红外图像分支每个block 的输出作为注意力分支的输入，先经过1×1 的卷积，然后经过本文提出的注意力单元1，之后再进行逐元素相加进行两个分支的融合，融合的结果作为下一阶段融合的输入。将Res5 的输出进行融合后，将融合的特征分别通过注意力单元2 和1×1 卷积对Res5 的特征进行融合指导，从而对Res5 的深度特征进行了注意力引导，强化关键的深度特征并且抑制不关键的噪声特征。注意力单元1 的结构如图2 所示。

图2 注意力单元1 结构示意图

输入的特征图先经过最大池化进行下采样，之后经过2 个ResNet[17]中的残差单元，然后输出分为两个分支，一个分支再次经过两个残差单元进行跳层连接，另一个分支依次经过最大池化，4 个残差单元和上采样，进一步对两个分支进行融合，得到的结果依次通过2 个残差单元，上采样和sigmoid 激活函数，得到最终的输出结果。注意力单元2 的结构如图3 所示。

图3 注意力单元2 结构示意图

输入为H×W×C 的特征图，分别经过四个分支，第一个分支经过跳层连接；第二个分支经过1×1 卷积得到H×W×C 的特征图，然后对特征图进行变形，得到HW×C 的特征图；第三个分支经过1×1 卷积得到H×W×C 的特征图，然后对特征图进行变形，得到C×HW 的特征图；第三个分支经过1×1 卷积得到H×W×C 的特征图，然后对特征图进行变形，得到HW×C 的特征图；第二个分支和第三个分支得到的HW×C 和C×HW 的特征图进行矩阵相乘，得到HW×HW 的特征图，然后HW×HW 的特征图经过softmax 函数后和第四个分支HW×C 的特征图进行矩阵相乘操作，得到HW×C 的特征图，然后对其进行形变，得到H×W×C 的特征图，最后再将其与第一个分支直接逐元素相加得到最终的输出。

4 实验结果

数据集：使用由摄像机采集的红外图像和自然图像下的电力设备图，两种图片是配对的，一共5 000 对图片（5 000 张红外图像，5 000 张自然图像），然后人工对每张图进行判断标注。然后随机选择4 500 对用于训练，500 对用于测试。

设置：所有的实验在深度学习框架Pytorch 上运行，GPU 为一张Titan XP，骨干网络采用ResNet-101，优化器为SGD，mini-batch size 设置为24，初始学习率为1e-6，weight decay 设置为0.000 5，momentum 设置为0.99，一共训练30 个epoch，且第20 个epoch 之后学习率衰减为原来的1/10。评价指标使用正确率，即检测正确的数量与所有检测之比。

实验结果对比：表1 为本文方法和其他发方法的对比结果，需注意的是对比方法均是使用单分支的网络，即输入仅为红外图像。从表1 中数据可以看到，本文方法的检测正确率为87.9%，远高于其他方法。尤其是使用相同的ResNet-101 作为骨干网络，本文的三分支网络正确率为87.9%，仅使用ResNet-101 的单分支红外图像检测网络正确率为82.4%，高了5.5 个点，充分表明了本文提出三分支注意力模型的有效性。

表1 与其他现有方法的比较

表2 为本文提出的方法的消去实验，其中基准表示仅使用红外图像分支，即代表表1 的ResNet-101 方法；双分支代表使用两个分支网络，包括权重共享；注意力代表加入注意力分支。从实验结果可以看出结合自然图像和红外图像进行电力设备异常检测的有效性以及加入注意力机制的有效性，其中结合自然图像和红外图像比单独的红外图像正确率提高了3.3 个点（82.4 VS 85.7），加入注意力机制提高了2.2 个点（85.7 VS 87.9）。