基于改进Faster RCNN的变电站红外图像多目标识别*

王 妤，陈秀新，袁和金*

(1.保定职业技术学院计算机信息工程系，河北 保定071051；2.华北电力大学控制与计算机工程学院，河北 保定071003)

高压电气设备在长期运行中由于表面老化、化学腐蚀、自然灾害以及人为损伤等多种因素会出现各种各样故障。这些设备在故障前期通常伴随有局部放电、整体或局部异常发热等现象。红外检测可以及时发现电气设备故障，通常利用各种红外检测设备获取到高压电气设备的温度值和温度空间分布特征，从而分析高压电气设备中可能存在的隐患以到达故障检测的目的[1]。

目前国家电网积极探索智能化变电站的建设，许多变电站已经安装红外检测系统，通过固定红外摄像头和人工手持红外热像仪等巡检方式将采集到的红外图像通过网络通信技术传输到监控系统中，由监控中心的技术人员进行故障排查。现有的红外检测系统在进行故障诊断时对技术人员的专业知识和经验要求很高，不具有智能分析与决策的能力。而且故障数据海量、高频、分散，依靠人工排查需要耗费大量人力物力且准确性难以保障。通过智能算法对故障数据进行智能分析和处理，将它们转化为有价值的知识，已经成为坚强智能电网建设过程中需要迫切解决的关键性问题[2]。

深度学习在智能电网中应用较为广泛。2017年，甘伟焜[3]等利用卷积神经网络识别变压器红外图像，减少了传统机器学习算法中人为计算特征的步骤，但是该方法只针对变压器进行研究，识别种类比较单一，无法解决变电站多设备检测问题；2017年，王万国[4]等利用RCNN识别图像中的电气设备，提高了设备部位的检测效率和识别准确率；2018年，李军锋[5]提出结合双通道卷积神经网络和随机森林的电力设备智能识别算法，很好地抑制了背景区域的显著性。但是该方法采用图像分割算法，区域分割程度好坏直接影响最终的识别准确率。

针对以上方法存在的不足，以及考虑到多种电气设备、不同算法适用性，局限性以及优缺点等问题，本文提出基于改进Faster RCNN的变电站红外图像多目标识别模型，可以准确识别定位红外图像中的多种电气设备及部位，为故障诊断奠定基础。同时本文建立了多种电气设备标记的变电站设备红外数据集以更好地适应电气设备和红外图像的特征，提高变电站红外图像多目标识别的实用性。

1 基于Faster RCNN的红外图像多目标识别

本文基于Faster RCNN[6]对变电站红外图像中多种电气设备进行目标识别，其核心思想是通过区域建议策略，从待识别的变电站红外图像中生成多种电气设备区域建议，并通过边框修正进行区域建议调整，进而精准定位识别多种电气设备。基于Faster RCNN模型的红外图像多目标识别模型网络结构如图1所示。

图1 Faster RCNN网络结构图

对于任意一张/一帧红外图像，首先通过CNN提取红外图像中多种电气设备特征得到特征图；RPN网络在特征图上生成区域建议并判断区域建议是否为目标，同时对区域建议做边框回归；Roi Pooling整合特征图和区域建议生成区域建议特征图，并将区域建议映射到维度固定的特征向量；最后利用softmax分类器对区域建议进行分类，并再次通过边框回归操作对区域建议进一步修正[7]。

1.1 基于VGG16的特征提取

VGGNet[8]由牛津大学的视觉几何组和Google DeepMind公司提出，在提取图像特征领域表现良好。经过多年研究和改进，VGGNet已经发展出多种网络结构，部分VGGNet网络结构如表1所示。

表1 VGGNet

几种VGGNet网络模型中，对于提取带检测框的特征提取网络模型，VGG16网络结构在目标检测、语义分割、模式识别等领域表现的非常出色。VGG16分为16层，包括13个卷积层和3个全连接层。卷积层设置卷积核大小为3×3，池化层采用2×2最大值池化，输出层采用Softmax逻辑回归[9]进行分类。

1.2 RPN区域建议生成

Faster RCNN引入RPN网络代替选择性搜索，同时引入锚点(anchor)应对目标形状变化问题[10]。RPN通过锚点直接在特征图上生成区域建议，引入了检测中常用到的多尺度方法[11－12]。锚点是位置和大小固定的框，可以理解成事先设置好的固定的区域建议[13]。根据红外图像设置会为特征图中每个像素生成不同尺寸和比例(1∶1，1∶2，2∶1三种)的9个锚点框，如图2所示。初始得到的锚点框很不准确，需要通过边框回归操作对锚点进行调整才能更好地拟合预测目标[14]。

图2 锚点

区域建议一般用四维向量(x，y，w，h)表示，分别表示窗口的中心点坐标和宽高[15]。如图3所示，框A代表RPN网络生成的原始的目标定位，框G代表真正的目标定位。边框回归通过一定操作，使原始目标A经过映射得到一个跟真实目标G更接近的回归窗口G′[16]。

图3 边框回归

比较简单的思路是平移和缩放操作[17]，计算公式分别如式(1)和式(2)所示:

当输入的原始目标A与真实目标G相差较小时，d x(A)、d y(A)、d w(A)、d h(A)四种变换可视为线性变换[18]，可以通过线性回归建模对目标区域进行微调。通过锚点和边框回归，RPN网络可以接受所有区域建议并为目标输出一套好的建议。RPN网络包含两个输出:一个是锚点作为目标的概率；第二个是边框回归，对锚点进行调整。

1.3 分类和边框回归

ROI Pooling整合RPN生成的区域建议和VGG16得到的特征图生成区域建议特征图并将不同大小的输入转换为固定维度的输出，得到固定大小的输出向量[19]。然后对图像中所有区域建议进行识别，输出区域建议所属的类，并再次进行边框回归进一步修正区域建议在图像中精确位置[20]，如图4所示。

图4 分类和边框回归

2 改进Faster RCNN参数学习与结构优化

为了使模型更好适应红外图像中电气设备的图像特点，本文建立了多标记的红外图像数据集，采用基于迁移学习的特征提取改善参数学习效果；针对电气设备部位识别准确率偏低的情况，本文在原有算法的基础上添加了类别修正功能，提高了电气设备部位的识别准确率，从而提高电气设备红外热成像多目标识别的工程实用性。

2.1 基于迁移学习的特征提取

传统机器学习通常只能解决单一领域内的问题，基本流程是首先对大量的样本数据进行训练得到学习好的网络模型，然后使用模型对测试样本进行分类。传统机器学习框架通常要满足两个条件:训练样本数量足够多、测试样本和训练样本具有相同的分布。迁移学习的出现和不断发展改变了机器学习模式，由从零开始学习转变成为积累学习。迁移学习具有良好的灵活性、可扩展性和较高的数据忍耐力。本文放弃随机初始化参数方法，改用迁移学习方法将ImageNet数据集上训练好的VGG16预训练模型的网络结构和权重参数作为电气设备红外热成像识别模型的初始状态，然后在红外数据集上微调整个网络权值，对模型中的所有参数进行更新以适应新的分类任务，更好地提取红外图像特征，如图5所示。

图5 迁移学习

2.2 Faster RCNN优化

在使用Faster RCNN红外识别模型对红外图像中电气设备进行多目标识别过程中，设备部位由于外观相似导致识别错误率较高，为后续电气设备故障诊断带来了极大困扰。针对这一问题，本文借鉴非极大值抑制思想对Faster RCNN进行了优化，在原有算法基础上添加了类别修正功能，使模型可以对识别错误的设备部位类型进行修正，从而提高红外图像中电气设备的识别准确率。

2.2.1 非极大值抑制

非极大值抑制(NMS)本质是搜索局部最大值，抑制非极大值元素[21]。局部代表一个邻域，包含维数和大小两个可变参数。

目标检测过程中一般会采取窗口滑动方式在红外图像上生成许多区域建议，然后对区域建议进行特征提取，送入分类器识别区域建议类别，并按照区域建议得分进行排序。选取得分最高的区域建议，然后计算其他区域建议与当前区域建议的重叠度(IoU)。IoU全称为交并比(Intersection over Union)，计算公式如式(3)所示。

IoU的阈值是一个可优化的参数，一般范围为0~0.5，可以使用交叉验证来选择最优参数。如果重叠度大于设定阈值就删除，因为同一电气设备可能会有多个区域建议得分较高，但只需保留一个即可。举例说明处理流程如下:①假如红外图像生成A、B、C、D、E、F六个区域建议，选取最高得分区域建议F，分别判断A~E与F的重叠度IoU是否大于设定好的阈值。②假设A与F的重叠度超过设定阈值，则删掉A，并标记F为第一个保留的区域建议。③从剩余区域建议B、C、D、E中选择得分最高的E，然后分别判断E与B、C、D的重叠度，假设B、C与E的重叠度大于设定阈值，则删掉B和C，并标记E为保留下的第二个区域建议。④重复上述过程，找到所有被保留下来的区域建议。

2.2.2 类别修正

本文借鉴NMS思想对Faster RCNN进行了改进，在原有算法基础上添加了类别修正功能，使模型可以对识别错误的设备部位类型进行修正，从而提高红外图像中电气设备的识别准确率。NMS思想是通过计算重叠率IoU，将超过设定好的IoU阈值的区域建议删除，从而保留每一类识别效果最好的区域建议。而类别修正则是将所有区域建议分为设备和部位两类，通过比较设备和部位重叠面积占部位面积的比例判断部位和设备的包含关系，从而达到类别修正的目的。类别修正步骤如下:

①将红外图像识别出的所有区域建议按照命名规则分为设备整体A和设备部位B两类(设备整体命名规则为设备简称，例如避雷器:“BLQ”、断路器“DLQ”；设备部位命名规则为“设备_部位”，例如避雷器接头“BLQ_JT”、断路器瓷瓶套管“DLQ_CT”)。分类完成后分别将A、B中所有区域建议按照面积从小到大进行排序。

②从A中选取面积最小的区域建议A i，依次遍历B中区域建议(B j)并与Ai进行计算重叠面积比例(Area overlap ratio)，计算公式如式(4)所示:

然后将AoR与设定好的阈值0.8进行比较。如果AoR>＝0.8，说明区域建议B j绝大部分区域包含在A i中，可以认为B j属于设备整体A i。如果B j名称前缀(即“_”之前设备名称)与Ai名称相同，说明部位识别正确不需要进行修正；如果如果B j名称前缀与Ai名称不同，说明部位识别错误需要进行修正，修正方法为修改B j名称前缀跟Ai相同即可。并添加数组索引确保后续遍历不再访问，减少计算量和缩短处理时间。

如果AoR<0.8，则认为B j不属于Ai，不做处理继续下一个区域建议B j＋1的计算。

③依次遍历A中区域建议并重复②过程直到所有区域建议修改完成。

3 实验结果与分析

3.1 红外数据集

目前，电气设备故障诊断中常见算法是对某一类电气设备进行研究，尚未有公开的数据集。尤其是对于本文所研究的重点，对于包含变压器、断路器、电流互感器(CT)、电压互感器(PT)、电抗器等多类电气设备的红外图像更是没有公开可用的数据集。为了使模型更好适应红外图像中电气设备的图像特点，保证模型特征提取的针对性和有效性，本文使用LabelImg工具对搜集到的大量红外图片进行标注整理。根据DLT－664带电设备红外诊断应用规范，不同电气设备甚至同一设备的不同部位诊断规则不尽相同，因此本文按照各类设备及部位对搜集到的红外图像进行分类、标注、整理，将27 586张红外图像制作成VOC2007格式红外数据集，部分设备及部位标注名称如表2所示。

表2 标注规则

3.2 特征提取网络对比

本文使用随机初始化参数的VGG16模型与在ImageNet数据集上训练好的VGG16预训练模型在红外数据集上进行相同的训练作为对比，实验结果表明使用VGG16预训练模型在红外数据集上进行再训练，分类性能优于随机初始化参数的VGG16模型，如图6所示。

图6 特征提取网络准确率对比

实验对VGG16、ResNet50和ResNet101三种特征提取网络的性能进行对比，表3是三种特征提取网络性能对比实验结果。

表3 特征提取网络性能对比

实验结果表明，使用VGG16、ResNet50和Res-Net101三种神经网络模型对电气设备红外图像进行特征提取时都可以达到较好的分类效果。VGG16通过多次重复使用同一大小的卷积核来提取更复杂和更具有表达性的特征，而深度残差网络ResNet50和ResNet101则是设计一种残差模块训练更深的网络。通过对三种神经网络模型准确率和运行时间的对比可知，ResNet101方法相比于VGG16方法准确率增长了0.65%，但是运行时间确是原来的1.7倍，因为ResNet101深度更深，在进行网络训练时需要进行更多的计算，因此需要更高的计算效率和更大的存储空间。ResNet50深度同样比VGG16更深，理论上准确率应该比VGG16高，但是实验结果表明ResNet50方法在红外数据集上识别结果比VGG16方法低1.2%。

3.3 识别准确率对比

实验选取了27 586张质量较好的红外图像制作成红外数据集并按照80%和20%的比例划分为训练集和测试集。采用训练集中的22 069张红外图像对Faster RCNN算法进行1 000次迭代，学习率为0.001，每隔100次迭代保存一次网络模型。算法训练过程中，通过阈值为0.5的非极大抑制操作对每张红外图像中生成的多个区域建议进行处理，最后筛选出每类识别效果最好的候选框。并用测试集中的5 517张红外图像对Faster RCNN的应用效果进行了验证，识别效果如图7所示。

如图7所示，Faster RCNN可以准确识别红外图像中的多种电气设备以及设备部位，如CT、PT、避雷器、断路器等，为后续通过温度判断设备故障类型奠定基础。以上为识别正确的效果图，但是部分设备部位因外观相似会出现识别错误的情况，如图8所示。其中，图8(a)、8(c)均存在设备部位识别错误问题，图8(a)中识别出设备为隔离开关(GLKG)，接头部分识别结果应为隔离开关接头(GLKG_JT)，但实际识别结果却是断路器接头(DLQ_JT)。同样，图8(c)中识别出设备为避雷器(BLQ)，瓷瓶套管部分识别结果应为避雷器瓷瓶(BLQ_CT)，但实际识别结果却是PT瓷瓶(PT_CT)。因为不同设备甚至同一设备的不同部位诊断规则不尽相同，识别错误会影响后续通过温度进行故障诊断时诊断规则的选择，从而导致设备故障诊断结果出错。

图7 识别效果图

针对以上存在的部位识别错误问题，本文使用改进Faster RCNN中对识别错误部位进行类别修正，以图8(a)为例:

AoR等于DLQ_JT与GLKG区域重叠部分面积与DLQ_JT面积的比值(0.86)，大于设置好的阈值0.8，说明部位DLQ_JT属于设备GLKG，从而修改部位类别，将DLQ_JT修改为GLKG_JT，修正结果如图8(b)所示。通过以上方法可将识别错误部位进行修正，从而提高识别准确率，为后续故障诊断奠定基础。

图8 改进前后识别效果图

对测试集中所有红外图像的识别结果进行统计，设备识别准确率、改进前后部位识别准确率以及总体的识别准确率如图9所示。从图9(a)和图9(b)两个图中可以看出电气设备识别准确率较高，但部位识别准确率却比较低，尤其是瓷套(瓷瓶套管的统称)和接头仅能达到60%~70%左右。因为电气设备外观区别较大，进行识别时比较容易区分，然而瓷套和接头等设备部位因为外观形态相似，在红外图像中更是难以区分，导致设备部位识别错误率较高。

图9 识别准确率对比

改进Faster RCNN通过类别修正，在不影响电气设备识别准确率的基础上进一步提高了部位的识别准确率。多种部位的识别准确率较改进前有了很大的提高，尤其是接头、瓷瓶套管等部位，最高的PT接头识别准确率增加了23.8%。从而使电气设备的总体识别准确率从原来的83.1%提高到了92.8%，比改进前提高了9.7%。

3.4 目标检测算法对比

本文对YOLO、SSD、RCNN、Fast RCNN、Faster RCNN以及本文算法六种目标检测算法在红外数据集上的识别结果进行了对比，实验结果如表4所示。

表4 目标检测算法对比

YOLO和SSD是one-stage算法，可以直接预测不同目标的类别与位置，速度较快但相对识别准确率较低，YOLO和SSD在红外数据集上的识别准确率分别为72.4%和79.3%。RCNN、Fast RCNN和Faster RCNN是two-stage算法，需要先生成区域建议，然后再对区域建议做分类与回归。经过不断地优化与改进，RCNN系列的目标检测算法速度越来越快，精度也越来越高，如表4所示，Faster RCNN识别准确率达到83.1%，比SSD高3.8%。而本文算法在Faster RCNN基础上进行了优化，通过类别修正进一步提高了电气设备的识别准确率。

4 结论

本文使用Faster RCNN模型准确识别和定位红外图像中的多种电气设备及部位，并针对模型存在的问题进行了优化，提高了电气设备的识别准确率，为后续电气设备故障诊断奠定基础。主要工作如下:①构建了基于Faster RCNN的电气设备红外热成像多目标识别模型。采用VGG16提取红外图像中电气设备特征，提高了计算效率。②本文采用基于迁移学习的特征提取，克服了传统特征在复杂数据集上表征能力不强的问题，既能提取良好特征，又减少了训练时间。③针对Faster RCNN红外热成像多目标识别模型对电气设备部位识别准确率低的问题，本文借鉴非极大值抑制思想对Faster RCNN进行了改进，进一步提高了红外图像中电气设备的识别准确率。

本文依然存在不足:在故障诊断方面研究不足；检测结果为矩形框，仍然存在背景影响。下一步工作是加强Faster RCNN在故障诊断方面的研究以及研究检测设备轮廓抑制背景干扰的可行性。