基于迁移学习和红外热成像的金属氧化物避雷器表面污染状态检测方法

沈顺群,宫 旻,刘 凯,万教智,李冰然,傅洪全

(1.国网湖北省电力有限公司神农架供电公司,湖北 神龙架 442400;2.国家电网江苏省电力有限公司技能培训中心,江苏 苏州 215000)

0 引言

金属氧化物避雷器(Metal Oxide Surge Arrester, MOA)用于保护电气设备免受大气和开关电涌的影响。在正常情况下,MOSAs的外壳,即MOSAs的外表面可能因盐、沙等大气污染物的沉积而受到污染。从长远来看,这些污染物可能在表面上形成导电层。因此,MOSA的表面电阻率可以降低,从而增加通过MOSA的泄漏电流[1-2]。因此,MOSA外表面某些点的电流密度增强,这可能导致电场增强,并在MOSA外壳的不同部分形成干带。MOSA外壳中的电场增强和干带形成将通过以下方式降低MOSA的内部和外部条件:1)内部金属氧化物块之间的过热和不均匀电压分布,可能导致内部应力退化;2)由于内部电离,金属氧化物块发生化学降解;3)外壳上的侵蚀,这可能导致表面开裂。

因此,表面污染的MOSA受到了高度的电应力和热应力,这可能进一步导致其过早失效[2-5]。因此,污染物的沉积会间接影响电气系统中设备的可靠性。为了避免MOSA出现上述意外故障,应定期检查其表面污染状况。目前检测方法主要是通过测量金属氧化物避雷器表面的等效盐沉积密度(Equivalent Salt Deposit Density,ESDD)直接评估表面污染的严重程度。ESDD的直接测量是一个非常复杂的过程,需要大量的时间[5-6]。此外,泄漏电流分析也是一种广泛接受的监测MOSA表面状况的方法。然而,获取泄漏电流需要与MOSA直接接触。针对这一问题,随着图像处理技术的飞速发展,本研究提出了一种基于红外热成像(Infrared Thermal, IRT)的非接触、非破坏性MOSA表面状态检测方法。红外热成像技术在电气、机械、生物医学和各种工程应用领域有着广泛的应用。与泄漏电流分析相比,红外成像技术具有快速、易实现、无创、非接触、抗干扰能力强、安全性高等优点。在红外热成像技术中,红外摄像机捕获物体的图像,并根据红外辐射将捕获的图像转换为热成像图,即红外热像或红外热像。IRT图像可以在不接触热源的情况下检测物体中的热点。根据文献[8],在高污染严重程度下,MOSA的热谱图会改变,因此,红外热成像技术可用于检测MOSA的表面污染状态。

基于此,提出了一种基于深度学习框架,利用卷积神经网络(Convolutional Neural Network, CNN)的迁移学习对不同污染严重程度的MOSA的IRT图像进行分类。深度学习的优点是它可以自动从输入图像中提取特征,从而消除了从图像中手动提取特征的要求[9-15]。在不同污染严重程度下获取的MOSA的IRT图像被馈送到不同的预训练CNN架构中,用于自动深度特征提取。提取深层特征后,进行单因素方差分析(One-Way Analysis Ofvariance, ANOVA)检验,然后进行错误发现率(False Discovery Rate FDR)校正,以找出最具辨别力的深层特征[16-21]。最后,将判别深度特征反馈给4个基准机器学习分类器,即随机森林、支持向量机、贝叶斯和K-最近邻分类器进行分类。该方法将深度学习方法在不同表面污染严重程度下对MOSA IRT图像进行分类的可行性。结果表明,ResNet50与随机森林(RF)分类器相结合,平均识别率较高。

1 实验过程

本部分主要介绍本研究的实验工作、IRT图像数据和所提方法的数据预处理技术[22-23]。本研究从当地电力公司采集了3个11 kV聚合物封装MOSA样品,用于实验目的。

1.1 MOSA样品

本研究采用固体层法(Solid Layer Method,SLM)对MOSA样品进行人工污染,以模拟不同严重程度的MOSA污染。在该方法中,使用水、盐(NaCl)和高岭土(AlSiO2O5(OH)4)制备浆料,然后将浆料涂覆在样品上并使其干燥24 h。氯化钠是泥浆中的导电材料,污染的严重程度取决于氯化钠的含量[24-25]。MOSA样品的人工污染是根据IEC 60507进行的。图1为实验目的制备的污染MOSA样品图片。

图1 人工污染MOSA样品图Fig.1 Photograph of artificially polluted MOSA sample

1.2 红外热像的获取

图2为获取MOSAIRT图像的实验装置图。在该装置中,MOSA样品在7 kV输入电压下承受应力。为了提供高压,本研究使用了一台测试变压器(500 V/250 kV、150 kVA、50 Hz),使用红外摄像机(型号FLIR E85)从10个不同位置拍摄了MOSA的IRT图像。在拍摄IRT图像之前,已对样品施加45分钟的应力,以确保达到准静态条件。所用红外摄像机的技术参数见表1。

表1 红外相机(FLIR 85)的关键参数Table 1 Key parameters of FLIR 85

图2 MOSA红外图像采集实验图Fig.2 Experiment set up for IRT image acquisition of MOSA

1.3 污染严重程度测量和数据库准备

本研究基于等效盐沉积密度(ESDD)测量,对MOSA表面的污染状态进行了量化。根据测得的ESDD值,MOSA表面的污染严重程度分为5类。关于该分类的说明见表2。

表2 污染严重程度分类说明Table 2 Classification of pollution severity

1.4 数据预处理和数据扩充

本研究共捕获了2 500张不同污染状态下的MOSA IRT图像。IRT图像以JPG/JPEG格式保存。在图像预处理阶段,首先,对IRT图像中由MOSA组成的区域进行裁剪。然后,将裁剪后的图像转换为灰度图像。其次,采用影像边缘侦测演算法,找到图像中的轮廓。任何非常小的轮廓都已被删除。最后,从剩余轮廓生成遮罩,并将其混合到裁剪后的IRT图像中。图3(a-c)为轻度、中度和重度污染情况下MOSA的IRT图像。

图3 预处理后的IRT图像Fig.3 Captured IRT images after pre-processing

根据图3,可以观察到MOSA的热行为随表面污染状态的变化而变化。此外,还发现热点区域的面积随着污染的严重程度而增加。因此,对应于不同污染状态的IRT图像已被馈送到预训练的CNN架构以进行自动特征提取[26-30]。

为了创建更通用的框架,数据增强已应用于捕获的IRT图像。本研究所采用的数据增强技术如下: 1)IRT图像的水平翻转和垂直翻转;2)IRT图像的旋转(-15°至15°);3)将邻域像素与随机数相乘以产生更亮或更暗的效果;4)高斯白噪声(σ值0到2)和(5)中值模糊(局部,内核大小2到7)。数据扩充前后IRT图像数据集的描述如表2所示。

2 所提检测方法

本节简要说明了在不同表面污染严重程度下对MOSA IRT图像进行分类的所提方法。所提方法的概述如图4所示。

图4 所提方法的流程图Fig.4 Infographics of proposed framework

2.1 卷积神经网络

卷积神经网络(CNN)是一种深度学习算法,广泛应用于图像分类或从输入图像中提取特征。CNN的体系结构主要包括输入层、卷积层、池层和全连接层。输入层是CNN的第一层,图像作为网络的输入被输入。卷积层是CNN体系结构的主干部分。在卷积层,输入层的图像被一系列称为核的滤波器横向卷积。卷积层的输出返回一个特征映射,它取决于内核过滤器的高度和宽度。CNN结构中的卷积层可以从输入图像中提取重要信息。卷积运算与非线性激活函数相结合。它被用来增强网络的非线性。然后,池层通过选择显著特征来降低特征图的维数。完全连接层类似于普通的神经网络,该层中的每个神经元都连接到前一层中的所有激活。因此,全连接层将卷积/池层的输出划分为列向量。最后,分类器激活函数根据全连接层的输出计算概率,并预测可能的类别。此外,CNN体系结构中的退出层已被用于解决过度拟合问题。表3为数据集参数。

表3 数据集参数Table 3 Data set parameters

2.2 基于卷积神经网络的转移学习特征提取

迁移学习(Transfer Learning,TL)是一个深度学习方法,通过预先训练的CNN模型获得的知识应用于新任务[14-15]。设计CNN模型的首要问题是从头开始训练模型需要大量的计算时间,然而,在TL中,预训练网络的权重被转移到当前模型,而不是从一开始就用一些随机权重训练整个模型。因此,TL可以显著减少特定任务的计算时间和计算成本。文中迁移学习与预训练的CNN结构已被用于从IRT图像数据集中提取深层特征。出于特征提取目的,CNN架构中的任何完全连接的层或分类器层已被移除,因为卷积层和池层负责从图像中提取特征,而完全连接的层负责分类特征。因此,从CNN体系结构中排除完全连接的层将使经过调整的CNN变成特征提取器。基于TL方法的图像特征提取已被广泛应用于各种问题。在这种方法中,预训练的CNN结构ResNet50被用于特征提取目的。

2.3 深度残差网络

本研究采用预训练深度残差神经网络(ResNet)进行迁移学习,深度残差神经网络(通常称为ResNet)[18-19],由几个剩余块组成。ResNet在imagenet数据库上可提供优异的性能。ResNet的体系结构使用瓶颈函数绕过卷积层以获得快捷路径。使用快捷路径,每个剩余层都会附着到下一层。它允许网络层通过绕过中间权重层的身份函数进行学习,从而允许从输入到输出的直接路径。ResNet可消除消失梯度的问题,这是由更深的网络造成的。因此,ResNet比其他预训练的CNN架构具有优势,因为可使用ResNet构建更深层。深度残差神经网络ResNet中的深层数可以不同,即可为18、50、101和152等。本研究采用50层深度残差神经网络(ResNet50)被考虑用于特征提取。在通过ResNet50提取特征的过程中,使用了imagenet权重。ResNet50体系结构中图像的输入大小为224×224×3。使用ResNet50架构,可从单个图像中提取2 048个深度特征。

2.4 特征分析

为了对提取的深层特征进行分类,本研究采用四种著名的机器学习分类器,即k-最近邻分类器(k-NN)、支持向量机分类器(SVM)、贝叶斯分类器(NB)和随机森林分类器(RF)。下面对上述分类器进行简要描述。k-NN分类器是基于实例的方法,其中测试样本根据到训练数据的距离进行分类[21]。支持向量机主要用于二值分类,即对所有(OAA)的方法已被用于多类分类。支持向量机的性能在很大程度上取决于核函数[22]。本研究选择了径向基函数(RBF)核函数。NB是一种概率分类方法。该分类器假设特征相互独立且相互之间没有相关性,本研究采用高斯概率密度函数已用于NB分类器。

随机森林是一种基于决策树的集成分类器。在RF中,每个决策树预测输出,并且基于多数预测做出最终决策[23-31]。

3 仿真结果分析

本节将分析所提方法的分类结果。为此,已通过图像预处理步骤获取不同污染严重程度的IRT图像。此后,预处理的IRT图像被馈送至ResNet50进行自动特征提取。这里值得一提的是,在馈送到ResNet50之前,预处理的IRT图像的大小已经调整为224×224×3。图5为在canny边缘检测、前景选择和背景掩蔽之后,两幅IRT图像的视觉输出((a)严重污染严重度和(b)非常严重污染严重度)。提取的深度特征的视觉输出也如图5所示。深层特征是从ResNet50的最后一个池层提取的,从视觉输出可以看出,两类IRT图像的深度特征提取存在差异。为了找到鉴别特征,对所有IRT图像提取的深度特征进行了单因素方差分析,并选择了p值≤1e-50 的特征。据观察,共有568个特征显示p值≤1e-50。最后,FDR校正后的前100个特征被输入分类器进行污染严重程度分类。

图5 IRT图像的输出可视化Fig.5 Output visualization of IRT images

对于分类方法,本研究采用了5倍交叉验证技术,即将整个数据集分为5个子部分。在这5个子部分中,从数据集的4个子部分提取的深度特征已用于训练分类器,而数据集的其余部分已用作验证目的。在任何分类方法中,都必须找到分类器的最佳超参数。文中网格搜索优化技术被用来调整k-NN和RF分类器中的超参数。通过网格搜索方法进行超参数调谐的条件如下:k-NN的邻域数(3∶1∶8)和RF的决策树数(50∶10∶250)。对于支持向量机,通过随机搜索优化调整了超参数C和γ。上述优化的条件为,0.1≤C≤100和0.000 1≤γ≤10。经过5倍交叉验证技术,可获得了最佳超参数。通过准确度(Acc)、精密度(Pre)、灵敏度(Sen)和假阳性率(FPR)4个指标对分类器的性能进行了评估。上述参数已通过方程式(1-4)计算得出:

(1)

(2)

(3)

(4)

在式(1)-(4)中,TP、TN、FP和FN分别代表正确的正预测、正确的负预测、错误的正预测和错误的负预测。因此,基于混淆矩阵,可以计算上述统计指标。上述统计指标的平均值以及每个分类器的标准偏差如表4所示。根据结果,可以观察到RF分类器产生最佳平均识别性能。然而,其他分类器也具有非常好的结果,这验证了所提方法的鲁棒性。图6显示了使用RF分类器的拟议框架的详细分类结果。RF分类器的混淆矩阵对应于测试图像数据集,如表5所示。在混淆矩阵中,P1、P2、P3、P4和P5分别表示非常轻微、轻度、中度、重度和非常严重的污染严重程度。

表4 所提方法的分类结果Table 4 The classification results of the proposed method

表5 测试数据的混淆矩阵Table 5 confusion matrix of test data

图6 不同折叠的RF分类器性能Fig.6 Performance of RF classifier for different folds

3.1 不同折叠次数下的性能分析

在本节中,通过将提取的深度特征拆分为不同的折叠来评估所提方法的性能。图7具有不同折叠的所提方法的性能。根据图7,可以观察到,所提方法的性能随着折叠值的增加而增加,然后在折叠5倍后趋于平稳。因此,本研究采用了5倍交叉验证技术。

图7 所提方法在不同折叠次数下的性能Fig.7 Performance of proposed framework for different number of folds

3.2 计算时间

对于实际应用,计算时间非常重要。本研究中所有输入图像的预处理所花费的总时间约为4 min(即单个图像约为3.66 ms)。使用ResNet50从IRT图像数据集中提取深度特征所需的时间约为26 min(即单个图像约为31 ms)。k-NN、SVM、GNB和RF对提取的深度特征进行分类所需的时间分别为5.93 s、8.21 s、2.65 s和10.54 s。RF分类器花费的时间最多,但性能最好。上述数据是在8GBRAM的intel i5系统上计算的。

3.3 与ResNet其他配置的比较

在本节中,将从ResNet体系结构(ResNet18和ResNet101)的其他配置中提取的深层特征的性能与所提方法进行了比较。从ResNet18和ResNet101提取的深度特征数分别为512和2048。在ANOVA和FDR校正后,对提取的特征进行进一步分析,并选择前100个特征用于分类,前100个特征被输入分类器。结果表明,从ResNet50中提取的深度特征具有更好的性能。这可以解释为,在分别对ResNet50和ResNet101配置进行方差分析测试后,总共568个和542个特征显示p值≤1e-50。因此,ResNet50的性能更好的原因可能是由于比ResNet101更多的鉴别特征。因此,可以说,对于这个特定的任务,ResNet50比ResNet101具有更好的辨别能力。

3.4 不同预训练卷积神经网络与现有技术的比较

该方法性能已与从其他8种著名的预训练CNN架构(如VGGNet、MobileNet、DenseNet、Inception、Exception和NasNet)中提取的深度特征进行了比较。上述体系结构在imagenet数据集上具有非常好的性能。对于通过上述CNN架构进行的特征提取,采用了图像净重。此外,上述CNN架构以及ResNet50已经在MATLAB上进行了仿真。不同CNN配置的深度、输入图像大小和提取的深度特征数量如表6所示。在通过上述CNN架构进行特征提取之后,通过ANOVA和FDR校正进一步分析提取的深度特征,并将前100个特征输入分类器。此外,在5倍交叉验证后,对分类性能进行了评估。不同预训练CNN配置的分类结果如表7所示。

表6 不同预训练CNN架构的参数Table 6 Parameters of different pre-trained CNN architectures

表7 与其他预训练的CNN配置进行比较Table 7 Comparison with other pre-trained CNN configurations

根据表7中给出的结果,可以观察到不同的基于CNN配置的特征获得相当满意的性能,这意味着使用TL进行特征提取非常有效。根据结果,ResNet50和DenseNet201的性能几乎相当。对于SVM和GNB分类器,DenseNet201的平均性能更好,而对于k-NN和RF分类器,ResNet50的平均性能更好。然而,具有最佳平均识别性能的提取器-分类器对是具有RF分类器的ResNet50体系结构。因此,可以说,对于这一特定任务,ResNet50 RF提取器-分类器组合更为有效。在其他配置中,InceptionV3的平均识别性能更好,其次是Exception和NasNet Large。然而,MobileNetV2、VGGNet16、VGGNet19和NasNet Mobile的性能几乎相似。此外,通过适当的预处理技术去除了IRT图像的背景。因此,所提方法的性能不会受到IRT图像中不同背景的影响。因此,可以说,提出的基于TL的方法非常有效地感知在役MOSA的表面污染状态。

4 结语

提出了一种面向饱和积污基于迁移学习的智能检测方法,来估计MOSA的污染状态。针对11 kV MOSA进行的实验研究,验证了所提方法能够相当准确地感知MOSA的表面污染状态,该方法不仅准确而且快速。该方法可从IRT图像中自动提取特征,从而消除了特征提取的手动依赖性。因此,可以推断所提出的基于迁移学习的方法可以在实际生活中实现,用于在役MOSA表面污染状态的检测。

然而本研究暂未考虑环境温度,此外,现场使用中避雷器周边必然有大量的其他背景,使得红外图形的背景剔除相对困难,因此,本研究后续将改进所提方法,已解决上述问题。