基于改进的ResNet50网络的光伏热斑识别算法

汪方斌,王海霞,龚 雪

(安徽建筑大学机械与电气工程学院,安徽 合肥 230601)

0 引言

当光伏组件中部分电池片被长时间遮挡或发生故障时,充当负载而消耗周围正常工作电池片产生的电能并持续发热的现象被称为热斑效应[1]。热斑效应影响太阳能电池板发电性能和使用寿命,导致光伏板早期退化、永久损坏,甚至会因为过热而产生火灾,从而造成光伏电站重大损失[2]。因此,及时有效地识别热斑在光伏电站日常运维中具有重要意义。

现有的热斑识别方法包括并联旁路二极管法、电压电流法、红外热成像法和深度学习方法。其中,并联旁路二极管法[3]是光伏组件预防热斑常用的方法,能使正常工作的光伏电池片不受其他缺陷电池片的影响,从而减小有缺陷或遮挡电池片的反向电压和电流[4],但二极管的工作情况对温度有一定要求,所以容易失效。电流电压热斑故障诊断方法是通过光伏阵列在故障状态下的电压电流变化实现故障检测[5],但该方法无法精确定位出热斑缺陷位置。红外热成像方法[6]是通过不同工作状态的光伏组件的温差来判断是否为热斑,但光伏组件出现遮挡会产生一定的假性热斑误检问题。

随着深度学习的发展,基于神经网络的深度学习检测方法成为研究热点[7-8]。CIPRIANI等[9]通过系统卷积神经网络对热红外图像进行处理,实现了光伏热斑的自动分类,分类精度达到97%,但该方法使用较为简单的二分类数据集,且需要大量热斑图像,给热斑的多分类判别与图像采集带来较大困难。孙海蓉等[10]基于Inception-v3模型构建了小样本热斑深度学习方法,但该方法需要迭代约5 000次,网络训练时间很长,效率较低。上述研究表明,深度学习在热斑分类与识别方面展现了良好的性能,但在热斑样本分布不均衡的情况下,仍存在一定局限性。

针对上述问题,本文提出一种改进ResNet50网络的光伏热斑识别算法,利用分组卷积结构捕获不同组别热斑图像的细化信息,注意力模块提高通道间的信息传输能力,提取红外图像的微观特征,缓解光伏组件检测中热斑缺陷特征随着网络深度消失的问题,并开展光伏电池热斑成像实验。实验结果表明,该方法针对信噪比低、样本数据集有限的红外热斑图像,可以实现光伏组件热斑有效识别与定位。

1 ResNet50网络改进

1.1 ResNet50模型

传统的神经网络随着层数的增加,会产生较大的训练误差,影响模型的训练精度。ResNet[11]提供了一个残差框架,利用残差框架可以训练更深层次的网络,生成通常性能更好的模型,从而简单且有效地解决传统神经网络的问题。所以在实验中本研究将使用ResNet50作为网络的基础构建块,网络体系结构如表1所示。但在应用于热红外图像实现热斑识别时,由于需要提取低层次空间信息和浅层特征信息,残差卷积块通常会使输入的3/4特征丢失[12],造成目标识别所需的信息丢失的问题,使模型输出识别精度不高。

表1 ResNet50网络体系结构

1.2 头部分组特征提取模块

传统残差模块的训练特征获取,是将特征图中对应元素数值进行相加。考虑到红外成像目标识别常用红外图像特征匹配来实现,而太阳能电池板的红外热斑图像局部不变特征更多地体现在目标表面的像素点信息,比如图像纹理、边缘等,而此图像区域通常具有较低的分辨率以及由热交叉引起的模糊边界,这是由于不同物体的热辐射无法区分造成的必然现象。因此,本文在卷积残差模块中引入分组卷积[13]。

与常规卷积层相比,分组卷积将数据并行化转换为模型并行化,构建头部分组特征提取模块,如图1所示。头部分组特征提取模块在网络特征提取之前,能够拓展网络的宽度,增加红外信息的维度,获得更多红外图像浅层纹理、边缘特征信息流入后续卷积层,在跳跃连接中加入最大池化层以减少输入信息丢失,增强识别性能。在图1中,模块的输入与主干部分首先把原卷积残差模块特征图平均分为32组,对每组特征图依次进行两次卷积操作;然后将32组卷积结果顺次通过拼接与卷积操作,得到完整特征图;最后将模块输入部分经过跳跃连接中的最大池化以及卷积操作的特征图与主干部分的特征图相加,得到该模块的输出。

图1 头部分组特征提取模块

1.3 压缩和激励网络SE模块

使用注意力机制对于纹理细节弱热斑红外图像,可以较好地改善模型的提取能力,缓解因为热红外方法引起的图片信息较少的问题[14],提高模型的性能和判别准确率。

如图2所示,本文在模型构建时借助SE(Sequeeze and Exicitation)模块[15]的建模思想,先采用全局平均池化将每个通道上的空间特征编码压缩为一个全局特征,激励操作中包含两个全连接层和一个Relu层;同时利用SE网络块加大利于识别热斑特征信息的权重,减小无关信息的干扰。在实际应用过程中,通过对SE模块进行优化,使用Mish激活函数[16],能够解决Relu函数的强硬边界转折的问题,增加信息渗透进模型训练中[17],从而提高模型的准确性和泛化能力。

图2 SE-Group恒等残差结构

1.4 改进的ResNet50

ResNet50网络结构主要包含5个STAGE,分别标记为STAGE1、STAGE2、STAGE3、STAGE4和STAGE5。本文主要对各STAGE中包含的恒等残差块和卷积残差块进行改进,改进后的ResNet50网络结构如图3所示。

(a)改进的ResNet50网络整体框图

(b)框图中模块结构

首先,网络对原始红外图像进行特征缩放,生成尺寸为224×224的RGB图像。然后,依次通过STAGE1中的卷积层和最大池化层;STAGE2中的1个卷积残差块和2个恒等残差块;STAGE3中的1个头部分组特征提取模块和3个恒等残差块;STAGE4中的1个卷积残差块和5个恒等残差块;STAGE5中的1个卷积残差块和2个恒等残差块。最后,经过平均池化层和全连接层,使用softmax进行分类输出。

在特征提取阶段中,将热斑图片作为通道的输入,后经卷积运算进行特征提取:

P=W(F*x),

(1)

其中,P表示提取的特征;W(·)表示ReLU和BN操作;F表示卷积核;*表示卷积操作:x表示输入。

通道所提取的特征矩阵随后进入下一轮的特征提取阶段。

将在每个分组卷积中提取的特征向量化,再把特征向量实行特征连接,得到高层特征的呈现:

K=C(T1,…,T32),

(2)

其中,K表示融合后的特征;C(·)表示特征融合操作。

热斑红外图片会同时输入到跳跃连接的通道中,经历特征提取:

Q=W[F*f(x)],

(3)

其中,Q表示跳跃连接输出;f(·)表示最大池化;x表示输入。

将主干网络提取的特征与跳跃连接支路提取的特征矩阵相加:

J=(F*K)+Q,

(4)

其中,J表示相加后的特征。

随后,经过一层全连接层后得到最终的特征向量E为:

E=R(J×M1),

(5)

其中,M1表示权重矩阵,R表示ReLU函数。

最后,对热斑红外图片特征用SoftMax分类器进行操作,得到样本ai属于类别为j的概率为:

(6)

其中,M2=[m1,m2,…,mc],mj表示权重,M2表示权重向量;c表示类别的数量。

2 数据集

2.1 数据准备

以单晶硅及多晶硅光伏组件作为实验采集对象,用FLUKE Ti200红外热像仪搭建图像信息采集平台,共拍摄图像84张。

2.2 图像预处理

由于拍摄现场光照强度、风速和外部温度的原因,导致采集到的红外图像多数存在峰值信噪比低的问题。为此,先对采集到的红外图像进行滤波降噪等处理,提高热斑识别的准确度和效率;然后以光伏组件规模为依据进行分割,可得到36个独立光伏电池片;并将电池片图片分成两个类别,即正常和热斑,如图4所示。

图4 图像预处理结果

经图像预处理之后,正常图像和热斑图像数量分别为182张和56张,热斑图像用于网络训练的数量较少,所以通过传统的图像数据扩充的方法,将热斑样本数量扩充到239张,正常红外图像样本扩充到720张,如图5所示。

图5 数据增强部分效果图

2.3 负样本分类方法

数据集正负样本比例约为1∶3,存在正负样本不均衡的现象,会使少数类样本的分类性能下降。目前数据层面的处理样本不平衡的方法较为简单,主要为修改各类别的分布。1)欠采样:从正常工作状态的太阳能电池板红外图像中删除与热斑红外图像数量相同的样本数量。但在数据量本就不多的情况下,减少数据量会造成模型的特征学习能力下降[18]。2)过采样:将热斑红外图像进行复制,这样操作无数据信息损失,虽扩大了数据集规模,但容易造成过拟合[19]。

针对目前构建的数据集,提出一种根据负样本在HSV空间下H分量平均直方图峰值分布情况再分类的方法。在保证负样本图片数量不变的情况下,增加其分类种类。首先,将负样本图像从RGB颜色空间转到HSV颜色空间,对3个颜色通道进行分离。由于该数据集红外图像均为同一批次采集,采集过程中温度、照射光强度变化不大,为了降低其他特征参杂,放弃饱和度S和亮度V的颜色通道信息。其次,绘制单张图片的H通道直方图,观察H颜色通道信息的数据分布情况,提取直方图峰值,再取平均值,用来对负样本进行分类划分。观察图4发现,当电池片在正常工作情况下,其光伏电池表面各点辐射出的波普基本一致,红外图像颜色较为单一。根据H分量直方图可知,H颜色通道像素分布显露出H分量值在较小的区间内集中的特点。所以,根据该特点,本文通过平均H分量直方图峰值的方法来减少数据维度,单个图像的H分量矩阵可用式(7)表示。

H=(hij)M×N,

(7)

其中,M,N分别表示图像像素点纵坐标和横坐标的最大值;H表示像素点的H分量。

将图片中像素点的H分量数值提取出来后,单张图像特征信息用H分量平均直方图峰值表述,简化了对整个负样本H分量分布统计的计算量,获得全部负样本的H分量平均直方图峰值分布统计图(图6)。

(8)

图6 分布统计图

其中,y1,…,y5表示最大的直方图数值到第五大的直方图数值,hi=argyi表示直方图数值所对应的H分量值。

在图6中,负样本H分量平均值在区间内分布较为均匀。为使负样本各类别样本数尽量平均且与正样本相近,本文用式(9)给出的划分和量化方法:

(9)

经负样本分类后的类型1和类型2电池片红外图片数量分别为404和316。

3 实验及结果分析

实验运行环境为64位Ubuntu系统,CPU 2.50 GHz,GPU RTX 2080Ti,使用Python语言编写,Pytorch框架实现。

3.1 评估指标

本文采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)以及Kappa系数等指标来对模型的分类效果进行评价和分析。对于正负样本数量不平衡的样本,模型很容易偏向大类别而放弃小类别,仅通过准确率无法全面评价模型性能,故而加入精确率、召回率、Kappa系数等指标,具体可表示为:

(10)

(11)

(12)

(13)

其中,Acc表示准确率;Prec表示精确率;Re表示召回率;κ表示Kappa系数;TP表示正确识别为热斑的样本数量;TN表示正确识别为正常的样本数量;FN表示错误识别为正常的样本数量;FP表示错误识别为热斑缺陷的样本数量;po表示每一类正确分类的热斑样本数量之和与总红外样本数的比值;pe表示所有类别分别对应的“实际与预测数量的乘积”之总和与“红外样本总数的平方”的比值。

3.2 模型分类性能测试

为了验证改进后的ResNet50算法的有效性,实验采用包含50层卷积的传统残差网络(ResNet50)、AlexNet、DenseNet121和VGG16模型进行对比实验,数据集由大小224×224为输入的三通道图像构成,模型训练过程准确率曲线如图7所示。

图7 模型训练过程准确率曲线

不同网络模型的测试结果见表2。DenseNet 121和VGG16模型网络结构较为复杂,有相同的迭代次数,耗费训练时间较长。AlexNet网络虽然训练时间较短,但是准确率也相对较低。改进后的ResNet50与原始ResNet50相比,虽然训练时间增加了,但是训练集准确率提高5.63%,测试集准确率提高6.13%,Kappa系数提升0.026 8。可见,在网络模型中加入头部分组特征提取模块,嵌入通道注意力机制能有效提升网络的准确率与识别性能。

表2 不同网络模型的结果对比

3.3 负样本多分类效果测试

采用H分量平均直方图峰值的方法,将样本二分类数据集划分为样本三分类数据集。为了验证这种方法对模型分类效果的提升作用,选择改进后的ResNet50模型分别在这两类数据集上进行训练。实验一针对的是二分类数据集,而实验二针对的是三分类数据集。

经过500次迭代的数据见表3。通过将负样本多分类,实验二被误分为热斑的样本数量小于实验一,精确率比实验一高0.59%,召回率比实验一高9.85%。实验一的准确率比实验二的准确率高0.71%,但实验二的Kappa系数比实验一高4.89%。可见,由于类别样本数量的不平衡,模型易偏向大类别而放弃小类别。这说明用样本三分类数据集训练,能够提高模型的综合分类效果。

表3 不同分类方法实验评价

3.4 识别结果可视化

在经过识别之后卷积神经网络仅能输出概率矩阵,为将结果更加直观地展现出来,绘制热斑缺陷图片,并将故障区域进行标注。在制作测试数据集时,将所有图片重命名,使得每张图片的名称包含该光伏电池片单元所在光伏组件的名称以及在其光伏组件上的位置。因此在识别出存在热板故障的电池片之后可直接绘制光伏组件图片并直接显示出来。

以1号电池板为例,在经过卷积神经网络的识别之后,判断出该电池板中的[3_12_14]位置处存在热斑故障,显示的热斑图像结果如图8所示。

图8 识别结果可视化

4 结论

本文通过对ResNet50网络提出头部分组特征提取模块、嵌入通道注意力机制等方法,增加模型浅层信息的提取能力;使用通道注意力机制增大目标的特征信息;使用H分量平均直方图峰值方法对热斑负样本数据集进行分类,提高模型识别的一致均衡性,从而提出了一种基于改进ResNet50的目标识别方法,实现了小样本光伏组件红外热斑高效、精确识别。试验结果表明,该方法的准确率较改进前提高了约6.13%,可对热斑缺陷进行精准定位和缺陷位置可视化。