基于深度卷积自编码网络的小样本光伏热斑识别与定位

2021-08-09孙海蓉潘子杰

华北电力大学学报(自然科学版) 2021年4期

孙海蓉，潘子杰,2，晏勇,2

(1.华北电力大学控制与计算机工程学院，河北保定 071003；2.华北电力大学河北省发电过程仿真与优化控制工程技术研究中心，河北保定 071003)

0 引言

光伏组件是光伏发电系统的核心组成部分。为了充分利用太阳能，通常需要将多个光伏组件串联或并联组成更大的光伏阵列置于室外，当光伏组件受高压线、砂砾、灰尘、建筑物等不透明物体遮挡到一定程度时，部分电池片将会产生局部过热现象，即热斑效应[1]。不同严重程度的热斑效应将导致不同后果，轻则降低光伏发电效率，重则损坏光伏组件内部结构甚至引发火灾[2]。因此，及时识别并定位热斑区域对降低发电成本和提高发电安全性具有重要意义。

围绕光伏热斑识别与定位这一课题，国内外相关领域学者对此做了大量研究。近年来，随着深度学习算法的不断发展与深入，基于图像处理和深度学习的红外图像故障检测方法凭借其低成本、高效率等优点受到越来越多的关注。文献[3]在原始Faster RCNN的基础上，结合图像预处理、迁移学习、改进特征提取网络模型以及锚框选区方案，得到热斑缺陷检测模型，准确率较高但训练时间偏长。文献[4]以深度置信网络(DBN)为基础，通过学习大量样本，得到训练样本与无缺陷模板之间的映射关系，从而实现太阳能电池片的缺陷检测，该方法对样本量需求较大且不具体针对热斑缺陷。文献[5]对电池片红外图像进行状态分类与编码，提出基于传统卷积神经网络(CNN)的热斑检测模型，实现了在电池片产生极高温并造成损坏前诊断出热斑故障，该网络模型还有较大优化空间。文献[6]基于机器视觉的方法对太阳能电池片表面缺陷检测方法所涉及的各个环节进行了综述，证明了该方法的有效性，但在特征提取方面还有待改进。

基于以上研究与缺少相关数据集的现况，本文以光伏热斑红外图像为研究对象，采用深度卷积自编码网络模型以克服样本量过少的问题。该模型以卷积神经网络为基础，将卷积操作与自编码器相结合形成深度卷积自编码网络结构，能够更好的学习并提取小样本数据集的有效特征，进而通过迭代训练得到光伏热斑识别与定位的模型。

1 图像预处理与数据集的制作

1.1 图像预处理

图1展示了通过红外成像设备获得的光伏阵列红外图像，包括一块完整的光伏组件和5块分裂的光伏组件以及最右端的色彩条，每块组件都有或多或少的电池片已产生热斑效应。由于不同工作状态下的电池片温度和辐射出的电磁波不尽相同，经过红外成像设备对波长的处理后直观表现为红外图像的颜色差异[7]。

图1 光伏红外图像Fig.1 Photovoltaic infrared image

为准确识别并定位光伏红外图像中的热斑区域，需对原始红外图像进行预处理：首先分离光伏组件与背景区域，将原始图像通过滤波降噪、图像分割、透视变换等操作形成如图2所示10*6的组件区域[8]；然后根据组件规格对其做进一步的等距离分割，得到60个电池片单元图像；最后对电池片状态进行分类并制作为数据集用于网络训练。整个图像预处理流程图如图3所示。

图2 光伏组件单元图像Fig.2 Photovoltaic module unit image

图3 光伏红外图像预处理流程图Fig.3 Photovoltaic infrared image preprocessing flow chart

1.2 数据集的制作

光伏红外图像中电池片的不同颜色代表其不同的工作状态，随着温度的升高，电池片依次表现为蓝色、绿色、黄色、红色和白色。训练网络需要将这五种颜色的电池片打上1～5的状态标签，其对应关系如图4所示，其中类型1对应的电池片温度最低，类型5对应的电池片温度最高，且定义为热斑区域。

图4 光伏电池片状态类型Fig.4 Photovoltaic battery chip status type

经过筛选和预处理后，得到3 900张光伏红外电池片图像，其中电池片的命名结合了原光伏电池图片名和电池片在光伏组件的位置[9]，如第7张光伏组件红外图像的第三行第三列的电池片命名为IR007-2-2，并将电池片的大小统一改为64pix*64pix，便于后续神经网络中图像的批量输入和光伏组件热斑的精准定位。原始的3 900张电池片中，5种类型的电池片数量严重分布不均，类型1和类型5的数量最少，处于中间状态的2、3、4类型数量远远多于1和5，为解决类别不平衡问题，分别从每类电池片中随机抽取300张即共1500张电池片单元图像作为本次实验的小样本数据集，部分数据集如图5所示，其中训练集、验证集、测试集的比例为8∶1∶1。

图5 部分数据集展示Fig.5 Partial dataset display

2 模型与方法

2.1 模型基本思路

基于样本数据量较小的特点，本文首先构建一个简单卷积神经网络模型，通过交叉验证的思想训练小样本光伏热斑图像，经优化得到一个训练效果最好的卷积神经网络模型；然后丢弃其全连接层，保留其卷积池化结构作为卷积自编码器模型的编码器部分，在编码器结构的基础上通过反操作构造出解码器，再对小样本光伏热斑图像进行预训练并保留训练效果最好的编码器结构和权重；最后在此结构后增加原始卷积神经网络的全连接层并训练，得到最终的深度卷积自编码网络模型[10]。

2.2 卷积神经网络

卷积神经网络(Convolutional Neural Networks，CNN)作为深度学习的代表算法之一，是一类包含卷积计算且具有深度结构的前馈神经网络，常被用于计算机视觉、自然语言处理等领域[11]。其结构主要包括输入层(Input Layer)、卷积层(Convolution Layer)、池化层(Pooling Layer)和全连接层(Fully Connected Layer),卷积层和池化层通常被并称为卷积层[12]。

本文首先采用卷积神经网络模型对小样本光伏热斑图像进行学习和识别，其卷积池化结构如图6所示，包括1个输入层，2个卷积层，2个池化层。同时为了优化神经网络，在模型中加入了Dropout层和Batch Normalization(BN)层。Dropout方法可以破坏节点之间的相关性，使网络学到更有泛化性的特征，有效防止过拟合。而BN算法使得每一层输入都规范到一个N(0,1)的高斯分布，从而固定每一层输入信号的均值和方差，能有效防止梯度爆炸或消失问题，增强网络鲁棒性[13]。

图6 卷积神经网络的卷积池化结构Fig.6 Convolution pooling structure of convolutional neural network

通过灰度化将输入层图像的大小设置为64*64*1，第一层卷积层采用64个kernel_size为3*3的卷积核，padding项选择Same，激活函数选择ReLU(Rectified Linear Unit)，且在激活函数前增加BN层以减弱数据偏移或增大的负面影响；第二层池化层采用最大池化(Max Pooling)方式，步长为2，kernel_size为2，然后加入Dropout层以防止过拟合，Dropout值大小为0.15；第三层卷积层采用16个kernel_size为3*3的卷积核，其他参数同层1；第四层池化层参数同层2，Dropout值大小仍为0.15。

卷积神经网络的全连接层包括3个线性层，对卷积操作后的特征图进行降维和分类，其结构如图7所示。第5层和第6层的线性层分别包含1 024和512个神经元，激活函数均采用ReLU，Dropout值大小均设为0.15；第7层采用多分类回归模型Softmax进行分类。

图7 全连接层结构Fig.7 Fully connected layer structure

2.3 卷积自动编码器

2.3.1 自动编码器

自动编码器(AutoEncoder，AE)是一种典型的输入等于输出的无监督神经网络模型，简称自编码器[14]。一个简单的全连接神经网络自编码器模型如图8所示。以隐藏层为界限，左边为编码器(Encoder),右边为解码器(Decoder)，训练过程中，输入经过编码后再解码，即将输入压缩为特征，再将特征还原为输入。其中，隐藏层是整个自编码器的核心，其神经元数目远远低于输入层，相当于用更少的特征去表达输入数据，从而达到降维压缩的功能，这在图像分类任务上具有重要意义[15]。

图8 简单自编码器结构Fig.8 Simple autoencoder structure

z=f(x)=s(wx+b)

(1)

式中：x∈Rn×1表示输入数据，n表示输入数据的维度；z∈Rn×1表示隐层的特征表达，r表示隐层的神经元数目；w∈Rr×n表示隐层的输入权值；b∈Rr×1表示隐层输入偏置；s表示激活函数，本文采用的是ReLU函数，它会将输入中小于0的数据置为0，大于0的数据保持不变，具有一定的对数据的稀疏表达能力，其函数表达式如式(2)所示[17]：

f(x)=max(0,x)

(2)

式中：x表示输入数据，f(x)表示输出数据。

解码过程即隐层的特征表达z通过解码过程映射为输入数据x，函数表达式如式(3)所示：

x=g(z)=s(w′z+b′)

(3)

式中：w′∈Rn×r，b′∈Rr×1。

2.3.2 卷积自动编码器

简单全连接神经网络在使用时对一维信号没有影响，但是对二维图像或视频信号，全连接层会损失空间信息，且在训练时参数十分复杂，需要更长的训练时间，因此，无法满足大多实际情况的需求[18]。卷积自动编码器(简称卷积自编码器)则利用了传统自编码器的无监督学习方式，又结合了卷积神经网络中的卷积池化操作来实现特征提取，能够很好地保留二维信号的空间信息，且训练速度更快，重构误差更低[19]。

由卷积神经网络组成的卷积自编码器用卷积层替换了简单自编码器的全连接层，与图像的二维拓扑结构恰好吻合，可以避免图像重构导致二维信息的损失。本文采用的卷积自编码器模型如图9所示，左侧为卷积网络，右侧为反卷积网络[20]。该模型的编码器部分即为左侧的卷积网络，其结构与卷积神经网络的卷积池化部分相同，具有两层卷积池化操作，故对应的解码器部分即右侧的反卷积网络需先进行反池化操作再进行反卷积操作。由于编码器部分中卷积层的卷积核数量(也称为输出的特征数)依次为64和16，故解码器部分中反卷积层的卷积核数量依次为16和64，池化方式和参数与编码器部分相同，激活函数同样选择ReLU激活函数。

图9 卷积自编码器模型Fig.9 Convolutional autoencoder model

3 实验分析

本次实验运行环境为64位的win10系统，内存8GB，CPU2.8GHZ，基于Python语言编写，使用的深度学习框架为Keras。数据集一共1 500张电池片红外图像，5种类型各自300张，其中训练集1 200张，验证集150张，测试集150张。

3.1 卷积神经网络

卷积神经网络模型的卷积池化结构和全连接结构分别如图6和图7所示。使用小样本光伏热斑图像数据集对该模型进行训练和分类，结果如图10所示。

图10 卷积神经网络训练结果Fig.10 Training results of convolutional neural network

由图10(a)可知，当迭代次数小于20时，训练集损失迅速下降，验证集损失先升高后下降，随着训练次数的增加，训练集损失稳定下降，但验证集损失下降缓慢，最后停滞于0.8。在图10(b)中，训练集准确率快速上升，验证集准确率在20次迭代后才开始上升，随后趋于稳定，没有随训练集准确率的升高继续升高。经过分析可知，由于样本集数量过少，卷积神经网络出现了过拟合现象。此外，在测试集中的平均准确率为83.35%，相对较低。

3.2 深度卷积自编码网络

卷积自编码器的网络模型如图9所示。首先使用卷积自编码器模型对样本数据进行训练，迭代次数Epoch设为200次，Batchsize设为64，优化器选择Adam，学习率Ir设置为0.001，损失函数选择均方差损失函数MSE[21]，卷积自编码器训练结果如图11所示。

图11 卷积自编码器训练结果Fig.11 Training results of convolution autoencoder

通过对卷积自编码器模型进行优化，将其输入与输出间的损失降至最低，训练集降至0.000 455，验证集降至0.001 2，即编码器部分能最大程度的对小样本光伏热斑图像特征进行压缩和表达。

保留预训练好的卷积自编码器模型中编码器部分的结构和权重，丢弃解码器部分，再加上卷积神经网络的全连接层，构成本文采用的深度卷积自编码网络模型，其结构与原始卷积神经网络相同，但卷积池化层参数已更新为使卷积自编码器模型损失降至最低时的编码器权重参数。使用小样本光伏热斑图像数据集对该新构建的模型进行训练和分类，得到训练结果如图12所示。

图12 深度卷积自编码网络训练结果Fig.12 Training results of deep convolutional autoencoder network

由图12(a)和图12(b)可知，深度卷积自编码网络模型在迭代次数达到20次之前，验证集损失随训练集损失的降低显著降低，验证集准确率随训练集准确率的升高显著升高，在20次时准确率就已达到90%，收敛速度明显更快，准确率也明显升高。

3.3 对比分析

卷积神经网络和深度卷积自编码网络的结构参数如表1所示，识别准确率对比如表2所示。

表1 网络模型结构参数Tab.1 Network model structure parameters

表2 两种网络模型准确率对比Tab.2 Comparison of accuracy of two network models

相同网络结构参数下，经过200次迭代后，深度卷积自编码网络模型的验证集准确率比卷积神经网络高出8.07%，测试集准确率比卷积神经网络高出7.98%。卷积神经网络模型在训练集和验证集上的准确率差异明显大于深度卷积自编码网络模型，说明深度卷积自编码网络模型在小样本光伏热斑图像数据集上泛化能力和鲁棒性更强，且能有效减少过拟合现象，加快收敛速度。

3.4 光伏组件热斑区域定位

为了实现对热斑电池片的及时维护与更换并验证上述网络模型的有效性，需进一步在热斑图像识别的基础上对其进行精准定位，将热斑电池片实时标记于光伏组件并输出其具体位置。首先加载已经训练好的深度卷积自编码网络模型，然后输入并遍历待检测的电池片对其进行状态识别，返回符合类型5的电池片的图片名称，进而得到该热斑电池片的具体位置信息并在相应的光伏组件中进行标记。具体算法流程图如图13所示。