基于改进深度残差网络的光伏板积灰程度识别

2022-12-18孙鹏翔王俊杰

计算机应用 2022年12期

孙鹏翔，毕利，王俊杰

（宁夏大学信息工程学院，银川 750021）

0 引言

“碳中和”工作被列为我国重点任务之一，作为清洁能源之一的太阳能资源具有极大的开发潜力。目前，光伏发电已经成为我国新能源开发的重点扶持项目，其中西北地区的光伏发电占比较大。然而西北地区存在土地沙化且常年多风的情况，导致常年风沙、扬尘天气居多；同时，该地区雨水较少，沙尘积累在光伏板表面的情况较多。积灰对光伏板的输出功率影响较大［1］，且光伏板表面温度在积灰状态下比清洁状态高，当局部积灰过大时，容易形成热斑，导致部件故障。目前，识别光伏板积灰程度主要依赖于光伏电站现场运维人员通过个人观测，依据运维经验来定性积灰程度。该方法过度依赖人工，取决于运维人员的个人素质，存在准确性、实时性较差的问题，难以满足分布式光伏发电系统智能运维和组件健康管理的发展需求。

针对光伏板积灰程度定性与识别的问题，国内外学者展开了多方面的研究。Saidan 等［2］研究表明，暴露在自然环境下的光伏板，当积灰密度达到0.64 g/m2时输出功率降低14.26%。范思远等［3］通过多组对照实验得出积灰对光伏组件能量输出具有明显抑制作用，光伏板发电量与积灰程度呈现指数型衰减。牛海明等［4］提出光伏板发电效率与积灰密度呈线性关系，相对透光率与积灰密度呈对数关系，为光伏板积灰程度定性提供了理论依据。赵波等［5］提出一种电池板积灰状态检测方法，构建了电功率损失和积灰时间变化的渐进型预测模型，从电功率损失的角度对光伏板积程度进行了分析；然而实际应用中，不同光伏板存在差异，本身的电功率损失不同，该方法泛化性较弱。吴春华等［6］提出一种不均匀积灰检测算法，并结合遗传算法优化控制策略，求解不均匀积灰情况下的光伏板发电效率的最大优化。周晓明等［7］建立了反射光强度与光伏板清洁度的关系，通过反射光强度分析光伏板积灰程度，最后设计并实现了光反射光伏板清洁度检测仪，该方法成本开销较大。综上所述，传统方法通过对发电效率损失和反射光强度进行建模，进而分析光伏板积灰程度；然而，对某个光伏板的建模分析很难推广到所有光伏板，泛化性较弱；同时，采集反射光强度的成本开销较大，不适用于多电站光伏板数量较多的真实运维场景。

现场调研表明，积灰导致光伏板颜色、纹理发生显著变化，人工观测光伏板积灰图像可初步判定发电效率损失，为采用图像识别算法来判定光伏板积灰程度提供了思路［8］。传统图像识别技术依赖人工提取数据特征，难以训练大规模样本；以卷积神经网络为代表的深度学习图像识别算法，通过自动特征提取和自我学习特征训练模型，效率较高［9］。

近年来，基于深度学习的图像识别算法在电力设备状态［10］与缺陷［11］检测领域广泛应用。赵波等［8］由图像识别展开研究，提出了基于卷积神经网络的光伏板积灰状态识别模型，采用ResNet50（Residual Network 50），准确率达0.81，在实际运维中保证了实时性且开销较小，但识别准确率难以满足实际运维的需求。因此，本文提出一种改进的深度残差网络光伏板积灰识别模型，主要工作如下：

1）构建多电站不同光伏板不同积灰程度的数据集，保证模型的泛化能力。

2）通过分解卷积提高模型精度的同时减少了Conv1 模块的参数；对下采样进行微调，有效避免了特征提取过程中的信息丢失，进而增强了模型的表征能力。

3）针对光伏板积灰分布不均、模型关注区域存在偏差的问题，融合坐标注意力（Coordinate Attention，CA）机制［12］，增强模型对积灰区域的关注。采用监督对比学习损失函数，有效提高了光伏板积灰程度识别模型的准确率。

1 相关算法

1.1 ResNeXt

ResNet 通过堆叠残差结构，有效解决了网络过深导致的“退化”问题［13］。次代残差网络（NeXt Residual Network，ResNeXt）［14］与ResNet 相比，通过平行堆叠拓扑结构替代原始三层卷积的block，在不增加参数量级的情况下，提高了模型准确率。ResNeXt 与ResNet 残差结构对比如图1 所示。图1（b）中的group为平行拓扑结构堆叠数量。

图1 ResNet与ResNeXt残差结构对比Fig.1 Residual structure comparison of ResNet and ResNeXt

1.2 网络结构改进

较大卷积核进行卷积分解，由小卷积核替代，可以加深网络层数，有效提高网络精度［15］；同时，卷积分解后，相同感受野情况下，参数更少，计算复杂度更低。针对ResNeXt 的Conv1模块中的大卷积核，为保持输出特征图大小相同，采用3组3×3卷积的级联替换7×7卷积，如图2所示。

图2 Conv1模块改进Fig.2 Conv1 module improvement

ResNeXt 的基础block 依次为1×1 卷积、3×3 卷积、1×1 卷积；设置首个1×1 卷积的步长为2，实现下采样，如图3（a）所示。

图3 下采样改进Fig.3 Down-sampling improvement

事实上，在第一个卷积进行下采样时，存在信息丢失的问题。假设5×5 的特征图经过步长为2、大小为1×1 卷积，将丢失3/5 的信息，如图4 所示。浅灰色部分为参与卷积运算的信息，白色均不参与。针对1×1 卷积下采样造成信息丢失的问题，对下采样进行微调，如图3（b）所示，在3×3 卷积设置步长为2 进行下采样，防止信息丢失。

图4 1×1卷积下采样Fig.4 1×1 convolutional down-sampling

1.3 CA机制

在图像特征提取中，注意力机制可以增强特征选择。基于位置的注意力机制有两种作用方式：一种是通过大尺度核卷积，如SE（Squeeze Excitation）［16］和CBAM（Convolutional Block Attention Module）［17］等；另一种是分解特征图像，如坐标注意力（CA）［12］。

与大尺度核卷积操作获得空间信息的方式相比，分解特征图像更能充分利用捕获到的位置信息，准确捕获感兴趣的区域，且有效捕捉通道间的关系。CA 机制模块整体流程如图5 所示，通过二维全局池操作将特征图像分解为两个一维编码，有效地捕获位置信息和通道关系，分析出目标的具体位置，输出相关特征值。

图5 CA机制模块Fig.5 CA mechanism module

CA 机制结构通过二维编码获得精确的位置信息，包含了坐标信息嵌入和坐标注意力生成2 步操作，能有效增强深度网络的性能。CA 机制的处理过程中首先分别沿水平和垂直两个方向对每个通道进行编码，计算过程为：

其中：xc为第c通道的特征图。得到一对大小为c×1×w和c×h×1 的方向感知特征图，具体为：

其中：zh为高度为h所有通道的输出，zw为宽度为w所有通道的输出，[zh，zw]为沿空间维度继续结合操作，δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射。然后沿着水平和垂直两个维度分解为f h和f w，并使用1×1 卷积变换函数Fh和Fw分别将f h和f w变换为具有相同通道数的张量，计算过程为：

其中：σ为Sigmoid 激活函数。最后对输出的gh和gw进行扩展，作为垂直、水平注意力的维度权重，输出的特征图像为：

其中：和是将gh和gw扩展，作为垂直、水平注意力的维度权重；xc为第c通道的特征图；yc(i，j)为输出的注意力加权后的图像。

1.4 监督对比学习损失函数

随着对比学习的应用发展，自监督的表征学习也得到了显著发展。在自监督学习过程中，正样本图像通常是一个锚节点的数据增强，负样本图像通常从最小批次的训练中选取，标签在这过程中是不可用的。

与自监督的方法相反，监督的方法可以使用标记数据从现有的同类示例中生成正样本图像，与通常仅仅增加锚节点所能达到的效果相比，提供了更多的预训练可变性。为弥补自监督学习和监督学习之间的差距，使对比学习能够应用于监督环境，Khosla 等［18］提出了监督对比（Supervised Contrastive，SupCon）学习损失函数，训练过程如图6 所示。

图6 监督对比学习损失函数Fig.6 SupCon learning loss function

为简化正样本图像选择的过程，SupCon 利用标记数据将来自同一类别的所有样本作为正的样本集与来自同一个批次剩余样本的负的样本集进行对比学习。监督对比学习损失函数由3 个主要结构组成：数据增广模块、编码器模块和映射模块。数据增广模块Aug（·）是对每个输入样本x随机生成两个增广样本；编码器模块Enc（·）是将x和映射为表征向量r=Enc（x）∈RDE，并将r归一化到RDE（DE=2 048）的单位球面上；映射模块Proj（·）是将r映射为向量Z=Proj（r）∈RDP（DP=128）。监督对比学习损失函数的表达式为：

1.5 整体网络结构

本文改进后的整体网络结构如图7 所示，由注意力（Attention）模块、Conv1、Conv2、Conv3、Conv4、Conv5 模块、全连接层以及Softmax 构成。

图7 改进后的整体网络结构Fig.7 Improved overall network structure

注意力模块由平均池化、单个1×1 卷积变换、两个1×1 卷积变换及Sigmoid 模块组成，输出结果作为Attention weights进行加权。

对原始ResNeXt 的Conv1 模块中大卷积核进行分解，采用3 组3×3 卷积的串联替代原始7×7 卷积；Conv2、Conv3、Conv4、Conv5 均由1×1 卷积、3×3 卷积、1×1 卷积组成，且平行拓扑结构数量为32。其中：Conv2 模块堆叠3 次，Conv3 模块堆叠4 次，Conv4 模块堆叠6 次，Conv5 模块堆叠3 次。对原始ResNeXt 结构中的下采样进行微调，原始下采样在Conv2、Conv3、Conv4、Conv5 模块中的首个1×1 卷积进行，调整至Conv2、Conv3、Conv4、Conv5 模块中的3×3 卷积进行下采样。网络层参数设置如表1 所示。

表1 网络参数设置Tab.1 Network parameter setting

表1 中，Attention 模块的平均池化采用自适应平均池化（Adaptive Average Pooling）。与常用平均池化不同，表1 中参数为池化后的输出大小；same 表示通过补零操作使输出尺寸与输入尺寸一致，stride 为卷积步长。

2 实验过程

2.1 积灰程度定量分析

针对光伏板积灰程度定量问题，参考文献［19］，根据光伏板传感器采集的功率、温度数据计算发电效率损失率。积灰程度与光伏板额定温度下发电效率损失率关系如下：

式（8）中：α为光伏板额定温度的发电效率，αd为积灰状态额定温度的发电效率，αp为不同积灰程度下的发电效率损失率。式（9）中：Pmax为额定温度、辐照度下的最大输出功率；Tb为光伏板实时温度，Ts为额定温度；R为光伏板功率温度系数；Ai为光伏板面积；Fn为辐照度。

根据发电效率损失率均值，划分4 个等级的光伏板积灰程度，如图8 所示。

图8 光伏板积灰程度分类Fig.8 Classification of dust accumulation degree of photovoltaic panel

图8 中，发电效率损失率αp≤8 为干净，8＜αp≤12 为轻度积灰，12＜αp≤16 为中度积灰，αp＞16 为重度积灰。

2.2 数据制备及增广

实验数据来源于宁夏中科嘉业新能源研究院，采集2021年3—7 月光伏板不同程度积灰图像，采集手段包括电站摄像头拍摄和运维人员人工拍摄。采集多个电站数据，过滤因模糊、过暗等因素形成的无效图像；同时，为保证样本分布均衡，根据积灰程度定量分析结果，筛选出4 类共计800 幅图像，保持每个类别样本数相同。

由于实验数据较少，为防止过拟合现象，采用随机缩放、随机旋转、随机裁剪、平移变换、增强或减弱对比度、高斯噪声进行图像增广，如图9 所示。

图9 图像增广Fig.9 Image augmentation

经图像增广后，光伏板积灰数据集共计22 400 幅，每个类别5 600 幅，可有效防止过拟合现象发生。

2.3 训练参数设置

训练集和测试集按照8∶2 划分，实验采用Ubuntu 操作系统，Intel i5-6600 处理器，16 GB 内存，GPU 为NVIDIA RTX2080 平台，程序基于PyTorch1.8.0 环境采用Python 语言编写。采用随机梯度下降法，实验中batch size 设置为16，表示每次迭代输入到模型的样本数量为16；学习率初始化为0.01，最小学习率为0.000 1，最大迭代次数为800，学习率更新策略为预热阶段（warm-up）采用一维线性插值法，预热阶段后采用余弦退火算法［20］，学习率更新的伪代码如算法1所示。

算法1 学习率更新算法。

3 实验结果及分析

3.1 分解卷积和微调下采样对模型性能影响

为验证网络结构改进对模型性能的影响，分别设置分解卷积和微调下采样的对照实验，分解卷积实验结果如表2 所示，微调下采样实验结果如表3 所示。

表2 中，原始Conv1 为7×7 卷积，借鉴Inception 系列设计思路，采用3 组3×3 卷积的级联替换7×7 卷积。与原始Conv1相比，分解卷积Conv1 参数减少81%，识别精度提升了1.2 个百分点，有效提高识别准确率的同时降低了计算复杂度。

表2 分解卷积的实验结果Tab.2 Experimental results of decomposition convolution

表3 中，原始ResNeXt 在首个1×1 卷积进行下采样，对下采样进行微调，将原始首个1×1 卷积时下采样调整为3×3 卷积时下采样，有效避免特征提取过程中的信息丢失问题。与原始ResNeXt 相比，下采样微调ResNeXt 的准确率提高了1.6 个百分点。

表3 下采样微调实验结果Tab.3 Experimental results of down-sampling fine-tuning

3.2 注意力机制对模型性能影响

为验证注意力机制对模型的影响，在网络结构的不同位置嵌入注意力模块，如图10 所示。

图10 不同位置嵌入注意力模块Fig.10 Attention modules embedded in different positions

图10 中，（a）为原始模型结构，（b）～（f）分别为不同位置嵌入注意力模块，实验结果如表4。

表4 中，针对不同位置嵌入注意力模块，模型识别准确率有不同程度提升，其中，ResNeXt-CA（b）模型效果最佳，与原始ResNeXt 相比，ResNeXt-CA（b）的准确率提升了2.3 个百分点。

表4 不同位置嵌入CA注意力模块的实验结果Tab.4 Experimental results of embedding CA attention module in different positions

为进一步探究CA 机制对模型性能的影响，采用类激活可视化（Gradient-Class Activation Map，Grad-CAM）［21-22］的方法对模型的识别性能进行验证。该方法通过热力图，可视化模型识别图像类别的依据，可清晰地说明类激活图与识别分类的映射关系。

不同位置嵌入CA 机制的热图对比如图11 所示，其中，热图中高亮的区域为预测类别的相关区域。

图11 中，在光伏板积灰分布不均的场景下，原始ResNeXt 模型对积灰区域的关注存在偏差。针对这一问题，融合CA 后，关注偏差问题得到改善；同时，不同位置嵌入CA，对积灰区域的关注表现存在差异，其中，ResNeXt-CA（b）相较于其他模型对积灰区域更关注，进而模型对图像的识别更精准。

图11 不同位置嵌入CA注意力热图Fig.11 Heat maps of CA attention embedded in different positions

为验证本文采用的CA 机制优于传统注意力机制，设置对照实验，分别与SE 注意力［16］和CBAM［17］注意力对比，实验结果如表5 所示。

表5 中，针对嵌入不同注意力机制，模型准确率有不同程度提升，其中，本文采用的ResNeXt-CA（b）效果最佳，与ResNeXt-CBAM 相比，准确率提升了0.7 个百分点，达85.8%。

表5 不同注意力机制的实验结果单位：%Tab.5 Experimental results of different attention mechanisms unit：%

3.3 监督对比学习损失函数对模型性能影响

为验证监督对比学习损失函数对模型的影响，设置对照实验，实验结果如表6 所示，与采用交叉熵损失函数的ResNeXt 模型相比，采用SupCon 损失函数的ResNeXt 模型识别准确率提高了2.1 个百分点。

表6 SupCon学习损失函数的实验结果单位：%Tab.6 Experimental results of SupCon learning loss function unit：%

3.4 不同网络模型对比分析

为验证改进后的ResNeXt50 模型，在光伏板积灰程度识别中优于常用的深度学习算法和传统识别算法，设置多组对照实验，分别与随机森林、K近邻（K-Nearest Neighbors，KNN）、支持向量机（Support Vector Machine，SVM）、ResNeXt50［14］、ResNet50［13］、MobileNetV3［23］、InceptionV3［15］和Inception-ResNetV2［24］进行对比，实验结果如表7 所示。

表7 中，与原始ResNeXt50 相比，改进后的ResNeXt50 识别准确率提升了7.2 个百分点，与Inception-ResNetV2、InceptionV3、MobileNetV3、ResNet50 相比，分别提升了4.8 个百分点、6.5 个百分点、6.8 个百分点和8.9 个百分点。在光伏板积灰程度识别中，优于大部分主流模型，基本满足光伏电站智能运维的需求。