基于深度学习的光伏红外图像热斑检测方法

摘 要：由于航拍光伏红外图像中的热斑故障多为小目标且与干扰背景极为相似，导致热斑故障检测精度低，基于此提出基于深度学习的二阶段式热斑检测方法。第一阶段，进行干扰背景去除。针对光伏组件分割速度慢、边缘提取效果较差和正负样本不均衡的问题，通过替换主干网络和采用混合损失函数，提出一种改进的DeepLabv3+分割模型，实现光伏组件区域的快速、精准提取；第二阶段，进行热斑故障检测。针对小目标热斑漏检、误检问题，通过采用增强版SPP模块、引入浅层检测尺度和改变边框回归损失函数，提出一种改进的YOLOv5热斑检测模型，实现热斑的准确识别。利用自制数据集开展对比试验，结果表明相比于原DeepLabv3+分割模型，所提分割模型的平均像素准确率和平均交并比分别提高1.7和1.51个百分点；相比于原YOLOv5模型，所提热斑检测模型的平均精度均值mAP50与mAP50∶95分别提高2.6和10.7个百分点。

关键词：光伏组件；红外图像；热斑；深度学习；DeepLabv3+；YOLOv5

中图分类号：TK514" " " " " " " " "文献标志码：A

0 引 言

为了应对气候变化，各国都在大力发展可再生能源，其中太阳能作为可再生能源的重要组成部分尤其被重视。根据《中国可再生能源发展报告2022》［1］数据，截至2022年底，光伏累计装机容量同比增长28.6%，全国太阳能发电量同比增长30.8%，占全部电源总年发电量的4.9%。光伏组件大多处于自然环境中，表面难免会出现尘土、落叶、飞禽粪便等异物遮挡，如果不及时清理，遮蔽的电池单元则会充当负载，吸收电流并将其转化为热量，形成热斑。当温度达到一定程度后，可能导致火灾爆炸等一系列灾害。因此，高效的光伏热斑检测策略、及时检测和定位光伏组件中的热斑故障对于光伏电站的日常维护是非常重要的。目前常用的热斑检测方法可分为基于光伏阵列电气特性的检测方法和基于光伏组件红外图像的故障检测方法［2］。基于光伏阵列电气特性的热斑检测方法需要搭建相应的外围电路，并在外围电路中安装传感器进行数据监测，利用故障状态下光伏输出特性变化检测热斑故障。该方法能够实时监测光伏阵列的电气特性，及时进行处理，但外围电路和传感器的成本较高，并且需要对大量的监测数据进行处理和分析导致效率较低。

基于光伏组件红外图像的故障检测方法针对光伏组件在不同工作状态下温度不同，利用红外热像仪来检测光伏组件表面的温度分布，以识别潜在的故障或异常情况。该方法无需接触光伏组件、成本低，并且效率显著高于基于电气特性的检测方法。

随着深度学习相关技术和无人机硬件的发展，使得通过无人机携带红外成像仪自动巡检采集红外图像再通过图像处理解决热斑问题成为可能。文献［3］结合迁移学习对Faster RCNN模型进行改进，通过图像预处理突出显示热斑区域，检测精度进一步提高；文献［4］采用深度迁移学习模型来解决热斑样本数量稀少的问题；文献［5］将可见光和红外图像进行合成，使用复合图像对YOLO网络进行训练，该方法可成功检测和定位微弱的故障特征，但故障分类效果较差；文献［6］将利用可见光图像进行分割和利用红外图像进行故障诊断相结合；文献［7］采用风格迁移扩充红外热斑图像数据集，并将多尺度特征学习模块SpotFPN应用到Faster RCNN上，使检测精度进一步提高；文献［8］将彩色图像重新转换为灰度图像，扩充数据集，同时提出一种新型注意力网络，改进后的SSD模型检测精度进一步提高。

尽管现有的深度学习方法检测热斑故障方面已取得较好效果，但仍存在以下几个需要解决的问题：1）航拍光伏红外图像中干扰背景与热斑故障的红外特性极为相似；2）光伏热斑故障多为小目标，检测精度低；3）暂无开源的光伏热斑故障数据集。针对以上问题，本文通过无人机搭载红外成像仪采集某光伏电站的红外图像自制热斑故障数据集，并提出基于深度学习的二阶段式热斑检测方法。在第一阶段进行干扰背景去除。针对光伏组件分割速度慢、边缘提取效果较差和正负样本不均衡的问题，通过替换主干网络和采用混合损失函数，提出一种改进的DeepLabv3+分割模型，实现光伏组件区域的快速、精准提取；在第二阶段进行热斑故障检测。针对小目标热斑漏检、误检问题，通过采用增强版SPP模块、引入浅层检测尺度和改变边框回归损失函数，提出一种改进的YOLOv5热斑检测模型，实现热斑的准确识别。结果表明，基于深度学习的二阶段式热斑检测方法可去除干扰背景对热斑检测的影响，提高光伏热斑检测的准确度。

1 光伏红外图像热斑检测整体框架

本文所提出的二阶段式光伏红外图像热斑检测方法的整体框架如图1所示。首先，通过无人机搭载红外成像仪采集光伏组件红外图像制作数据集，并对原始图像随机进行旋转、翻转、平移、改变亮度和加高斯噪声等操作，扩充数据集。其次，建立组件分割模型。使用LabelMe软件标记光伏组件区域像素制作语义分割数据集，其中光伏组件区域为正样本，其余区域为负样本。利用分割数据集对改进后的DeepLabv3+模型进行训练，建立光伏组件区域分割模型。训练完成后，输入原始图片，输出光伏组件区域分割结果，对光伏组件外区域进行掩膜处理，得到不包含自然背景的掩膜图片。最后，建立热斑故障检测模型。从第一阶段得到的不包含背景区域的掩膜图片中筛选出具有热斑故障的红外图像，使用LabelImg软件标记热斑故障类别制作目标检测数据集。利用目标检测数据集对改进后的YOLOv5模型进行训练，建立热斑故障检测模型。训练完成后，输入不包含自然背景的掩膜图片，得到输出热斑区域定位结果。

通过基于深度学习的两阶段式热斑检测方法能有效消除光伏组件红外图像中复杂背景对热斑检测的影响，并且通过对YOLOv5目标检测模型进行改进，可提升小目标热斑检测的性能，实现热斑的准确识别。

2 光伏组件区域分割模型

DeepLabv3+是经典的语义分割模型之一，通过引入全卷积网络、ASPP模块和解码器模块等关键改进，可实现高性能的语义分割结果，但在光伏组件区域分割任务中仍需改进。针对光伏组件分割速度慢、边缘提取效果较差和正负样本不均衡的问题，本文在DeepLabv3+的基础上进行改进优化，提出一种改进的DeepLabv3+光伏组件区域分割模型。

2.1 DeepLabv3+模型

DeepLabv3+［9］模型在DeepLabv3架构的基础上引入了编码器-解码器（Encoder-Decoder）结构。该模型首先将图片输入Encoder编码器，进行特征提取，再经过主干网络Xception模型生成两个有效特征层，分别为浅层特征层和深层特征层。将生成的深层特征层输入ASPP结构中，经过1[×]1卷积，以及使用采用多尺度膨胀卷积进行特征提取，使得网络有不同的特征感受情况，之后将特征层进行堆叠，再经过1[×]1卷积进行通道数调整。将生成的浅层特征层输入到Decoder解码器中，经过1[×]1卷积后与经过4倍上采样的具有高语义信息的特征层进行特征融合，之后经过3[×]3的卷积和4倍上采样，得到预测结果。DeepLabv3+模型图如图2所示

在DeepLabv3+中用逐像素交叉熵［10］作为损失函数：

[LCE=-ylnp+（1-y）ln（1-p）] （1）

式中：[y]——标签；[p]——样本预测为正样本的概率。

2.2 DeepLabv3+模型改进

原DeepLabv3+模型提取光伏组件速度较慢并且得到的光伏组件边缘不平滑。由于提取光伏组件区域的速度和准确率影响第二阶段的热斑故障检测，考虑到两阶段式热斑检测方法对第一阶段分割结果的高度依赖，本实验将DeepLabv3+的主干网络Xception替换为MobileNetv2网络，减小模型参数量，加快分割速度；将编码器对输入图像的下采样倍数由16修改为8，减少信息丢失，使网络更好地保留输入图像的高分辨率信息，提高分割效果。

光伏组件在红外图像中所占的像素比例较少，会出现正负样本不均衡的问题。而原有的交叉熵损失函数往往无法有效平衡较少样本类别。Dice Loss［11］常被用于正负样本不均衡的情况，它可有效处理目标区域和背景之间的像素数量差异，损失函数公式如（2）所示。为了解决正负样本不均衡的问题，提高分割精度，本文分割模型使用由交叉熵损失和Dice Loss两部分构成的混合损失函数，混合损失模型公式如式（3）所示。

[LDice=1-2y⋂p+1y+p+1] （2）

[L=LCE+LDice2r] （3）

式中：[y⋂p]——两者共有的元素数量；[r]——损失函数的权重因子，取[r=0.5]。

3 光伏组件热斑检测模型

YOLOv5模型是当前主流的单阶段目标检测模型，具有检测速度快、精度高等优点，在开源数据集上表现较好，但在热斑检测中仍需改进。针对航拍红外图像中小目标热斑漏检、误检的问题，本文在YOLOv5模型基础上改进优化，提出一种改进的YOLOv5热斑检测模型。

3.1 YOLOv5模型

YOLOv5官方代码中共有4个版本，分别是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。YOLOv5s模型是YOLOv5系列中深度最小，特征图宽度最小的模型，其他3种都是在此基础上进一步加深、加宽。因此，YOLOv5s模型的参数量和计算量最小、推理速度最快。考虑到热斑检测的实时性需求，本文选用YOLOv5s作为改进模型。YOLOv5s模型分为4个部分。

输入端：采用Mosaic数据增强方法，通过以随机缩放、随机裁剪和随机排布的方式对4张图片进行拼接，从而增加了数据集的多样性和丰富性；

主干网络（Backbone）：采用CSPDarkNet53网络，进行特征提取；

颈部（Neck）：采用特征金字塔（feature pyramid networks，FPN）［12］和路径聚合网络（path aggregation network，PAN）［13］组成，其中FPN自顶而下，将高层特征通过上采样向下对特征图进行传递融合，PAN则自底向上传达强定位特征，从不同的主干层对不同的特征层进行特征聚合；

头部（Head）：采用边界框回归损失CIoU［14］和非极大值抑制模型来提高模型的识别准确度。

3.2 YOLOv5模型改进

为解决航拍光伏红外图像小目标热斑误检、漏检问题，本文在YOLO5s模型的基础上采用增强版SPP模块，扩大感受野，增强特征提取与特征表达；引入浅层检测尺度，采用K-均值聚类算法重新计算锚点框的尺寸，以增加多尺度感知能力，提升对小目标热斑的检测性能；改进边框回归损失函数，更准确地衡量预测边框与真实边框之间的相似度。改进后具体的模型结构如图3所示。

3.2.1 采用增强版SPP模块：SPPCSPC

光伏红外图像分辨率较低，无法提供细微的细节和精确的空间信息，并且热斑区域与光伏组件颜色对比度低，存在噪音干扰的问题。因此，本文在Backbone部分采用YOLOv7的SPPCSPC模块替代原YOLOv5s的SPP［15］结构，优化后的模型通过多尺度池化操作扩大了感受野，更好地补充缺失区域的特征，增强了模型在处理特征区域完整性不同的图像时的特征融合能力。SPPCSPC模块如图4所示，该模块综合了跨阶段局部网络（cross stage partial network，CSP）结构［16］和空间金字塔池化结构（spatial pyramid pooling，SPP）结构。其中CSP结构首先将输入特征分为常规卷积和SPP结构两部分。SPP结构通过4个不同池化核的最大池化操作增大感受野，使模型适应不同的分辨率图像，从而更有效地区分大小目标。最后将这两部分合并，减少了一半的计算量，使得速度加快、精度提升。

3.2.2 引入浅层检测层

YOLOv5s模型采用三尺度特征层进行检测，尺度大小分别为20×20、40×40和80×80。由于YOLOv5模型的下采样倍数比较大，训练过程中较深层次的特征图经过多次卷积池化后会损失许多小目标的特征信息，从而导致检测精度降低。为了解决上述问题，本文引入小目标检测层，将浅层特征图与深层特征图拼接后进行检测，拓展为四尺度检测，改进后的结构如图3所示。在第17层后，继续增加卷积层和上采样处理，扩大特征图的尺寸，同时在第20层时，将大小为160×160的特征图与主干网络中第2层特征图进行concate融合，以此获取更丰富和多尺度的特征图进行小目标检测。引入的浅层信息包含许多形状、位置和大小等信息，减少了卷积过程中较小目标区域特征的信息丢失，能够更好地检测小目标。

同时，YOLOv5模型在配置文件中默认保存了针对COCO数据集的锚框尺寸。由于自定义数据集中热斑故障的尺寸大小与COCO数据集存在差异，因此需重新学习锚框尺寸。YOLOv5中增加了以往YOLO系列没有的自适应锚定框，可自动使用K-均值聚类算法对训练数据中的目标框进行聚类，得到一组适应性较好的锚定框。根据自定义数据集进行K-均值聚类得到的各分支锚框分配表如表1所示，这样能减少由于物体过小而锚框过大导致的物体被忽略掉的情况。

3.2.3 改进损失函数

YOLOv5的损失主要由3个部分组成，即：

[L=Lobj+Lcls+Lbox] （4）

式中：[Lobj]——置信度损失，采用交叉熵损失；[Lcls]——分类损失，采用交叉熵损失；[Lbox]——边框回归损失，采用CIoU Loss。

CIoU Loss考虑了边界框回归的重叠面积、中心点距离和纵横比，但纵横比描述的是相对值，存在一定的模糊，未考虑难易样本的平衡问题，故本文选择SIoU代替CIoU代替作为预测框的回归损失。SIoU包含4个部分：角度损失（angle cost）、距离损失（distance cost）、形状损失（shape cost）、IoU损失（IoU cost）。

[Lbox=1-LIoU+Δ+Ω2] （5）

式中：[LIoU]——IoU损失函数；[Δ]——距离损失；[Ω]——形状损失。

相比其他IoU损失函数，SIoU损失函数在边框回归中考虑距离、形状和IoU外，引入所需回归的向量角度即匹配的方向，重新定义了距离损失，有效降低了回归的自由度，从而加速网络的收敛［17］。

4 实验结果与分析

4.1 实验平台

本文实验基于PyTorch1.8.1框架，运行环境CPU为I9 12900H，GPU为NVIDIA RTX3080，CUDA版本为11.1。

4.2 数据集

光伏红外图像热斑故障暂无开源数据集，因此本文采集某光伏电站的红外图像制作数据集，光伏电站装机总容量为2.58 MWp，有10880个光伏组件。本文使用无人机搭载红外成像仪对正在运行的光伏电站进行巡检，采集训练所需的光伏组件红外图像样本，并且人为监督对采集得到的红外图像进行筛选，筛选出含有光伏组件的图像，删除成像效果不佳图像。最终本实验共收集到1721张红外图像，其中包含正常图像266张，热斑故障图像1455张，图像分辨率均为640[×]512。为了提高模型的泛化能力，减轻过拟合问题，对原始图像随机进行旋转、翻转、平移、改变亮度和加高斯噪声等操作，将光伏红外图像数据集扩充到4000张，数据增强部分效果如图5所示。

1）分割数据集。在组件分割阶段，数据被划分为两类，其中光伏组件区域为正样本，其他部分均为负背景。使用LabelMe软件对4000张红外图像标记光伏组件像素制作语义分割数据集，生成对应的标签图像（如图6所示），其中长条部分代表光伏组件区域，其余部分代表无关的背景区域。然后按照8∶2的比例划分训练集和测试集。

2）目标检测数据集。在组件热斑检测阶段，将光伏组件上的热斑故障按照不同形态特征分为：圆形热点，矩形热点和不规则热点3类，如图7所示。从第一阶段得到的不包含背景区域的掩膜图片中筛选出具有热斑故障的3360张图片，使用LabelImg软件标记热斑故障位置制作目标检测数据集，然后按照8∶2的比例划分数训练集和测试集。

4.3 光伏组件区域分割结果与分析

4.3.1 模型训练

在组件分割模型的训练中，训练集和测试集的数量分别为3200和800。训练时采用COCO数据集预训练权重初始化模型的权重。训练分为冻结阶段和解冻阶段两个阶段。在冻结阶段，主干网络被冻结，初始学习率为[5×10-4]，batch size设置为16，训练50次；在解冻阶段，batch size设置为8，训练50次。

4.3.2 评测指标

为了评价组件分割模型的性能，本文实验采用平均像素准确率（[PMPA]）、平均交并比（[PmIOU]）和每秒传输帧数（frames per second，FPS）作为评价指标，其数学定义如下：

[PMPA=1ni=0nRiii=0nRij] （6）

[PmIOU=1ni=0nRiij=0nRij+j=0nRji-Rii] （7）

式中：[Rii]——真实值为[i]类，预测为[i]类的像素数；[Rij]——真实值为[i]类，但被预测为[j]类的像素值；[n]——像素类别数目。

4.3.3 实验结果与分析

为直观比较改进前后DeepLabv3+模型的提取效果，使用测试集中的图片作为输入对两个模型进行评估和比较，结果如图8所示。改进前后的模型在训练过程中，均使用相同的数据集和参数设置。从图8可看出，改进前后的DeepLabv3+模型均能基本识别出光伏组件区域，重合度较高。但原DeepLabv3+模型分割得到的背景与光伏组件的边界轮廓较粗糙，而本文模型得到的光伏组件边缘更为平滑，且原DeepLabv3+模型提取效果较差，存在欠分割现象，部分光伏组件区域被识别为背景。本文模型相比于原DeepLabv3+模型，能够更加准确地将光伏组件区域与背景区分开，从而提升光伏组件分割的准确性和可靠性。

为了进一步验证本文所提方法的有效性，将本文改进模型与其他经典模型在光伏组件区域分割数据集上的结果进行对比，如表2所示。由表2可知，本文模型的[PMPA]、[PmIOU]和FPS这3个指标均高于PSP-Net模型和DeepLabv3+模型。其中，本文模型在光伏组件区域分割数据集上的平均像素准确率[PMPA]为97.95%，比PSP-Net模型提高了3.76个百分点，比DeepLabv3+模型提高了1.7个百分点；本文模型在光伏组件区域分割数据集上的平均交并比[PmIOU]为95.97%，比PSP-Net模型提高了2.04个百分点，比DeepLabv3+模型提高了1.51个百分点；本文模型在光伏组件区域分割数据集上的FPS为62.3 帧/s，比PSP-Net模型提高了10.4 帧/s，比DeepLabv3+模型提高了47.2 帧/s。因此本文模型相比PSP-Net和DeepLabv3+模型，性能均有提升。

本文模型在光伏组件区域分割数据集上的[PMPA]和[PmIOU]指标略低于U-Net模型，其中平均像素准确率[PMPA]降低了0.21个百分点，平均交并比[PmIOU]降低了0.24个百分点。但本文模型的参数量为5.81×106，相比于U-Net模型降低了19.09×106；本文模型的FPS为62.3，相比于U-Net模型提高了42.2 帧/s。本文模型相比于U-Net模型分割精度相差不大，但其检测速度加快，满足了热斑检测实时性需求。综合来看，本文模型较好地实现了在分割精度和轻量化之间的平衡。

4.4 光伏组件热斑检测结果与分析

4.4.1 模型训练

在热斑检测模型训练中，训练集和测试集的数量分别为2688和672。训练时采用YOLOv5官方提供的预训练权重训练自己的网络，加快网络的收敛。模型训练时设置的总训练数量为180个epochs，学习率为0.01，采用SGD优化器对网络权重进行优化，动量设置为0.937，权重衰减系数为0.0005。

4.4.2 评测指标

为了评价热斑检测模型的性能，本文实验使用准确率（precision，P）、召回率（recall，R）、平均精度（average precision，[AP]）和平均精度均值（mean average precision，mAP）作为评价指标。其中mAP50为IoU阈值取0.5时，所有类别AP的平均值；[mAP]50∶95为IoU阈值从0.50到0.95，步长为0.05，不同IoU阈值下的平均mAP。

其数学定义如下：

[R=TPTP+FN×100%] （8）

[P=TPTP+FP×100%] （9）

[AP=01P（R）] （10）

[mAP=1cj=1cAPj] （11）

式中：[TP]——检测正确的热斑故障数目；[FN]——漏检的热斑故障数目；[FP]——误报的热斑故障数目；[c]——类别数量。

4.4.3 实验结果及分析

图9依次为改进前后的YOLOv5模型在训练过程中的边框回归损失、置信度损失和分类损失对比图。改进前后的YOLOv5模型，训练时均使用相同的数据集和参数设置。由边框回归损失可知，本文模型比原YOLOv5模型更快达到收敛且损失值更低，表明改进后的边框回归损失函数加快了网络的训练和收敛速度。本文模型与原YOLOv5模型的置信度损失和分类损失相近不大且始终小于原YOLOv5模型。由此可知，改进后的模型可降低最终的损失值，提高目标检测的准确性和性能。

1）消融实验。为分析每个改进点的有效性设计消融实验，每组实验使用相同的环境以及训练技巧，结果如表3所示。其中采用增强版SPP模块、引入浅层检测层、改进损失函数分别对应改进点1～3。由表3可知，本文设计的改进点均可有效提升热斑故障检测的精度。首先，引入浅层检测层的平均精度均值mAP50∶95指标提升最为明显，提升了8.6个百分点，说明增加浅层检测层，重新学习锚框尺寸，能更好地检测小目标，减少由于物体过小而锚框过大导致的物体被忽略掉的情况。其次，改进损失函数的平均精度均值mAP50∶95指标提升了1.7个百分点，说明改进损失可加速网络收敛、减少训练时间。再次，采用增强版SPP模块的平均精度均值mAP50∶95指标提升了0.6%，说明SPPPCSPC模块通过多尺度特征表示能够提高目标检测模型的准确性。最后，将这3种改进方法同时应用于YOLOv5模型，准确率、召回率、平均精度均值mAP50和mAP50∶95指标均有提升，表明这些改进方法的综合效果对模型的整体性能有积极的影响。

2）对比分析。为了验证本文所提方法的有效性，将改进模型与主流目标检测模型进行对比，结果如表4所示。由表4可知，在自制红外图像测试集中，本文模型的平均精度均值mAP50相比于Faster RCNN、SSD、YOLOv4和YOLOv5模型分别提升了2.4、9.9、7.1、2.6个百分点。从检测精度来看，本文模型具有更有高的的检测性能。同时，从模型参数量和推理时间来看模型参数量从小到大排序为YOLOv5、本文模型、SSD、YOLOv4、Faster RCNN，推理时间的排序为YOLOv5、YOLOv4、本文模型、SSD、Faster RCNN。可以看出，相比于SSD和Faster RCNN模型，本文模型在参数量和推理时间方面均大大降低，并且具有更高的检测精度。本文模型与YOLOv4相比，推理时间只多3.9 ms，但平均精度均值mAP50提升了7.1个百分点，平均精度均值mAP50∶95提升15%。本

文模型与YOLOv5相比推理时间只多5.4 ms，但平均精度均值mAP50提升了2.6个百分点，平均精度均值mAP50∶95提升了10.7个百分点。综合来看，本文模型仅增加少量推理时间，但检测性能大幅提升，整体优势明显。

3）可视化分析。为了进一步验证二阶段式航拍红外图像热斑检测方法的检测性能，本文从测试集中选取图片进行测试，测试结果如图10所示，其中图10a为不去除背景，使用原YOLOv5模型检测效果图，图10b为使用二阶段式热斑检测方法的检测效果图。可明显看出，干扰背景的红外特性与热斑故障极为相似，原始YOLOv5模型会将干扰背景误认为热斑故障，但二阶段式热斑检测方法会首先从红外图像中快速、精准地提取光伏组件区域，去除背景干扰对热斑检测的影响，并且使用改进的YOLOv5模型可检测出原YOLOv5未检测出的故障，热斑故障检测的整体置信度均高于原YOLOv5模型，证明二阶段式检测方法对热斑检测的效果较好。

5 结 论

本文针对航拍光伏红外图像中热斑故障多为小目标且与干扰背景极为相似，而导致的热斑故障检测精度低的问题，提出一种基于深度学习的二阶段式热斑检测方法，对热斑故障检测具有很好的效果。得出如下主要结论：

1）对DeepLabv3+模型进行优化，提升了光伏组件区域提取的准确度和速率。通过将DeepLabv3+模型的替换主干网络为轻量级网络MobileNetv2网络以降低网络复杂度并采用交叉熵损失和Dice Loss两部分构成的混合损失函数解决正负样本不均衡问题，光伏组件的分割准确率、交并比和检测速度较原DeepLabv3+模型分别提升了1.7、1.51个百分点和47.2 帧/s。

2）对YOLOv5模型进行优化，提升了热斑故障检测的精度和速率。首先采用增强版SPP模块，以扩大感受野，平均精度均值mAP50∶95提升了0.6个百分点；其次，引入浅层检测尺度，以增加多尺度感知能力，平均精度均值mAP50∶95提升了8.6%个百分点；最后改变边框回归损失函数，以提升检测框的定位准确性，平均精度均值mAP50提升了1.7个百分点。经过改进后的YOLOv5模型较原始模型mAP50∶95提升了10.7个百分点。

3）基于深度学习的两阶段热斑检测方法可消除背景干扰对热斑检测的影响，并且改进后的YOLOv5模型，可检测出原YOLOv5模型未检测出的故障，检测的整体置信度均高于原YOLOv5模型。

［参考文献］

［1］ 水电水利规划设计总院. 中国可再生能源发展报告-2022［M］. 北京： 中国水利水电出版社， 2023.

Hydropower and Water Resources Planning and Design Institute. China renewable energy development report（2022）［M］. Beijing： China Water amp; Power Press， 2023.

［2］ 杨亚楠. 太阳能光伏阵列识别及热斑检测技术的研究与实现［D］. 南京： 南京邮电大学， 2018.

YANG Y N. Design and implementation of solar photovoltaic array identification and hot spot detection technology［D］. Nanjing： Nanjing University of Posts and Telecommunications， 2018.

［3］ 郭梦浩， 徐红伟. 基于Faster RCNN的红外热图像热斑缺陷检测研究［J］. 计算机系统应用， 2019， 28（11）： 265-270.

GUO M H， XU H W. Hot spot defect detection based on infrared thermal image and Faster RCNN［J］. Computer systems amp; applications， 2019， 28（11）： 265-270.

［4］ 孙海蓉， 李号. 基于深度迁移学习的小样本光伏热斑识别方法［J］. 太阳能学报， 2022， 43（1）： 406-411.

SUN H R， LI H. Photovoltaic hot spot identification method for small sample based on deep transfer learning［J］. Acta energiae solaris sinica， 2022， 43（1）： 406-411.

［5］ GERD IMENES A， SAAD NOORI N， ANDREAS NESVÅG UTHAUG O， et al. A deep learning approach for automated fault detection on solar modules using image composites［C］//2021 IEEE 48th Photovoltaic Specialists Conference （PVSC）， Fort Lauderdale， FL， USA， 2021： 1925-1930.

［6］ HONG F， SONG J， MENG H， et al. A novel framework on intelligent detection for module defects of PV plant combining the visible and infrared images［J］. Solar energy， 2022， 236： 406-416.

［7］ 王道累， 李超， 李明山， 等. 基于深度卷积神经网络的光伏组件热斑检测［J］. 太阳能学报， 2022， 43（1）： 412-417.

WANG D L， LI C， LI M S， et al. Solar photovoltaic modules hot spot detection based on deep convolutional neural networks［J］. Acta energiae solaris sinica， 2022， 43（1）： 412-417.

［8］ 王道累， 李明山， 姚勇， 等. 改进SSD的光伏组件热斑缺陷检测方法［J］. 太阳能学报， 2023， 44（4）： 420-425.

WANG D L， LI M S， YAO Y， et al. Method of hotspot detection of photovoltaic panels modules on improved SSD［J］. Acta energiae solaris sinica， 2023， 44（4）： 420-425.

［9］ CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image" segmentation［M］. Cham：" Springer" International Publishing， 2018： 833-851.

［10］ MA Y D， LIU Q， QIAN Z B. Automated image segmentation using improved PCNN model based on cross-entropy［C］//Proceedings of 2004 International Symposium on Intelligent Multimedia， Video and Speech Processing. Hong Kong， China， 2004： 743-746.

［11］ SUDRE C H， LI W， VERCAUTEREN T， et al. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations［C］// International Workshop on Deep Learning in Medical Image Analysis，Quebec， Canada，2017.

［12］ LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature Pyramid Networks for Object Detection［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA， 21-26 July 2017.

［13］ LIU S， QI L， QIN H， et al. Path aggregation network for instance" " segmentation［C］//IEEE/CVF" "Conference" "on Computer Vision and Pattern Recognition. Salt Lake， USA， 2018.

［14］ ZHENG Z H， WANG P， LIU W， et al. Distance-IoU loss： faster and better learning for bounding box regression［J］. Proceedings of the AAAI conference on artificial intelligence， 2020， 34（7）： 12993-13000.

［15］ HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（9）： 1904-1916.

［16］ WANG C Y， MARK LIAO H Y， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］//2020" "IEEE/CVF" "Conference" "on" "Computer Vision and Pattern Recognition Workshops（CVPRW）. Seattle， WA， USA， 2020： 1571-1580.

［17］ 李小军， 邓月明， 陈正浩， 等. 改进YOLOv5的机场跑道异物目标检测算法［J］. 计算机工程与应用， 2023， 59（2）： 202-211.

LI X J， DENG Y M， CHEN Z H， et al. Improved YOLOv5’s" foreign" object" debris" detection" algorithm" for airport runways［J］. Computer engineering and applications， 2023， 59（2）： 202-211.

HEAT SPOT DETECTION METHOD OF PHOTOVOLTAIC INFRARED IMAGE BASED ON DEEP LEARNING

Niu Xiaoyu1，Liu Changliang1，2，Liu Weiliang1，2，Liu Shuai1，2，Wang Xin3，Kang Jiayao3

（1. Department of Automation， North China Electric Power University， Baoding 071003， China；

2. Baoding Key Laboratory for Condition Detection and Optimal Regulation of Comprehensive Energy System， Baoding 071003， China；

3. China Energy New Energy Technology Research Institute ， Beijing 102209， China）

Abstract：Heat spot faults in aerial photovoltaic infrared images are mostly small targets， which are very similar to the interference background， resulting in low detection accuracy of heat spot faults. A second-order segment heat spot detection method based on deep learning is proposed. In the first stage， interference background removal is performed. Aiming at the problems of slow segmentation speed， poor edge extraction effect and unbalanced positive and negative samples of photovoltaic modules， an improved DeepLabv3+ segmentation model was proposed by replacing the backbone network and adopting hybrid loss function to achieve fast and accurate extraction of photovoltaic module regions. In the second stage， the hot spot fault detection is carried out. To solve the problem of missing and 1 detection of small target hot spots， an improved YOLOv5 hot spot detection model was proposed by adopting the enhanced SPP module， introducing shallow detection scale and changing the border regression loss function， so as to achieve accurate identification of hot spots. The results show that compared with the original DeepLabv3+ segmentation model， the average pixel accuracy and average crossover ratio of the proposed segmentation model are increased by 1.7 and 1.51 percentage points， respectively. Compared with the original YOLOv5 model， the average accuracy of mAP50 and mAP50∶95 of the proposed heat spot detection model is increased by 2.6 and 10.7 percentage paints， respectively.

Keywords：PV modules； infrared imagery； hot spot； deep learning； DeepLabv3+； YOLOv5