基于改进DeepLabv3+的含噪声热红外图像光伏热斑检测方法

收稿日期：2022-07-15

基金项目：上海市自然科学基金面上项目（20ZR1421300）；上海市浦江（D类）人才计划（21PJD025）；上海市科委创新行动科技支撑碳达峰碳

中和（21DZ1207300）；国家科技部外国专家局项目（DL2022013007L）

通信作者：陈 辉（1982—），女，博士、副教授、硕士生导师，主要从事机器视觉与模式识别、机器人导航与地图构建SLAM、电力设

备状态检测、电厂信息化三维重建等方面的研究。chenhui@shiep.edu.cn

DOI：10.19912/j.0254-0096.tynxb.2022-1048 文章编号：0254-0096（2023）11-0023-08

摘 要：光伏组件表面钢化玻璃会导致采集的热红外图像中带有反光噪声， 其与热斑的特征相似，热斑检测中常出现误检。该文提出一种多尺度融合注意力机制的轻量化DeepLabv3+语义分割模型LD-MA（lightweight DeepLabv3+ with multi-scale integrated attention mechanism）用于热斑检测。LD-MA基于DeepLabv3+网络架构，首先引用MobileNetV2作为主干特征提取网络，减小网络参数量以提高训练效率。然后设计多尺度特征融合模块并引入CBAM注意力机制，保留多阶段目标特征且强化对热斑目标特征信息和位置信息的学习。在自建光伏热斑数据集进行热斑检测实验，结果表明LD-MA模型参数量大幅减少，同时有效避免误检和漏检，在测试集中平均交并比（mIoU）和类别平均像素准确率（mPA）分别达到90.82%和94.39%。

关键词：光伏组件；故障检测；语义分割；热斑；反光噪声

中图分类号：TN219""""""""""""" """"""" """""文献标志码：A

0 引 言

光伏电站中光伏组件作为能量转换的核心部件，长期暴露室外，极易被灰尘、鸟粪等污渍覆盖遮挡，这部分被遮蔽的光伏组件会作为负载消耗能量，造成局部温度升高形成热斑，这会降低光伏系统发电效率和光伏组件使用寿命甚至引起火灾，因此在光伏电站运维中对热斑的快速准确检测尤为重要。

目前针对光伏组件热斑检测手段主要分为基于电路特性分析和基于热斑图像分析两种。其中基于电路特性的检测手段中，Kim等［1］提出采用交流参数表征检测阻值变化进而判断是否出现热斑的方法；陈功等［2］提出一种基于光伏组件表面发热量与输出电流关系进行光伏组件故障检测，再通过构建特征值数据库定位热斑的方法。该类方法能够有效检测故障，但可视性较差，难以对热斑状态及故障原因分析提供帮助。而利用基于图形特征的机器视觉技术进行热斑检测相对低本高效，且能够直观地表现热斑的形态位置及受损程度，进而提供有效的维修参考，近年来取得很大进展，但反光噪声及小尺度热斑的误检和漏检问题又对此类方法提出了新挑战。

传统图像处理方法包括阈值分割、边缘信息提取和基于形态特性的分割，蒋琳等［3］提出基于灰度直方图结合B样条最小二乘拟合的处理方法以抑制红外图像噪声，提高检测热斑的准确率；陈文勤等［4］在光伏阵列区域完成局部灰度特征的高精度分割，效果可观。但在热红外图像含有强烈反光噪声时，以上方法仍难以解决反光噪声误识别问题。

基于深度学习的图像处理方法由数据驱动，能够提取热斑多维度特征，实现精准快速的热斑检测。针对热斑检测任务，如SSD［5］、YOLO［6］系列的目标检测算法，SegNet［7］、PSPNet［8］、DeepLab［9］系列、U-Net［10］等语义分割网络均能有效完成任务。在实际运用中， Ali等［11］提出基于混合特征的支持向量机（support vector machine， SVM）的机器学习算法进行光伏组件热斑检测和分类，实现对光伏组件的有效监测和诊断；任一峰等［12］利用改进的单激发多盒探测器（single shot multibox detector， SSD）算法检测热斑，检测速度得到显著提高；苏斌益等［13］提出一种残差通道式注意门网络（residual channelwise attention gate network， RCAG-Net），利用多尺度特征融合等方式构建热斑检测网络，并具有可观的热斑检测能力；王道累等［14］将Faster R-CNN用于红外热斑图像检测，检测的平均精度明显提高。热斑面积是分析热斑影响重要指标［15］，因此能够完成像素级分类的语义分割算法便于热斑面积计算，更适合热斑检测的任务。

综上所述，本文提出一种改进DeepLabv3+语义分割网络用于热斑检测，通过设计多尺度融合模块，并引入注意力机制，结合数据增强、迁移学习等技术实现多尺度融合注意力机制的轻量化DeepLabv3+语义分割模型LD-MA（Lightweight DeepLabv3+ with multi-scale integrated attention mechanism）的搭建。实验表明，与传统语义分割模型相比，LD-MA模型对含有反光噪声的热斑以及小尺度的分割能力明显提升，能够有效完成各类热斑检测。

1 当前热斑检测存在问题

目前运用传统图像处理和语义分割方法在热斑检测任务中仍存在难以解决的问题。其中利用阈值分割的传统图像处理技术进行目标检测时，要求目标与背景的灰度特性差异明显，在含有反光噪声时阈值选取过高或过低则会造成热斑错检或漏检。实验选用手动阈值寻找和自适应阈值寻找的大津法进行热斑分割。如图1所示，在热红外图像中，反光噪声与热斑的灰度特性相似，极易造成造成热斑误检（图1b、图1c）。

同时，基于机器学习的语义分割技术在小目标检测和强噪声干扰下仍会出现漏检和误检，DeepLabv3+语义分割网络的创新性体现在其添加的包含空洞卷积的解码-编码结构，该结构通过空洞卷积可任意控制特征图的分辨率，在精度满足要求的情况下提高模型拟合速度。但其仅在主干特征提取网络中提取一个分辨率为输入图像1/4大小的浅层特征进入网络解码层，丢失了较多数据特征。其次，在DeepLabv3+的空洞空间金字塔池化层中6、12、18的空洞率组合较大，该组合会导致空洞卷积层的像素采样变稀疏，这两个主要原因会造成目标特征上提取不足，会丢失较多边界信息，直接用于热斑检测任务中会导致漏检和误检。实验基于传统DeepLabv3+进行，测试其热斑检测能力。图2展示了检测结果，相较传统图像处理技术其检测效果更好，但存在反光噪声误识别和小尺度热斑漏检、分割边界不完整的问题。

2 LD-MA网络模型

图3描述了本文融合注意力机制的轻量化DeepLabv3+网络架构LD-MA总体结构，改进后的模型涵盖MobileNetV2（图中M）主干特征提取网络，多尺度特征融合模块（图中M-S），

CBAM注意力机制（convolutional block attention module） （图中C），改进的空洞空间金字塔池化结构（atrous spatial pyramid pooling， ASPP）。本节将对上述组成LD-MA的单元模块进行详细介绍。

2.1 主干特征提取网络

传统DeepLabv3+语义分割模型中的主干特征提取网络为Xception，其卷积层中通道数过多，导致网络运行产生大量参数造成计算缓慢，这与实际应用中硬件部署网络计算量低的要求不符。受文献［16］启发，本文LD-MA引入MobileNetV2作为主干提取网络，以求更高的网络计算效率。MobileNetV2是一种轻量化网络结构，网络结构特征在于设计了倒残差结构（inverted residuals）和线性瓶颈结构（linear bottlenecks），实现计算量的大幅减小并能提供特征信息的保护［17］。

在减小计算量方面，倒残差网络结构先对通道数较少的特征使用1×1尺寸的卷积完成维度提升，通道扩张后进行特征采集，为了保证输入输出的维度一致，再利用1×1卷积降低维度。对于通道数较大的中间层，MobileNetV2采用深度可分离卷积（depthwise separable convolution）代替3×3标准卷积。深度可分离卷积的工作过程是先利用卷积核对每个通道分别进行卷积，卷积核数量等于上层通道数量，完成深度卷积后再进行逐点卷积，最后将深度卷积的输出完成组合并恢复其通道数量。

在减小特征损失方面，MobileNetV2利用倒残差结构使得特征层通道先扩张后压缩。传统的非线性激活函数会在激活信息时将某一通道的部分值置零从而导致特征丢失，当通道数量较少时丢失的信息会更多。为解决这一问题，MobileNetV2在网络中先将通道数量扩张，通过增加更多通道数量以补偿某些通道丢失的特征，在经过卷积过程的特征采集后，再由1×1卷积层进行通道压缩。为进一步减小非线性激活函数导致的信息丢失，网络将卷积和升维过程的激活函数改为ReLU6，较好地解决了由于梯度消失造成的特征丢失问题，ReLU6算法如式（1）所示。

[f（x）=minmax（0，x），6]""" （1）

同时，网络设置的线性瓶颈层让降维后的卷积层进行线性函数输出，避免非线性激活函数造成的特征丢失。线性瓶颈层与倒残差结构共同组建MobileNetV2的基本组成结单元Block，总体结构包含17个Block。

2.2 CBAM注意力机制

传统DeepLabv3+直接用于热斑检测任务中，远离热斑主体特征不明显的目标易被漏检，与热斑特征相似的反光噪声易被误检，为改善这一问题，LD-MA引入CBAM注意力机制。注意力机制的工作机理是通过增加目标特征的权重并抑制其他特征的权重，实现神经网络训练过程自适应的聚焦重要特征。添加注意力机制能有效加强网络关键特征的学习能力，提高网络训练模型的泛化能力。注意力机制按照通道和空间进行划分，CBAM［18］在考虑通道特征的基础上结合空间维度的信息，既能强化目标特征，又能考虑目标位置信息。根据CBAM注意力机制结构（图4），其会对输入的特征层先后进行通道注意力机制和空间注意力机制的处理。

其中，通道注意力机制关注目标关键特征，其会将特征分别进行平均池化和最大池化操作，将处理后的特征信息利用共享全连接层将两者相加，最后通过Sigmoid函数获取通道注意力机制映射特征，即得到输入特征层每一个通道权重。

同时，空间注意力机制将通道注意力机制输出作为空间注意力机制的输入，首先对输入在每个特征点计算最大值和平均值，这一步骤与通道注意力机制计算过程类似，其后需要将两者堆叠合并再降维到单通道，通过激活函数获取经空间注意力机制处理后的目标特征值，即为输入特征层每个特征点的权值，将其与网络输入原始特征层相乘即获得最终通过CBAM注意力机制处理后的特征。CBAM整体计算过程可由式（2）表示。

[FCBAM=∂（MLPFcavg+MLPFcmax）×F×∂（f[Fcavg，Fcmax]）]"" （2）

式中：[F]——网络原输入特征层；[∂]——Sigmoid函数；[Fcmax]和[Fcavg]——全局最大池化和全局平均池化处理结果；[f]——通道数为1的卷积。

2.3 多尺度特征融合模块

在语义分割任务中，为了保证预测结果的精度，需要目标大量的边缘特征信息，该类特征大多存在于目标的低层中，而原始DeepLabv3+仅从主干特征提取网络Xception中提取一个分辨率为输入图像1/4大小的浅层特征进入网络解码层，会导致网络在小尺度目标特征上提取不足，会丢失较多边界信息进而影响分割精度，直接用于热斑分割中会导致小尺度热斑与特征不明显的热斑漏检。因此，本文在基于MobileNetV2的主干特征提取网络中设计了多尺度特征融合模块，增引两个不同跃层的低层特征再与原低层特征合并为新的浅层语义信息进入解码阶段，以达到保留小尺度信息和减少冗余特征信息的目的。如图5所示，引出模块0、1和2的低层特征输出。首先，将上述3个低层特征输出进行1×1卷积统一通道数，将后2路低层信息分别进行2倍和4倍的上采样统一尺寸，再将三者堆叠合并输出，作为网络的浅层语义信息。添加不同尺度的低层信息特征构建的浅层语义信息能有效避免卷积神经网络的逐层信息丢失问题，保留更多重要特征，提高网络整体的语义分割精确度。

2.4 空洞率调整

DeepLabv3+中的空洞空间金字塔池化结构ASPP能够调整结构中的空洞卷积的尺寸，以满足不同任务的实际需求。空洞卷积结构的作用是扩大卷积核的感受野，但当空洞率过大会使空洞卷积层的像素采样变稀疏，可能会导致关键特征信息丢失。原网络结构中采用的6、12、18组合的空洞率，在热斑检测的任务中此空洞卷积的组合较大会导致分割小目标的能力欠缺，最终造成小尺度热斑的漏检。结合实际数据中热斑尺度，同时为了减小网格效应，空洞率组合不应有大于2的公因数，因此LD-MA将空洞率组合更改为2、3、7，避免丢失小尺度信息，提升模型提取小尺度热斑的效果。

2.5 LD-MA工作流程

通过上述模块的添加与改进，形成基于传统DeepLabv3+网络结构的LD-MA模型，模型的具体工作流程如下：

1） 原始热红外图像数据[P]送入MobileNetV2；

2） 其中MobileNetV2前3个Block输出经过尺度特征融合形成浅层特征[P1]，MobileNetV2的网络输出为深层特征[P2]；

3）[P2]作为注意力机制CBAM的输入，深层特征经过CBAM注意力机制进一步强化并进入改进空洞率的ASPP模块，利用空洞卷积层提取特征，堆叠输出后进行通道数压缩为处理后特征[P3]；

4）将特征[P1]、[P3]进行堆叠，完成深层与浅层特征融合，再通过3[×]3卷积和4倍上采样，最终恢复输入图像的分辨率大小并输出预测结果[P′]，其过程如式（3）所示，其中，[f ′]为3[×]3卷积操作。

[P′=f ′Concat（P1，P3）]"""" （3）

3 实验分析

3.1 热斑数据集构建

实验利用便携式红外热像仪在华东某光伏电站进行热斑图像数据采集，前期获取含有光伏热斑的原始光伏组件热红外图像220张，按照热斑像素面积是否小于图像面积3%以及热斑所在图像是否含有反光噪声分类为常规热斑、小尺度热斑和含有反光噪声的热斑3类，最后通过数据集制作软件Labelme将热斑区域进行标注。数据集的数据量和数据质量直接影响模型的泛化能力，实验中获取的原始数据数量不足，本研究采用随机裁剪、旋转、拼接等方式对原始数据集进行数据增强，最终构建包含1400张分辨率为560×350的光伏组件热红外图像热斑数据集，其中常规热斑图像807张，小尺度热斑184张，含反光噪声图像409张，3类热斑图像的原始图像和真实标签如图6所示。

3.2 实验相关参数

实验通过Tensorflow后端的Keras框架实现，所有算法均采用Python3编程语言。将构建的光伏热斑数据集按照8∶2划分为训练集和测试集，训练将初始学习率设置为0.001，训练过程结合硬件条件设置每个训练批次含2个图像，根据构建的光伏热斑数据集的数据量设置迭代次数为150，训练添加早停功能，当Loss函数连续5个世代未降低时则停止训练，防止训练过拟合。

评价指标方面采用网络参数量和语义分割领域最常用的准确度评价指标平均交并比（mean intersection over union，mIoU），类别平均像素准确率（mean pixel accuracy，mPA）对3种模型实验结果进行分析评估，两种准确度评价指标数学为：假设图像分割中共有[k+1]个类别，其中包含1个空类即背景，[pij]表示属于[i]类但被预测成[j]类的像素数量，[pii]表示属于[i]类同时被预测为[i]类的像素数量，同理有[pji]指属于[j]类但是被预测为[i]类的像素数量。其中平均交并比Pj计算如式（4）所示，类平均像素准确率Pz计算如式（5）所示。

[Pj=1k+1i=0kpiij=0kpij+j=1kpji-pii]""" （4）

[Pz=1k+1i=1npiij=0kpij]""""" （5）

损失函数方面，实验设计将交叉熵与相似度测量函数Dice系数［19］综合考虑，其中交叉熵[J]可表征两个概率分布之间的差异，其计算如式（6）所示。

[J=-1mj=1mi=1nYjilg（Xji）]" （6）

式中：[Yji]——真实标签；[Xji]——分割结果；[n]——类别数；[m]——当前批次样本数量。

Dice系数是一种相似度度量函数，常用作语义分割的评价指标，取值范围为［0，1］，其值为1时表示两者完全重合，计算式如式（7），其中[X]、[Y]分别表示网络模型分割结果和真实标签，将Dice系数作为Loss函数时其值[Dloss]与Dice的数值[VDice]关系如式（8）：

[VDice=2X⋂YX+Y]""""" （7）

[Dloss=1-VDice]""" （8）

结合Dice系数与交叉熵的网络损失函数如式（9）所示。

[Loss=Dloss+VDice]""""" （9）

3.3 验证实验

根据上述训练参数设置进行训练，由于早停环节的设置，模型在连续5代的Loss未减小则结束训练防止过拟合，因此在第93代训练结束后停止，共耗费1.3 h，损失值稳定在约0.05，训练的Loss变化过程如图7所示。

测试集涵盖常规热斑、小尺度热斑和带有反光噪声的热斑3类热斑图像共280张，利用训练好的模型进行热斑检测实验，该模型的3类热斑检测性能结果如表1所示，可视化结果如图8所示。可视化结果与原始图像进行融合，可根据检测结果与真实热斑的重合程度直观的判断热斑检测的效果，实验结果用不同样式的框展示反光噪声抑制和小尺度热斑检测效果。由实验结果可见，LD-MA在小尺度热斑检测和带有反光噪声的热斑检测中表现良好，对小尺度热斑检测边界清晰完整无缺陷，在反光噪声干扰中能有效抑制噪声，完成热斑的正确检测。但同时在含反光噪声性能表现上，其mIoU为87.92%有待提升，后续需进一步采集热斑图像以扩充数据集，提高模型识别热斑的准确率。

3.4 对比实验

为了比较LD-MA同其他语义分割模型的热斑检测能力，实验选用PSPNet、SegNet和DeepLabv3+这3种语义分割模型在本文自建数据集上进行对比试验，以平均交并比mIoU和类平均像素准确率mPA作为评价指标。实验比较4种语义分割模型在测试集的整体表现和对不同类别热斑的检测能力，将不同模型的热斑检测结果可视化展示如图9，通过不同类型框分别展示漏检、误检和不完整检测的结果，同时表2列出不同模型的测试集性能对比，图10展示了不同方法对3类热斑的检测性能对比。由可视化结果可见，4种语义分割网络对大部分热斑的检测效果均达到检测要求，但当在反光噪声干扰下PSPNet、SegNet和DeepLabv3+这3种传统语义分割模型出现了反光噪声误检、小尺度目标漏检现象，相比之下LD-MA的检测结果更好，体现在热斑边界分割更加清晰细腻，并能有效克服小尺度热斑漏检和反光噪声误检的问题。由性能对比结果可知，LD-MA表现的精度最高，测试集整体mIoU达到90.82%，mPA达到94.39%。在对3类热斑检测中，LD-MA仍表现最优。对比结果表明LD-MA语义模型通过多尺度特征融合模块添加了浅层语义信息的来源，在深层语义信息进入空洞卷积层前添加CBAM注意力机制并改进空洞空间金字塔池化结构的空洞率，最终在热斑检测任务中检测效果良好，小目标分割完整并且能够抑制反光噪声。

在网络结构优化方面，实验LD-MA与上述3种传统语义分割模型的模型参数量。实验结果如表3，实验结果表明LD-MA采用轻量级主干网络MobileNetV2相较3种传统语义分割模型采用的Xception和ResNet主干网络，模型参数量相较减少90%以上，极大提升了计算效率，避免消耗过多计算资源。

3.5 消融实验

根据实际实验硬件情况，实验以引用MobileNetV2为主干网络的DeepLabV3+模型为参考（表4首行），对CBAM注意力机制、尺度特征融合、空洞率改进的ASPP结构的有效性展开消融实验。实验采用控制变量法，所有实验使用相同训练集和测试集，结果展示了不同模块替换在相同测试集检测中的表现（表4），通过对比可知，CBAM和多尺度特征融合模块能够明显提升模型表现，仅改进空洞率的ASPP对模型影响较小。据表4末行与首行数据可知，在引入CBAM注意力机制、多尺度特征融合模块和改进空洞率的ASPP后，网络mIoU和mPA分别提高3.20个百分点和3.94个百分点。

4 结 论

为解决热斑检测任务中易出现的反光噪声误检和小尺度热斑漏检问题，提出一种融合注意力机制的轻量级DeepLabv3+语义分割模型（LD-MA）用于热斑检测，并通过自建热斑数据集检验方法的有效性。其中LD-MA采用MobileNetV2为主干特征提取网络，缩减模型参数量，提升模型训练效率；针对热红外图像中反光噪声造成误检和小尺度热斑漏检问题，模型在主干网络中设计添加了多尺度特征融合模块并在主干网络后引入CBAM注意力机制，保留更多目标边缘特征且强化对热斑目标特征和位置信息的学习，促进模型对热斑的特征理解。此外，模型选取合适的空洞卷积层的空洞率，但此改进对热斑检测任务的影响较小。

综合使用以上改进，本研究提出的LD-MA模型在小尺度热斑检测和抗反光噪声干扰上表现良好，mIoU和mPA分别达到90.82%、94.39%，能够有效完成实际热斑的检测任务。

［参考文献］

［1］"""" KIM K A， SEO G S， CHO B H， et al. Photovoltaic hot-spot detection for solar panel substrings using AC parameter characterization［J］. IEEE transactions on power electronics， 2016， 31（2）： 1121-1130.

［2］"""" 陈功， 蔡磊， 张琳， 等. 光伏热斑模拟建模及热成像分析［J］. 电子测量与仪器学报， 2021， 35（8）： 191-197.

CHEN G， CAI L， ZHANG L， et al. Photovoltaic hotspot simulation modeling and thermal imaging analysis［J］. Journal of electronic measurement and instrumentation， 2021， 35（8）： 191-197.

［3］"""" 蒋琳， 苏建徽， 施永， 等. 基于红外热图像处理的光伏阵列热斑检测方法［J］. 太阳能学报， 2020， 41（8）： 180-184.

JIANG L， SU J H， SHI Y， et al. Hot spots detection of operating PV arrays through IR thermal image［J］. Acta energiae solaris sinica， 2020， 41（8）： 180-184.

［4］"""" 陈文勤， 郝慧杰， 肖建， 等. 一种高精度的光伏阵列红外图像分割算法［J］. 计算机技术与发展， 2020， 30（11）： 153-157.

CHEN W Q， HAO H J， XIAO J， et al. A high-precision photovoltaic array infrared image segmentation algorithm［J］. Computer technology and development， 2020， 30（11）： 153-157.

［5］"""" LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot"" MultiBox"" detector［C］//European"" Conference"" on Computer Vision. Cham： Springer， 2016： 21-37.

［6］"""" REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA， 2016： 779-788.

［7］"""" BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE transactions on pattern analysis and machine intelligence， 2017， 39（12）： 2481-2495.

［8］"""" ZHAO H S， SHI J P， QI X J， et al. Pyramid scene parsing network［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA， 2017： 6230-6239.

［9］"""" CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE transactions on pattern analysis and machine intelligence， 2018， 40（4）： 834-848.

［10］""" RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.

［11］""" ALI M U， KHAN H F， MASUD M， et al. A machine learning framework to identify the hotspot in photovoltaic module using infrared thermography［J］. Solar energy， 2020， 208： 643-651.

［12］""" REN Y F， YU Y J， LI J， et al. Design of photovoltaic hot spot detection system based on deep learning［J］. Journal of physics： conference series， 2020， 1693（1）： 012075.

［13］""" SU B Y， CHEN H Y， LIU K， et al. RCAG-net： residual channelwise attention gate network for hot spot defect detection of photovoltaic farms［J］. IEEE transactions on instrumentation and measurement， 2021， 70： 1-14.

［14］""" 王道累， 李超， 李明山， 等. 基于深度卷积神经网络的光伏组件热斑检测［J］. 太阳能学报， 2022， 43（1）： 412-417.

WANG D L， LI C， LI M S， et al. Solar photovoltaic modules hot spot detection based on deep convolutional neural networks［J］. Acta energiae solaris sinica， 2022， 43（1）： 412-417.

［15］""" 魏缪宇， 卫东， 郭倩， 等. 局部异物遮挡状态下光伏单元输出特性与故障诊断方法［J］. 太阳能学报， 2021， 42（5）： 260-266.

WEI M Y， WEI D， GUO Q， et al. Output characteristics and fault diagnosis method of PV unit under partial shading［J］. Acta energiae solaris sinica， 2021， 42（5）： 260-266.

［16］""" 陈宗阳， 赵辉， 吕永胜， 等. 基于改进MobileNetV2网络的涂层表面缺陷识别方法［J］. 哈尔滨工程大学学报， 2022， 43（4）： 572-579.

CHEN Z Y， ZHAO H， LYU Y S， et al. A recognition method of coating surface defects based on the improved MobileNetV2 network［J］. Journal of Harbin Engineering University， 2022， 43（4）： 572-579.

［17］""" SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA， 2018： 4510-4520.

［18］""" WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］//European Conference on Computer Vision. Cham： Springer， 2018： 3-19.

［19］""" GUINDON B， ZHANG Y. Application of the dice coefficient to accuracy assessment of object-based image classification［J］." Canadian" journal" of" remote" sensing， 2017， 43（1）： 48-61.

PHOTOVOLTAIC THERMAL SPOT DETECTION METHOD WITH NOISY THERMAL INFRARED IMAGE BASED ON IMPROVED DEEPLABV3+

Chen Hui1，Zhang Ao1，Sun Shuai1，Liang Weibin2，Huang Heping3

（1. School of Automation Engineering， Shanghai University of Electric Power， Shanghai 200090， China；

2. Shanghai Enflame Technology Co.， Ltd.， Shanghai 201203， China；" 3. Zhengtai Instrument （Hangzhou） Co.， Ltd.， Hangzhou 310052， China）

Abstract：The tempered glass on the surface of photovoltaic modules will cause reflection noise in the collected thermal infrared images， which is similar to the characteristics of hot spots， which will often leads 1 detections in hot spot detection task. This paper proposes a lightweight DeepLabv3+ semantic segmentation model called LD-MA （Lightweight DeepLabv3+ with Multi-scale integrated Attention Mechanism） for hot spot detection. LD-MA is based on the DeepLabv3+ network architecture， First， MobileNetV2 is used as the backbone feature extraction network to reduce the amount of network parameters to improve training efficiency. Then， a multi-scale feature fusion module is designed and a CBAM attention mechanism is introduced to retain the multi-stage target features and strengthen the learning of hot spot target feature information and location information. The hot spot detection experiment was carried out on the self-built photovoltaic hot spot data set， and the results showed that the parameters of the LD-MA model were greatly reduced， and at the same time， 1 detection and missed detection were effectively avoided. In the test set， mIoU and mPA reached 90.82% and 94.39%.

Keywords：PV modules； fault detection； semantic segmentation； hot spot； reflection noise