基于改进U-Net网络的光伏板图像分割方法

任喜伟　韩欣　钟弋　何立风

摘要：光伏板區域识别与分割对光伏板的缺陷精确检测和组件精准定位有重要意义.在复杂环境下，针对光伏板图像存在对比度不强、边界模糊、背景复杂等影响分割的问题，提出了一种改进U-Net网络的光伏板图像分割方法.首先，搭建基于U-Net网络的对称编码-解码结构骨干网络；其次，使用深度可分离卷积替代传统卷积，并将高效ECA注意力模块添加到两组深度可分离卷积之间，以两组深度可分离卷积和一个ECA注意力模块组成一个block块，利用多个block块提升多层网络的分割性能；之后，引入交叉熵损失、Dice 损失、Focal 损失线性加权和作为新的损失函数，训练改进U-Net网络；最后，为验证方法的有效性，将改进U-Net网络与MobileNetV2网络、U-Net网络、Res-U-Net网络分别在3 200张光伏板红外图像数据集上进行横向对比.结果表明：改进U-Net网络的PA值和MIoU值达到了0.993 1和0.980 2，均优于其他3种网络模型，且参数量只有U-Net网络和Res-U-Net网络的33.3%和30.4%，仅次于MobileNetV2网络.因此，改进U-Net网络具有较高的准确性和泛化性，能够完成光伏板图像分割任务.

关键词：改进U-Net网络； 光伏板图像分割； 深度可分离卷积； ECA注意力模块； 损失函数

中图分类号：TP391.41文献标志码： A

Photovoltaic panel image segmentation method based on

improved U-Net network

REN Xi-wei， HAN Xin， ZHONG Yi， HE Li-feng（School of Electronic Information and Artificial Intelligence， Shaanxi University of Science & Technology， Xi′an 710021， China）

Abstract：Photovoltaic panel region recognition and segmentation is of great significance to defect detection and module positioning.Aiming at the problems that affect the segmentation of photovoltaic panel image，such as weak contrast，fuzzy boundary and complex background，it proposes a photovoltaic panel image segmentation method based on improved U-Net network.Firstly，the backbone network of symmetric encoding-decoding structure based on U-Net network is built.Secondly，depthwise separable convolutions are used to replace traditional convolutions，and an efficient ECA attention module is added between the two sets of depthwise separable convolutions .Two sets of depthwise separable convolutions and an ECA attention module form a block，and multiple blocks are used to improve the segmentation performance of the multi-layer network.Then，the linear weighted sum of cross entropy loss，Dice loss and Focal loss is introduced as new loss functions to train and improve U-Net network.Finally，to verify the effectiveness of the method，the improved U-Net network was compared with MobileNetV2 network，U-Net network and Res-U-Net network on 3 200 photovoltaic panel infrared image datasets respectively.The results show that the PA value and MIoU value of the improved U-Net network reach 0.993 1 and 0.980 2，which are better than the other three network models.The number of parameters is only 33.3% and 30.4% of U-Net network and Res-U-Net network，second only to MobileNetV2 network.Therefore，the improved U-Net network has high accuracy and generalization，and can complete the task of photovoltaic panel image segmentation.

Key words：improved U-Net network； image segmentation of photovoltaic panels； depthwise separable convolutions； ECA attention module； loss function

0引言

太阳能光伏发电以其广泛性、清洁性、丰富性在新能源领域取得了快速发展.当光伏板表面出现缺陷时，缺陷区域光照产生的能量转化效率将会大大降低，在红外图像上表现出高亮度特性.无人机与热成像技术的发展使得图像处理方式成为光伏板缺陷检测的首要方法［1］.为了能在不受复杂背景环境干扰的情况下，快速准确的找到缺陷区域，并对缺陷组件精准定位，需要先将完整的光伏板区域分割出来.针对光伏板区域的图像分割，毛峡等［2］提出了一种基于局部统计特征的光伏热斑图像有效区域分割算法.通过对图像滤波，计算局部标准差矩阵得到二值图像，寻找二值图像中的连通区域达到分割效果；赵玲玲等［3］通过HSV与RGB空间模型转换分析，设定HSV蓝色取值范围，对原始光伏面板RGB图像进行分割；Salamance等［4］计算光伏板中每个部分的水平共生矩阵和垂直共生矩阵的特征向量，通过板面区域的相似性，将红外图像光伏板的像素分割为属于光伏板和不属于光伏板两类.以上文献均使用传统图像处理方法分割光伏板区域，算法过于依赖颜色、边缘等特征，并且容易受背景干扰，算法泛化能力差，分割不够精准.

近年来，深度卷积神经网络在图像分割中展现出优越的性能.Ronneberger等［5］提出U-Net网络，包含编码器、解码器、跳跃链接三部分，能够融合不同尺度和细节信息，在自动驾驶、遥感影像分类、医学图像等领域［6-8］应用广泛.但由于网络结构较为简单，对部分形态的光伏板特征提取能力不强.Res-U-Net是将Res-Net残差网络［9］和U-Net网络结合的新型神经网络［10］，避免了因网络层数较深时的性能退化问题，相较于U-Net网络，Res-U-Net网络更易训练.但在光伏场景中依旧存在特征提取能力不足、网络参数量过大的问题.MobileNetV2网络使用深度可分离卷积代替传统卷积，并提出了倒残差模块，有效地降低了网络计算量和参数存储空间［11］.但因参数量的减少，影响了网络的分割性能.

鉴于此，本文提出了一种改进U-Net网络的光伏板图像分割方法.该方法首先将传统卷积替换为深度可分离卷积，降低了网络计算量，缩小了模型大小，其次将高效ECA注意力模块添加到两组深度可分离卷积之间，以两组深度可分离卷积和一个ECA注意力模块组成一个block块，利用多个block块提升多层网络的分割性能，之后引入交叉熵损失、Dice 损失、Focal 损失线性加权和作为新的损失函数加快了网络的收敛速度，再次提升了网络的分割性能.改进后的U-Net网络满足工程上对光伏板图像数据准确分割，模型快速训练、轻量化部署的实际需求.

1本文方法

1.1网络结构

本文采用基于U-Net网络的编码-解码结构，并对其进行改进，如图1所示.图中，蓝色框为一个block模块，每个block模块中包含2组深度可分离卷积，由逐通道卷（Depthwise convolution）和逐点卷积（Pointwise convolution）构成，卷积核大小分别为3×3和1×1.在逐通道卷积和逐点卷积之后又分别加入批标准化层（BN），并使用ReLU激活函数.批标准化层可使输入的数据符合均值为0和方差为1的正态分布，ReLU激活函数使网络用到非线性模型，可加快网络训练速度，避免梯度消失［12］.2组深度可分离卷积之间嵌入ECA注意力模块，更好的聚合特征信息.编码部分用于特征提取，通常网络越深，提取到的抽象特征越高级，需要的block模块也越多［13］.随着层数的增加，编码部分使用的block块数量分别为1、2、3、4个，且每层之后使用3×3卷积核进行最大池化，对图像降采样.由于编码部分下采样时会导致图像的部分信息消失，在上采样时难以恢复［14］，因此在解码部分上采样时首先会与编码部分对应的层进行特征拼接，拼接时需保证通道、尺寸大小一致.解码部分block数量为1，每层之后使用线性插值逐步恢复图像尺寸.最后一层连接1×1卷积，输出类别概率.

1.2网络构建方法

1.2.1深度可分离卷积

1.2.2ECA注意力模块

使用深度可分离卷积在轻量化网络模型时，网络的分割性能可能会随着参数量的减少而下降，因此在网络中引入注意力机制.通道注意力机制已被证明在改善深度卷积神经网络的性能方面存在巨大潜力［15］.其中最具代表性的方法之一是挤压和激励网络（SENet）［16］，但其压缩降维过程为学习通道之间的相互关系带来不利影响.为同时考虑性能提升以及维持注意力模块中通道与其权重的直接对应关系，本文在两个深度可分离卷积之间引入ECA注意力模块［15］.ECA注意力模块结构图如图4所示.

ECA注意力模块首先对输入的特征图进行全局的平均池化，将输入特征（H，W，C）转化为（1，1，C），之后使用卷积核大小为5的一维卷积进行处理，并经过Sigmoid激活函数得到每个通道的权重，再将权重与原始的输入特征图对应元素相乘，最终得到输出特征图.因ECA注意力模块为每个通道生成了对应权重，使模型强化了与分割区域高关联的通道信息，抑制了低关联的通道信息对图像分割的影响，故提升了网络的分割性能.其实现过程中的全局平均池化操作和卷积核大小为5的一维卷积操作计算量较低，未过多增加网络运算负担.

1.3损失函数

2实验结果与分析

2.1實验准备

2.1.1实验细节

2.1.2数据集生成

实验使用搭载红外相机的无人机采集光伏板图像，并使用数据链路将红外相机获取的图像压缩发送回地面站，实时传输图像信号.其中，红外相机的分辨率为640×512.

因采集到的光伏板图像涵盖山地、平原、屋顶、水面、高原等多个场景，地形的多样性以及采集时天气状况的不同，使得光伏板红外图像中光伏板自身形态、排列状况、亮度以及背景区域（植被、道路、输电线路、建筑物、异物闯入等）十分复杂和多样.部分地区的光伏板红外图像展示如图5所示.

将采集到的数据使用Labelme软件进行手动标注，生成与原图对应的包含目标区域坐标的json文件，使用Python语言处理原图和json文件，生成与原图对应的同名掩膜图像.为进一步增加数据集的数量，增强模型的鲁棒性，使用OpenCV库对原图和对应的掩模图像进行同等的翻转、裁剪操作，并对部分原图添加噪声，最后统一图像的大小为640×512.经过以上处理一共得到光伏板红外图像原图3 200张，掩膜图3 200张.将原图以及对应的掩模图分别放入两个文件夹，取名为img和label，并按照图像名称以7∶2∶1的比例划分为训练集、验证集和测试集，其中训练集2 240张，验证集640张，测试集320张.

2.1.3评价指标

2.2实验对比与分析

2.2.1损失函数权重取值与验证

为使得改进后的损失函数能够满足本工程上对光伏板数据训练速度和分割精度的要求，本文通过多次实验验证的方式来确定改进后损失函数的权值.主要包含以下3个步骤：步骤1，实验得出能够让网络更快收敛的权值作为初始权值；步骤2，使用应用了初始权值的改进后的损失函数与交叉熵损失函数、Dice损失、Focal损失单独作用时比较网络的分割性能；步骤3，若得出的权值能够同时提升收敛速度及分割性能，则将其确定为最终权值.若不能满足，则在初始权值的基础上以0.1为步长调整三个权值，观察实验结果，逐步提升能使损失函数收敛速度和分割性能更优的权重值在总权值中的比重，直至损失函数能够满足本工程需求.

针对步骤1，为简化实验过程，在三个初始权重选取时，设置三者权重和为1，先局部考虑两两权值的最优比例，之后通过三者之间满足的比例公式，设定三者权值.

具体地，首先确定λ和μ的比值，此处设置了10组实验，以0.1为步长，分别在λ取0.9～0.1，μ取0.1～0.9时训练网络，用收敛速度作为评判标准，最终确定λ和μ的最优比例为3∶7，之后用同样的方法确定μ和η的比值，得出μ和η的最优比例为6∶4.满足如式（8）所示的方程组.

针对步骤2，在保持其余条件一致时，对比交叉熵损失函数、Dice损失、Focal损失和使用初始权值改进后的损失函数在测试集上的分割性能，具体结果如表1所示.

由表1可得，使用初始权值的改进后的损失函数，其网络的PA值和MIoU值均优于其余3种损失函数.

针对步骤3，由步骤1和步骤2中得出的结果可得，拥有初始权值的改进后的损失函数在收敛速度以及分割性能上较其余三种损失函数均有所提升，能够满足本工程光伏板分割场景的需要.因此最终将λ、μ和η的值确定为0.2、0.5和0.3.

2.2.2注意力模块对比验证

为验证本文方法中使用的ECA注意力模块更适合于改进U-Net网络，在保持其余条件一致时，将ECA模块替换为经典的SE模块.改进U-Net网络，分别使用不同注意力模块时性能对比结果如表2所示.

由表2可得，在分割性能方面，本文方法中使用的ECA注意力模块较SE模块结果更好.

2.2.3网络结构对比验证

实验选取了3种应用最为广泛的分割网络U-Net、Res-U-Net［20，21］和MobileNetV2，与本文提出的改进U-Net网络做横向对比.实验分别就网络的分割性能、模型参数、训练时间、推理时间进行测试，其中推理时间为在20张图像中测得的平均结果，结果如表3所示.

由表3可得，本文提出的改进U-Net网络结构分割性能最好，参数量分别只有U-Net网络和Res-U-Net网络的33.3%和30.4%，在提升分割性能的同时，又保证了模型的轻量化.同时，改进U-Net网络结构在GPU上推理时用时基本和其他网络一致，但在CPU上明显优于U-Net网络和Res-U-Net网络.本文提出的改进U-Net网络虽然在参数量和推理时间上并非最优表现，但满足了在服务器端和嵌入式设备上轻量部署和快速推理的需求.综合对比，本文提出的改进U-Net网络相较其余三种网络更符合工程实际.

2.2.4可视化结果

使用不同网络的分割效果如图7所示.其中，第1列为光伏板红外图像原图，第2列为人工标注生成图像，第3列至第6列分别为MobileNetV2网络、U-Net网络、Res-U-Net网络，以及本文提出的改进U-Net网络分割效果图.图7不同网络分割结果对比图观察图7可得，改进U-Net网络分割出的结果图较其他网络，位置更准确、轮廓更精细，尤其对于难分割的区域表现出优异的性能.这归功于本文方法在特征提取时，随着深度的增加使用了更多的卷积块，并融入了ECA注意力机制，使得网络能更好关注到光伏板特征的同时获取细节信息，增强了网络的特征提取能力.另外，3种损失函数的加权组合使得网络收敛更快，对于目标较小的光伏板区域表现更友好.

3结论

针对复杂、多样环境下光伏板区域分割问题，本文提出了一种改进U-Net语义分割网络.使用深度可分离卷积替代传统卷积，减少模型参数量，将高效注意力ECA模块添加到两组深度可分离卷积之间，实现无降维的局部跨通道交互.同时，在特征提取部分，以两组深度可分离卷积以及一个ECA为一个block块，随着网络层数增加，使用多个block块以提取更加高级的抽象特征，提升网络的分割性能.另外，针对光伏板图像的特点，将交叉熵损失、Dice 损失、Focal 损失线性加权和作为新的损失函数.最后，为验证模型的有效性，将本文网络与MobileNetV2网络、U-Net网络、Res-U-Net網络分别在本文所采集的3 200张光伏板红外图像数据集上横向对比.结果表明，改进U-Net网络的分割精度和模型大小整体优于其余3种网络，能准确实现光伏板区域完整分割，为光伏板缺陷检测和组件定位提供前提，为新能源光伏产业升级提供技术支持，对其产业健康发展有重要的促进作用.

参考文献

［1］ NiccolaiI A，Gandelli A，Grimaccia F，et al.Overview on photovoltaic inspections procedure by means of unmanned aerial vehicles［C］//2019 IEEE Milan Power Tech.Italy：IEEE，2019：1-6.

［2］ 毛峡，石天朋.光伏热斑图像有效区域分割算法研究［J］.太阳能学报，2018，39（5）：1 270-1 276.

［3］ 赵玲玲，汪烨，刘俊.基于无人机与HSV空间的光伏电池板检测分析［J］.红外技术，2020，42（10）：978-982.

［4］ Salamanca S，Merchan P，Garcial.On the detection of solar panels by image processing technique ［C］// 2017 25th Mediterranean Conference on Control and Automation （MED）.Valletta，Malta ：IEEE，2017：478-483.

［5］ Ronneberger O，Fischer P，Brox T.U-net：Convolutional net-works for biomedical image segmentation［C］//Proceedings of Interna-tional Conference on Medical Image Computing and Computer-Assiste Intervention.Switzerland ：Springer Cham，2015：234-241.

［6］ 许苗，李元祥，钟娟娟，等.L-UNet：轻量化云遮挡道路提取网络［J］.中国图象图形学报，2021，26（11）：2 670-2 679.

［7］ 何直蒙，丁海勇，安炳琪.高分辨率遥感影像建筑物提取的空洞卷积E-Unet算法［J］.测绘学报，2022，51（3）：457-467.

［8］ 周涛，董雅丽，霍兵强，等.U-Net网络医学图像分割应用综述［J］.中国图象图形学报，2021，26（9）：2 058-2 077.

［9］ He K，Zhang X，Ren S，et al.Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Nevada，USA：IEEE Computer Society，2016：770-778.

［10］ Stephan M，Santra A.Radar-based human target detection using deep residual U-net for smart home applications［C］// Proceedings of the 18th IEEE International Conference On Machine Learning And Applications （ICMLA）.Boca Raton，USA：ICMLA，2019：175-182.

［11］ Sandler M，Howard A，Zhu M，et al.MobileNetV2：Inverted residuals and linear bottlenecks［C］//Proceedings of 2018 International Conferenceon Computer Vision and Pattern Recognition.Piscataway：IEEE，2018：4 510-4 520.

［12］ 张煥，张庆，于纪言.激活函数的发展综述及其性质分析［J］.西华大学学报（自然科学版），2021，40（4）：1-10.

［13］ 陈铭，梅雪，朱文俊，等.一种新型Mobile-U-Net网络的肺结节图像分割方法［J］.南京工业大学学报（自然科学版），2022，44（1）：76-81，91.

［14］ Zeng Z，Xie W，Zhang Y，et al.RIC-U-Net：An improved neural network based on U-Net for nuclei segmentation in histology images［J］.IEEE Access，2019，7：21 420-21 428.

［15］ 毛志荣，都云程，肖诗斌，等.基于ECA-Net与多尺度结合的细粒度图像分类方法［J］.计算机应用研究，2021，38（11）：3 484-3 488.

［16］ Hu Jie，Shen Li，Sun Gang，et al.Squeezeand-excitation networks［J］.IEEE Tranasactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2 011-2 023.

［17］ Wang J，Gao H，Wei G.The generalized Dice similarity measures for Pythagorean fuzzy multiple attribute group decision making［J］.International Journal of Intelligent Systems，2019，34（6）：1 158-1 183.

［18］ Lin T Y，Goyal P，Girshick R，et al.Focal loss for dense object detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

［19］ 王榆锋，李大海.改进YOLO框架的血细胞检测算法［J］.计算机工程与应用，2022，58（12）：191-198.

［20］ 李原，李燕君，刘进超，等.基于改进Res-UNet网络的钢铁表面缺陷图像分割研究［J］.电子与信息学报，2022，44（5）：1 513-1 520.

［21］ 王明常，朱春宇，陈学业，等.基于FPN Res-Unet的高分辨率遥感影像建筑物变化检测［J］.吉林大学学报（地球科学版），2021，51（1）：296-306.

【责任编辑：蒋亚儒】