小型光伏热斑的全卷积网络模型检测

王 奇， 任一峰， 王 璐

(中北大学 电气与控制工程学院， 山西 太原 030051)

0 引 言

随着人口数量增加、 工业规模扩大， 人们对于能源的需求也在不断增长. 光伏发电类似于风力和水力发电， 它作为一种可持续能源， 具有清洁、 易获取等特点， 被认为是所有可再生能源中相对可靠的选择. 但是， 随着太阳能光伏板的大量使用， 有关光伏板清理和维护的需求也在逐年增长. 首先， 光伏组件的寿命不相同， 部分出厂未经严格检测的光伏板可能会有裂纹、 黑点、 短路的情况[1]； 其次， 在被灰尘、 树叶或鸟粪等遮挡时， 光伏板被遮挡的区域中太阳电池组件会被强制反偏来当做负载， 以发热的形式消耗其它正常接受光照的太阳电池组件所产生的能量， 这就是热斑效应[2]. 热斑效应危害较大， 受遮挡部分电池组件容易过热从而影响电池组件的寿命， 严重时甚至导致电池组件直接报废. 因此， 光伏组件热斑检测就显得十分有必要.

1 检测方法与算法

关于光伏板热斑的检测， 已经有很多专家提出了多种解决方法， 其中旁路二极管法是一种防止产生热斑效应的常用方法， 它在每个光伏电池片上并联旁路二极管[3]， 来防止光伏组件被反向击穿， 这种方法能够做到预防， 但二极管对温度有一定要求， 容易失效； 红外热成像法[4]是一种常用的检测方法， 通过探测温差来检测光伏组件是否故障， 但其要求电池组件要处于工作状态， 在某时刻树木或建筑物遮挡时会有一定误测的可能； 电压电流法[5]是一种常用的故障检测法， 但无法随时进行检测， 若在光伏板安装时提前加装则会大幅提升成本.

近些年来， 随着计算机技术的发展， 人工智能被广泛应用在生活的各个方面. 同时， 计算机因其强大的运算能力， 在图像处理以及目标检测方面逐渐累积起优势， 逐渐产生了一些基于深度学习的检测方法[6]， 这些方法在精确率和检测速度上得到了进一步的提升,但不同算法在速度和准确率的权重各有不同.

针对这种情况， 本文设计了一种基于ResNet网络的光伏热斑检测算法， 该算法对小目标有着不错的检测效果， 该算法在计算量、 准确率和存储空间方面做到了较好的平衡， 在运算量相差不大的情况下， 较大地提高了对象召回率和回归准确率， 从而显著提升了光伏热斑检测速度.

2 检测算法及网络模型

2.1 全卷积网络

R-CNN (Region-based Convolutional Neural Networks)目标检测包括3个基本步骤， 即特征提取， RoI (Region of Interest)生成， 目标分类和位置回归. 2013年， R-CNN算法首次将深度学习应用到目标检测上， 实现了对目标的端到端检测， 随后产生了一系列如Fast R-CNN， Faster R-CNN的二级目标检测算法及如YOLO和SSD的单级目标检测算法. 前者有着更高的准确率， 检测速度相对较慢， 而后者检测速度更快， 但对于小目标检测能力较差.

对于两级检测算法Faster R-CNN来说， 目前的检测模型都可以分成两个部分， 即全卷积子网(Fully Convolutional Subnetwork)和RoI子网(RoI-wise Subnetwork). 前一部分是该网络的普通卷积层， 被用来提取图像特征， 常见的网络有VGG， GoogleNet， ResNet等[7]； 后一部分主要由一些全连接层组成， 它存放着卷积层的特征信息， 在这部分的最后存在着并行的逻辑回归函数和损失函数， 对每一个RoI进行特征分类以及逻辑回归.

检测过程中， 首先， 全卷积子网将输入图像进行卷积计算， 然后， 由一个RoI池化层(RoI Pooling Layer)将第一部分最后一张图进行特征提取， 交由RoI子网计算处理[8].

在Faster R-CNN模型中， 全卷积子网上所有的计算是共享的， 但在其RoI子网上的计算并不被所有RoI共享， 导致卷积神经网络对物体的位置信息不敏感. 因此， 在R-FCN(Region-based Fully Convolutional Networks)论文中， 作者引入了位置敏感得分图(Position-Sensitive Score Map)的概念， 相比于Faster R-CNN， 它删除了全连接层， 在RoI层上也建立起了共享卷积， 所有用于提取图像特征的耗时卷积层被放在了一个共享的子网上， 只利用最后一个卷积层计算位置敏感的RoI分数， 并且将位置信息融合到池化层之中.

在实际检测中， 光伏热斑的大小在不同情况下通常不同， 在光伏组件上的位置和形状等也不尽相同[9]， 因此单级的目标检测方法如YOLO， SSD通常有着较差的mAP(mean Average Precision). 同时， 由于其特点， 平移可变性在实时检测中没有很高的要求， 因此， 对小目标检测更友好的全卷积目标检测算法因其具有更快的速度而更适合热斑检测.

2.2 位置敏感得分图

R-FCN的网络结构如图 1 所示， 假设一个RoI中存在一个不同于背景的物体， 那么将该RoI划分为k×k个区域表示物体的各个部位， 通过判断相应部位来判断该RoI部位为背景还是物体.

图 1 R-FCN基本结构[10]

R-FCN的最后相比于其它网络加上了一层不同的卷积层， 它与前一层拥有相同的Height和Width， 但拥有更多的Channels， 数量为k2(C+1)， 其中C表示物体类别数量， 加1表示一个背景分类，k2表示每一个类别的Score Maps数量， 每个Score Map用来表示物体部位在该处含有的响应值.

2.3 RoI池化

在卷积网络的最后一层对应的每一个RoI， 模型都将其划分成k×k个区域(Bins)， 每个bin的长宽分别是h/k和w/k， 从而可以对应到Score Map区域上， 进而按照如下公式进行平均池化操作.

(1)

式中：i，j分别指该Bin所处的行数和列数；x0，y0指这一RoI左上坐标；rC指对于C个物体种类第(i,j)个Bin中的池化响应值；n指该Bin中的像素数量.

位置敏感得分图接下来为每个RoI计算一个(C+1)维向量， 并用以下公式求出平均数， 再计算出回归函数Softmax的响应值

rC(Θ)=∑i,jrC(i,j|Θ)，

(2)

(3)

其中各字母表示含义同式(1).

2.4 ResNet残差网络

为了解决神经网络过深导致的梯度模糊及准确率退化问题， 根据残差和跳跃连接的想法， ResNet网络被设计出来， 它的结构如图 2 所示， 其中， 50层以内的网络采用每两层直连， 50层以上网络采用每3层直连， 常见有34-layer， 50-layer， 101-layer， 152-layer等.

图 2 ResNet网络结构

ResNet网络的主要思想在于在网络中添加了跳跃连接的通道， 让前几层的网络层可以通过这个通道保留一定比例的输出[11]. 求解映射以残差映射函数F(x)=H(x)-x的形式展现，H(x)和x分别为观测值和估计值， 检测系统采用ResNet101网络， 为每3层直连结构， 并且设置ReLU激活函数为本实验提供更快的模型收敛速度. ResNet网络保证了神经网络的深层不会出现梯度爆炸和消失现象， 表 1 为该网络的常用层数.

表 1 常用的ResNet网络结构

3 检测系统设计

图 3 为光伏热斑检测系统的结构图， 它主要包括两个阶段的检测， 一阶段对光伏板的图像进行预处理， 二阶段开始检测， 同时识别出图像中包含的光伏板， 最后去掉光伏板外的识别信息即为实验结果.

图 3 检测系统结构

3.1 图像预处理

在光伏板热斑检测的预处理环节， 要先将图片进行预处理， 预处理主要包含灰度化、 去噪、 栅线过滤[12]3个部分.

3.1.1 图像灰度化

将图像转换为8 b灰度图片， 便于之后的梯度计算. 根据人眼对不同颜色的敏感程度， 程序对原图像的R，G，B分量以不同的权重进行平均， 这里采用Opencv的颜色空间转换函数， 该函数采用心理学灰度公式进行色彩处理

Gray=0.114B+0.587G+0.299R，

(4)

式中：R，G，B分别指红绿蓝3色的色度.

灰度化效果如图 4 所示.

图 4 灰度化

3.1.2 图像去噪

去噪操作是将退化的图像进行噪声消除， 尽可能转化为人眼所见图像， 是为了消除实时图像获取过程中， 环境、 光线及相机抖动等产生的噪点模糊现象对实验结果进行干扰. 图像中的噪声通常包含高斯噪声、 椒盐噪声及其它噪声， 相应的消除方法有高斯滤波、 中值滤波和均值滤波等， 其中高斯滤波是对整个图片进行加权平均， 尤其适用于高斯噪声的消除； 中值滤波给定通常为3×3的Kernel矩阵， 将所有像素取中值以代替中心像素， 尤其适用于椒盐噪声的消除； 均值滤波与中值滤波不同， 它将取像素中值转为取平均值.

这里采用中值滤波的方式， 也是其中唯一一种非线性滤波器， 它在检测光伏热斑这样的小目标时有着很好的效果， 经中值滤波处理后的光伏板图像如图 5 所示.

图 5 滤波

3.1.3 栅线消除

光伏斑上通常存在着规则的栅线， 它承担着导流汇流的作用， 表现为白色条状， 会影响到实验的检测结果， 因此， 需要对栅线进行处理[13]. 这里采用的是对视频帧中足够窄的亮色带进行检测， 并将其色彩与背景进行加权平均的方法. 在检测过程中， 留下的未过滤部分即为热斑、 遮挡物及主栅线结点. 由于镜头的动态模糊功能， 光伏板上微小破损导致其表面区域被一定程度压制的现象不会严重影响实验结果， 如图 6 所示.

图 6 栅线过滤

3.2 光伏热斑检测算法

在图像预处理之后， 检测程序就可以开始对光伏板和热斑进行检测. 首先， 要进行边缘梯度的检测， 再分离出光伏板， 将其从背景中分离出来， 并且在检测结果中去掉属于栅线节点的部分， 将光伏热斑的检测结果标记出来.

在边缘检测中， 最重要的一步是边缘检测算子的选择. 比较常用的算子包括Sobel算子、 Canny算子、 Marr-Hildreth算子等等. 其中Canny算子对边缘处理比较平滑， 图像中较弱的信息没有被消除， 更容易检测到小型封闭区域[14][15]， 比较适合本文的小热斑检测.

Canny算子检测包含4个主要步骤， 首先用高斯滤波器进行噪声去除， 采用的平滑函数为

(5)

式中： (x,y)为高斯核中各点与中心点的差值；σ为选取的标准差， 其值越大， 权值分布越平缓， 图像越模糊； 反之权值分布则更为突起， 图像变化更小.

采用Sobel算子进行卷积计算， 计算方向梯度的幅值和方向， 并根据π/4的整数倍近似； 之后， 利用上一步中的梯度方向进行非极大值抑制， 通过对比寻求局部梯度最大值作为边缘点； 最后， 通过设置阈值将检出部分保留或者去除的算法分离出物体边缘.

在边缘检测中， 程序对图像中所有色彩边缘同时进行检测， 二者同时被检出， 接着根据图像检测边缘进行直线或矩形提取， 将光伏板从图像中分离出来， 在程序认定为光伏板区域的内部选择置信度较高的区域标记为光伏热斑或遮挡物信息.

4 实验结果及分析

以上述的目标检测方法作为基础， 本文设计了具有热斑检测能力的算法程序， 对实际图像进行热斑检出， 结果如图 7 所示.

图 7 光伏热斑检测

可见， 算法对图像进行灰度化、 去噪、 栅线去除处理后； 有效地消除了环境对实验结果的影响， 并且可以很好地检出光伏板上的小目标， 将热斑区域提取出来.

为了评估其性能， 该算法在具有很大物体尺度范围的MS COCO数据集上进行了测试， 实验基于ResNet101网络， 采用了8万的训练集、 4万的训练用测试集以及2万的评估用测试集， 卷积学习速率根据迭代次数分别采用0.001与0.000 1进行计算， Batchsize大小为8， 同时与相同预设条件、 其骨干网络为VGGNet的Faster R-CNN网络作对比. 对于其80个物体目录项， 该算法与改进前的R-CNN算法进行准确率和用时的对比如图 8 所示.

(a) 全类平均准确率

其中， AP的评价指标为IoU(Intersection-over-Union)=[0.5∶0.95]； AP@0.5则为IoU=0.5.

由上述研究可知， 残差网络可以提高一些目标检测的准确率， 但会大幅提高Faster R-CNN的检测时间. 而R-FCN相比于以VGG作为骨干网络的Faster R-CNN， 全卷积网络不仅有效地减少了检测时间， 在准确率方面还能与前者相差不大.

5 结 论

本文提出了一种针对于小目标的光伏热斑检测算法， 运用了全卷积网络模型， 以及灰度化、 滤波、 边缘检测等图像预处理技术， 对检测过程进行改进， 从而对光伏板之内的热斑和污渍信息进行准确的提取.

总体上， 在热斑大小大于光伏板栅线结点的情况下， 该算法较好地检出了光伏板表面的热斑， 表明本文提出的光伏热斑检测算法可以快速准确地识别到光伏板上存在的热斑和遮挡物情况， 可为后续的清洁工作提供高置信度的位置信息.

相较于传统算法， 它可以更快速地处理目标信息， 同时有着很好的移植性. 该算法可以基本满足本项目中无人机在空中实时清洗光伏板时对运行速度的要求， 有着广泛的实用价值.