基于深度学习算法的风电机组叶片开裂缺陷分析

2022-08-26韩则胤王恩路苏宝定

计算机测量与控制 2022年8期

董礼，韩则胤，王宁，王恩路，苏宝定

(中国广核新能源控股有限公司，北京 100000)

0 引言

我国可供开发的风能资源大约在10亿千瓦，为加强对风能资源的开发利用，截止到2020年底，全年新增风电装机超过7 100万千瓦，成为目前应用最广泛和发展最快的新能源发电技术[1]。由于风电设备大多数安装在偏远地区，风电机组的工作环境恶劣并且气候环境复杂，经常受到大风、雷电、雨雪等天气的影响，导致风电机组故障频发，对机组叶片造成损伤[2]。

在对风电机组叶片缺陷检测中，文献[3]系统利用声发射技术，基于能量的等高线图判断风机叶片的损伤程度，并应用新的源定位方法对缺陷部分定位。文献[4]系统通过部署大量传感器组成传感器网络，实时采集机组叶片的声信号，对叶片的实时结构健康进行监测。文献[5]系统结合有限元法和反卷积分离法，利用叶片的振动信号检测风机的损伤状态，确定叶片的损伤位置。文献[6]系统通过应变感应器来检测风机叶片在外界作用下产生的形变，安装在叶片表面或叶片层，间接检测风电机组的结构损伤。当前的研究中需要借助大量多种类型的传感器设备，对叶片状态进行监测，提高了系统的检测成本和复杂程度，同时传感器获得的信号容易受到环境噪声的影响，进一步影响了系统对风机叶片缺陷的分析和识别的精度。

1 基于无人机图像采集的风电机组叶片缺陷检测系统

该研究将无人机技术和图像视觉技术应用在对风机叶片的缺陷检测上，采用高分辨率的相机和无人机对风电机组叶片图像进行采集，获取到清晰且完整的叶片信息，比人工巡检的方式更具安全性和效率。采集到风机叶片的图像越清晰，包含的叶片缺陷信息更加丰富，该研究系统使用深度学习模型能够更好地提取出叶片表面开裂的缺陷特征，更加精确的定位缺陷位置[7]。该研究系统使用基于ONESTAGE的YOLOv5目标检测算法，能够直接产生目标叶片缺陷的类别概率和位置坐标值，提高了对风机叶片的目标检测速度[8]。基于无人机图像采集的风电机组叶片缺陷检测系统结构如图1所示。

图1 风电机组叶片缺陷检测系统结构

该研究设计时，在结构上可分为采集层、数据层、服务层和应用层。通过不同层次结构实现风电机组叶片数据信息的采集、传递、计算、分析与计算。满足用户从底层风电机组叶片的运行状态开始，进行远程数据信息监控，有效地将风电机组叶片的运行状态的宏观数据信息，转换为直观的数据显示，提高了风电机组叶片缺陷检测效率。

采集层利用全自主巡检模式的无人机完成风电机组叶片表面的全面覆盖图像的采集，采用低速、定点航拍的方式，在巡检过程中通过无线传输网络将采集到的叶片缺陷图像传输到系统的数据层。为防止无人机与叶片距离过近发生碰撞事故，在无人机上安装有红外激光传感器，用来探测无人机前方水平60°，距离30 m之内的所有物体，通过设定距离阈值保证无人机在图像采集过程中的飞行安全，当小于阈值距离时发生报警信号自动向相反方向飞行并恢复安全飞行距离[9]。在具体设计时，通过无人机携带不同的电子设备信息实现风电机组叶片缺陷的巡检采集，无人机体积小，重量轻，能够实现人力无法企及的高空场合或者高危区域。通常包括飞机平台系统、信息采集系统和地面控制系统等，能够将高空或者高危区域数据信息带回地面，实现数据远距离交互，提高了作业工作效率。

数据层完成叶片缺陷图像的存储和预处理，并向应用层提供数据访问接口，数据层使用具有多个计算引擎的分布式数据库HIVE，能够兼容多种数据存储格式，并支持时间复杂程度较高的数据结构[10]。数据层可以设置外设接口，比如远程无线通信接口、USB数据接口、CAN数据总线等，通过这种方式，能够实现无人机采集数据与外设设备多种数据交互与共享，必要时，在数据局层可以设置数据管理软件，以提高风电机组叶片缺陷检测数据管理效率。

应用层使用支持可视化操作的LABELIMG工具来标注图像中的缺陷信息，LABELIMG工具并且支持源码编译安装，可以直接下载系统对应打包好的文件，在DATA_CLASSES路径文件下定义训练好的使用类的列表，使用OPENDIR选择叶风电机组叶片图像的目录，在CHANGE SAVEDIR中自定义生成标注文件的保存位置。对图像中叶片开裂缺陷的位置进行选择，并标注损伤程度完成后对标注就信息进行保存，输出XML格式的标注文件。标注文件的标注信息包括图像路径、名称、图像分辨率、通道数量、缺陷坐标和损伤程度等信息。

本研究设计中，可以将服务层与应用层结合起来应用，或者将应用层划分为不同的数据模块，比如具有服务功能的多种数据管理模块。比如可视化管理模块、分类管理模块、交互模块、故障处理模块等。

2 叶片开裂缺陷图像的高精度检测方法

在无人机自动巡检过程中，大规模风机叶片图像和视频的数据传输可能会造成网络拥堵，并且上传到系统数据层的图像或视频数据并不是完全有用的，图像过于模糊、叶片图像的有效面积过小影响系统对叶片缺陷的分析效果，同时增加了系统数据库的存储资源。该研究设计出风机叶片开裂缺陷的检测模型，对采集到的图像质量进行检测，过滤掉运动模糊和低质量的不适合作为训练数据的叶片图像[11]。

2.1 清晰度检测

通常，从无人机输出的数据信息由于外界噪声的干扰，数据信息不纯净，容易使采集到的数据信息在后续计算过程中误差大，不准确程度高。针对该方法，该研究使用图像边缘锐度评价无人机采集到的叶片图像，通过sobel算子计算图像梯度，采用Tenegrad梯度函数衡量图像的清晰度，通过这种方式，能够将获取的数据信息特征提取出来，在对提取的数据特征进行分析，以提高数据分析精度。为了量化采集到的宏观数据量，该研究采用了数据思维的方式，以具体化通过无人机技术采集到的叶片开裂缺陷图像数据信息。梯度计算可表示为：

(1)

式中，Gx表示图像像素横向梯度，Gy表示图像像素纵向梯度，I表示图像的灰度值。

通过该公式，能够计算出叶片开裂缺陷图像信息的灰度值，基于灰度值的计算结果，能够评判采集到叶片开裂缺陷图像的精度。通过上述计算后，再计算叶片开裂缺陷图像的清晰度。计算图像的清晰度可表示为：

(2)

式(2)中，FT表示清晰度评价算子，m表示叶片缺陷图像的长度，n表示叶片缺陷图像的宽度，(x,y)表示图像的像素点坐标[12]。

通过该公式，清晰度评价算子、叶片缺陷图像的长度、叶片缺陷图像的宽度等因素是影响叶片开裂缺陷图像清晰度的关键性因素，当然，在实际应用中，还会存在其他因素，出于篇幅的限制，本研究不再考虑一些非关键因素，将清晰度计算融入上述清晰度评价算子、叶片缺陷图像的长度、叶片缺陷图像的宽度等因素能够从本质上分析影响清晰度评价算子、叶片缺陷图像的长度、叶片缺陷图像精度的能力。系统通过设置合理的阈值，计算出的清晰度算子高于系统阈值时被认定为为满足叶片开裂缺陷分析的图像要求，低于阈值的图像不会保存在系统数据库。

2.2 缺陷图像有效面积检测

无人机采集到风电机组叶片图像的有效面积是指叶片上开裂缺陷的面积，叶片像素点在整个图像总像素点的比例大小影响缺陷检测的精度。两种不同叶片面积占比的图像如图2所示。

图2 不同叶片面积占比的图像

图像1中的叶片占比面积超过80%，能够清晰地观察到叶片上的开裂缺陷，图像2的叶片占比面积不足20%，包含的缺陷信息较少，需要进行图像分割和去噪处理。图像转换可表示为：

F(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

(3)

其中:F(i,j)表示转换后的灰色图像，R表示图像的红色通道，G表示图像的绿色通道，B表示图像的蓝色通道[13]。

通过上述分析，将采集到的图像数据信息切割成小模块结构，将图像信息转换为可以矢量数据信息，提高了计算能力。通过式(3)能够将提取到的叶片开裂缺陷图像数据信息，清晰地展示叶片上的开裂缺陷。

由于图像像素具有不连续的特性，因此根据像素的灰度值进行阈值分割，将叶片图像和背景分隔开，使用最大类间方差法进行阈值分割，计算初始阈值分割两组像素点的灰度值的方差，可表示为：

σ2=w0w1(μ0-μ1)2

(4)

式中,w0表示叶片像素占比，w1表示背景像素占比，μ0表示叶片像素的平均灰度值，μ1表示背景像素的平均灰度值[14]。

通过式(4)能够将采集到的叶片开裂缺陷图像数据信息中信息与背景信息分离出来，这种方法能够分析雨、雪、雾、雨等恶劣天气下的图像信息，这就提高了该研究技术应用的范围，任意恶劣天气下所采集到的图像信息都能够清楚地将采集到的重要信息分离出来。该研究在分离时，还使用方差最大的阈值进行图像分割，经过阈值分割后的风机叶片图像如图3所示。

图3 阈值分割后的风机叶片图像

再通过形态学图像处理去除图像中的噪点，膨胀计算和腐蚀计算可表示为：

A⊕B={x,y|(B)xy∩A=φ}

A⊗B={x,y|(B)xy⊆A}

(5)

其中：A表示进行运算的图像元，B表示结构元。开运算通过先腐蚀计算再膨胀计算的方式，闭运算通过先膨胀计算再腐蚀计算的方式，去除叶片图像中的黑色噪点，将完整的叶片图像进行分离并去噪[15]，图像的有效面积可表示为：

(6)

式(6)中，R为有效面积的比例，M×N表示图像大小，K表示叶片像素点数。当R大于50%时，无人机采集到的风机叶片图像才能够保存到系统数据库中，上传到深度学习模型中进行计算。

3 基于深度学习算法的叶片缺陷图像检测

在对处理后的风电机组叶片图像的缺陷部分进行识别和检测时，传统的神经网络模型在面对大量数据时无法及时提取图像信息。本研究采用深度学习算法能够获取更深层次的数据信息，在具体计算时，该研究将处理后的风电机组叶片图像建立为原始数据集，利用深度学习模型自动提取图像缺陷的特征信息，对图像中开裂缺陷进行识别和检测。叶片缺陷图像检测过程如图4所示。

图4 叶片缺陷图像检测过程

为了增加深度学习网络模型的输入数据尺度，加入了SPP-Net，SPP-Net是一种可以不用考虑图像大小，输出图像固定长度网络结构，并且可以做到在图像变形情况下表现稳定。SPP-net的效果已经在不同的数据集上面得到验证，速度上比R-CNN快24～102倍。通过这种方法改进了网络模型能够直接进行卷积操作，对输入特征图的每个通道分别使用一个卷积核，将所有卷积核的输出再进行拼接，最终输出特征图[16]。正常的深度网络由两部分组成，卷积部分和全连接部分，要求输入图像需要固定size的原因并不是卷积部分而是全连接部分。所以SPP层就作用在最后一层卷积之后，SPP层的输出就是固定大小。

首先将风机叶片图像输出到深度学习网络模型，通过对图像的五层卷积操作得到特征图后在利用PRN网络筛选特征图，该方法专门用来提取候选框，在RCNN和Fast RCNN等物体检测架构中，用来提取候选框的方法通常是Selective Search。然后利用特征图进行矩形框回归。网络模型的分割损失具体表示为：

(7)

CCD=Dk×Dk×M×Df×Df+M×N×Df×Df

(8)

式中，Dk表示单个卷积核尺寸，M表示卷积核数量，M×Df×Df表示输入特征图的尺寸，N×Df×Df表示输出特征图的尺寸。模型中卷积层输入向量为X={x1,x2,x3,…,xi}，输入向量xi的高度为hi、宽度为wi、通道数为ni，卷积层由N个三维滤波器ξi组成[18]，卷积层的运算量高达nini+1k2hiwi。卷积层输入的向量为Y={y1,y2,y3,…,yi}，输出向量的的高度为hi+1、宽度为wi+1、通道数为ni+1。经过多层卷积后输出结果，图像中的开裂缺陷能够精准被检测到，优化了的叶片损伤检测错检、相邻损伤遮挡检测效果不佳的问题，并且取得了较好的检测效果[19-21]。

4 应用测试

4.1 搭建实验环境

该研究在Windows 10操作系统上搭建实验仿真环境，采用KERAS和TensorFlow实验框架，系统客户端使用的处理器为Intel(R)Core(TM)i7-8750H，显卡为NVIDIA GeForce GTX 1080。在实验平台中安装ANACONDA环境管理器，集成了常用的Python、Conda、Numpy等函数库，能够更好地管理开发环境，搭建深度学习网络模型[21-22]。

4.2 实验数据准备

该研究实验的数据来源为某风力发电厂无人机巡检拍摄到的部分风机叶片图像，风机叶片表面具有常见的开裂、腐蚀、涂层脱落等缺陷类型，总共有31 526张图像。由于采集到的部分图像的背景信息较为复杂，有些图像中不包含缺陷部分，需要对图像进行筛选并删去无关信息，从大量图像中挑选出2 000张缺陷特征明显，有效面积超过30%的图像作为实验的原始数据集。原始数据集参数如表1所示。

表1 原始数据集参数

通过CreatePolygons对叶片图像绘制标注框，标注对应的缺陷类型，将图像和标准信息共同保存未json文件，将所有的样本图像存储在实验文件夹下。叶片图像缺陷标注界面如图5所示。

图5 叶片图像缺陷标注界面

4.3 实验测试

为验证该研究系统的性能，分别使用文献[3]系统、文献[4]系统和该研究系统进行实验。从原始数据集中随机选取一张风电机组叶片图像，经过缺陷标注后作为实验测试图像，实验测试图像如图6所示。

图6 实验测试图像

实验测试图像中存在较多的背景信息，为增强模型对图像的识别精度，使用3种系统对实验测试图像进行处理，得到图像增强后的实验图像如图7所示。

图7 处理后的实验图像

文献[3]系统处理后的实验测试图像去除了大部分背景信息，通过明暗反转的方式增强了风电机组叶片上开裂缺陷的特征，但图像增强后的画面对比度过高，失去了叶片表面其他部分的细节信息，仍可能存在较小的缺陷尚未被发现。文献[4]系统处理后的图像保留了叶片的全部信息，叶片画面的对比度明显增加，但黑色背景图像和白色叶片图像中可能存在噪点，图像的亮度过高导致部分缺陷特征细节丢失[22-23]。

该研究系统去除了叶片图像的全部背景信息，并对图像进行阈值分割和校正，得到了更加明显的开裂缺陷特征，并保证了叶片图像的明暗变化，根据图像的像素灰度值变化获取叶片轮廓，并过滤掉了大部分噪声，对图像的处理效果更好，提高了后续缺陷检测的精度[24-25]。

对原始数据集中的叶片图像标记完成后，Imagesets文件夹中有200张叶片缺陷图像，其中包含开裂缺陷、磨损缺陷、脱落缺陷、雷击缺陷和多类别损失缺陷，将数据分为训练集、测试集和验证集，使用训练集中的数据对深度学习网络模型进行训练。使用训练好的模型进行开裂缺陷识别测试，文献[3]系统和文献[3]系统进行对比，将验证集中的图像分为6组，识别验证集中的开裂缺陷图像数量如图8所示。

图8 识别到开裂缺陷图像数量

对验证集中每一组实验图像进行测试后，该研究系统识别出开裂缺陷图像的数量最多，深度学习网络模型的缺陷检测效果最好，其中识别到第四组的开裂缺陷数量高达50个，第六组的开裂缺陷数为24个。

文献[3]系统检测到第一组的图像的叶片开裂缺陷数最多，最高达到40个，第二组和第六组识别到的缺陷数量低至20个。文献[4]系统检测到开裂缺陷数量最高为35个，识别到第六组图像的缺陷数量最少为18个。文献[3]系统和文献[4]系统的对叶片图像中缺陷的识别精度较低，不能较好地提取出图像的缺陷特征，受到图像质量、亮度和对比度的影响较大，图像过亮或过暗导致叶片缺陷处的信息较少，造成系统对叶片缺陷识别效果不好。