基于机器视觉的风力机叶片损伤检测系统

王一博, 韩巧丽, 张曦文, 吴成龙, 杨敏

(1.内蒙古农业大学机电工程学院， 呼和浩特 010018； 2.内蒙古农业大学能源与交通工程学院， 呼和浩特 010018)

风能作为发展最快的高效清洁可再生能源，风电装机规模不断扩大，截至2020年底，全球风电总装机规模已达7.44×108kW[1]，中国风电累计装机2.81×108kW，已成为世界装机第一的风电大国[2]。叶片作为风力机的关键部件，其安全可靠性对整个风电机组稳定运行起着至关重要的作用。除自身受力外，受风沙雨雪冲蚀、紫外线辐射等自然因素影响，表面出现砂眼、裂纹、磨损等早期损伤特征，使得叶片气动性能下降，损伤处在雨雪作用后极易受到闪电雷击的破坏，连续作用下造成叶片破裂或断裂酿成叶片事故，增加了运行风险和运维成本，影响风电场经济效益[3]。

中外常见的风力机叶片无损检测方法的相关研究包括：声发射、振动、光纤光栅、电阻应变、超声波、红外热成像和机器视觉检测技术等[4]，目前的检测技术存在一定局限性，如应用条件应用范围受限、抗干扰能力差、检测成本较高等。机器视觉检测技术是借助相机代替人眼进行图像获取，搭配图像处理算法对图像进行处理和分析，实现从图像中提取出目标信息并通过识别系统进行评价估计，除具备非接触式无损检测优点，还具有远程检测、低成本、高效率、高精度等优势。机器视觉检测技术应用广泛，如机械中精密零件的无损探伤和质量检测[5]，电子中芯片引脚的尺寸测量及缺陷检测[6]，电气设备如继电器轭铁高精度测量[7]等。

基于机器视觉的表面缺陷方法包括图像处理的缺陷检测方法[8]。王雪平等[9]对风电机组叶片表面无损检测方法，对风电叶片风沙侵蚀程度进行检测，实现对叶片缺陷损伤区域的识别与特征参数的提取。陈建平等[10]针对在役风力机叶片运行状态监测，提出一种基于机器视觉的动态位置偏差法，结合图像处理技术，实现叶片运行状态监测的目的。仇梓峰[11]基于计算机视觉技术研究并开发了针对叶片损伤进行自动检测算法和健康维护系统，应用并达到实际风电场的运维要求。李万润等[12]基于机器视觉技术进行图像获取并结合图像处理技术，对风电叶片表面的划痕进行特征提取，能够较好地自动识别叶片表面划痕。Peng等[13]针对运动模糊进行图像降噪、增强等预处理，使目标区域的裂缝等细节更加突出，同时提出一种基于灰度值的裂缝分析方法，降低了风电机组维护成本。Chen等[14]提出了三点斜率偏差方法并通过校准、图像拼接预处理和阈值分割算法来设计监测风电机组叶片运行状态、识别率等预警系统。

综上所述，针对风力机叶片表面出现的磨损等早期损伤特征，考虑到现役风力机叶片运行特点，通过实验室搭建平台完成图像采集，通过图像处理技术，包括颜色平面提取、滤波、阈值分割、数学形态学去噪等操作完成特征提取，并设计LabVIEW智能图像识别系统，对损伤进行识别、标记、计数和测量，基于机器视觉和图像处理技术对风力机叶片的损伤检测系统进行研究，完成叶片损伤检测实验并对结果进行分析，实现无损探伤，为兆瓦级风力机叶片损伤检测提供方法借鉴和技术支持。

1 损伤检测系统工作原理

应用于风力机叶片的机器视觉检测技术，通过相机代替人眼进行图像采集并通过上位机的NI Vision选择合适的图像算法进行处理，提取图像信息特征，将处理过的图像通过设计的LabVIEW图像识别系统来完成叶片损伤检测和目标测量，主要用于风力机叶片表面裂纹、表形轮廓损伤等检测和裂纹实际长度的测量并实现数据保存。损伤检测系统工作流程图，如图1所示。

图1 损伤检测系统工作流程Fig.1 Work flow of damage detection system

2 图像处理

为了方便特征提取，提高识别的准确性，通过采用图像处理技术，对拍摄图像进行预处理，包括：颜色平面提取、滤波、阈值分割、形态学处理等操作。

2.1 颜色平面提取

在图像领域中使用的HSV色彩空间由色调(hue,H)、饱和度(saturation,S)和亮度(value,V)3个分量构成[15]，色彩空间模型呈倒立锥型结构，基于圆柱三维坐标表示，视觉上更具直观性。对拍摄的彩色风力机叶片图像在HSV色彩空间进行灰度处理，提取V面，得到灰度图像，方便后续进行处理。

2.2 卷积型-高亮显示滤波

无损伤风力机叶片表面光滑，损伤叶片表面呈现裂纹或轮廓磨损等，运用Vision Assistant中Highlight Details滤波突出两种类型叶片的细节差异，增强图像中目标轮廓或边缘等高频信息，去除或削弱不必要信息，使图像更锐化，对图像边缘信息保护较好，并突出图像细节特点，处理后的图像清晰，方便后续识别。

通过卷积运算使叶片图像在空间域的图像增强，卷积核(模板)设计为3×3的方形阵列并赋值，如式(1)所示，该卷积核类型设计增强目标边或轮廓等高频细节。

(1)

在计算时，将卷积核从图像的左上角到右下角逐点平移滑动[16]，加权求和运算得到覆盖图像部分中心点的新像素值。经Highlight Details卷积运算后的模板中心位置对应的值为

P′5=-P1-P2-P3-P4+10P5-P6-P7-

P8-P9

(2)

式(2)中：P′5为卷积运算后模版中心位置值；Pi为像素灰度，i=1，2，…，9。

2.3 阈值分割

图像分割是对图形分析进行简化处理并做出机器决策，根据图像灰度、形状等参数，将其划分成不同的子区域，并使这些参数在同一区域内呈现相似性，在不同区域之间呈现明显的差异性[17]。自动阈值分割法基于图像的灰度直方图来确定灰度阈值，适用性强，对于机器视觉系统采集的图像存在光照情况不同的问题，也能正常进行分割。经过多次预调试，选用NI Vision(LabVIEW内置的具有强大功能的视觉开发工具包[7])支持的自动阈值分割方法中最小均匀性度量法进行阈值分割处理，其思想是，假设图像被分为目标A和背景B，同一个类别的像素值分布应具有均匀性。类的均匀性可以采用法方差或灰度级到该类均值的绝对值来衡量。假定图像表示为f(x,y),当使用方差衡量类的均匀性时，只需选择阈值使A和B的混合均匀性最小，可表示为

(3)

两个类的概率说明该类像素对图像的影响程度，其计算公式为

(4)

式(4)中：NA、NB为类像素数量；N为图像像素总数。

类中像素灰度的平均值可表示为

(5)

(6)

2.4 数学形态学去噪法处理

经阈值化处理后的二值图像通过数学形态学去噪法处理先腐蚀(Erosion)再膨胀(Dilation)，进行开运算，去除图像中不必要的信息，如噪声、相互重叠的区域等[18]，还可以做到不破坏图像边缘轮廓的细节，经过形态学处理提高了算法的准确性[19]。灰度级形态学处理公式如下。

灰度级形态学腐蚀处理：

(7)

式(7)中：f为原图像相关矩阵；Θ为腐蚀操作符号；min为取最小值操作符号；bN为结构范围元素；(s，t)为坐标元素。

灰度级形态学膨胀处理：

(8)

灰度级形态学的开操作处理：

f∘b=(fΘb)⊕b

(9)

式(9)中：∘ 为开运算符号；⊕为膨胀操作符号；b为非平坦结构元。

经过算法处理后的图像更适合于进行基于颗粒的定量分析、提取目标模型或进行目标识别。由于物体表面具有不同反光现象，背景可能因光照条件与目标像素灰度值差别不明显而被误判为目标像素，阈值分割后的二值图像中会出现非目标物体的小区域。通过设定面积阈值，去除不符合要求区域，提取出符合要求区域特征，完成移除小物体操作。

3 LabVIEW图像识别系统

风力机叶片经过算法处理完成之后，在LabVIEW 图像识别系统里面运用识别函数进行详细识别，设计基于LabVIEW的风力机叶片损伤识别测量系统，系统主界面如图2所示，系统包括：参数设定、损伤检测识别、损伤检测结果分析和目标裂纹长度计算测量。

3.1 损伤检测

通过叶片裂纹和轮廓损伤等部分识别颜色各不相同，运用LabVIEW识别函数(Classification)进行识别分析，由于识别函数在LabVIEW的NI Vision中，生成vi后无法进行参数修改和标定，可直接选择系统调用程序，选择图像中感兴趣部分(region of interest)进行识别，损伤检测系统主要针对风力机叶片的裂纹和轮廓损伤处进行识别。

由LabVIEW系统主界面图中损伤检测系统可以看出，选择需要识别的损伤叶片进行识别，损伤检测识别系统将检测到的裂纹处进行矩形框标记并将裂纹数目统计在系统界面右侧的结果分析。将检测到的轮廓损伤通过红色标记线沿损伤轮廓进行标记，通过预实验，当阈值参数设定为4像素时，轮廓损伤识别效果最好，当损伤叶片识别参数超过设定阈值，进行报错，系统显示红灯，提示叶片存在轮廓损伤，当识别参数未超过设定阈值，系统显示绿灯，叶片不存在轮廓损伤，轮廓参数分析图和轮廓损伤提示灯在结果分析中实时显示。系统主界面能清楚观察叶片损伤位置、类型和损伤数目等。

3.2 目标测量

经过类型识别模块处理后，还需要对裂纹损伤长度进行测量估计[20]。为此，运用LabVIEW视觉功能中的线条轮廓(line profile)函数，选择测量部分，标定一条直线[17]。通过比例尺参数标定，进行实际长度转换，实现叶片裂纹目标实际长度的测量并记录，由LabVIEW系统主界面图中测量计算系统可以看出函数值和裂纹记录面板，能清楚观察面板得到每条裂纹的实际长度值，并通过保存按钮进行数据保存备份。

4 实验与分析

实验室建立风力机叶片的机器视觉损伤检测系统实验平台，如图3所示。学习适合损伤风力机叶片图像处理算法，设计LabVIEW图像识别系统，完成损伤风力机叶片的采集、处理、识别和测量，并对结果进行分析。

图3 图像采集实验平台Fig.3 Image acquisition experimental platform

4.1 图像采集

实验平台搭建完成，选用EOS 800D数码相机(2 400万像素6 000×4 000)进行图像获取。采集的风力机叶片损伤处呈裂纹或轮廓磨损状等，部分局部损伤叶片缺陷图如图4所示。

比例尺：1∶8图4 部分局部损伤叶片缺陷图Fig.4 Defect diagram of partial damaged blade

4.2 图像处理

为了方便损伤叶片特征提取，对采集的损伤风力机叶片图像使用合适的处理算法进行图像处理，包括：颜色平面提取、滤波、阈值分割、形态学处理等操作。任意选取两个采集的损伤叶片a、b，基于适合风力机叶片的图像处理算法处理完成后得到的处理效果图，分别如图5、图6所示，损伤叶片裂纹和轮廓磨损清晰可见。

比例尺：1∶12图5 损伤叶片aFig.5 Damaged blade a

比例尺1∶12图6 损伤叶片bFig.6 Damaged blade b

实验结果表明，可实现对风力机叶片裂纹、轮廓损伤处的图像处理。

4.3 图像识别效果和分析

通过LabVIEW智能损伤检测系统对损伤类型识别和裂纹损伤长度的测量。损伤叶片a、b检测识别效果图分别如图7、图8所示。

图7 损伤叶片a检测识别分析效果Fig.7 Effect of damaged blade a detection, identification and analysis

图8 损伤叶片b检测识别效果Fig.8 Effect of damaged blade b detection and identification

由图7可知，损伤叶片a经损伤检测系统识别，检测到两处裂痕并进行外矩型框标记记录，系统结果分析处记录裂痕数目，轮廓出现损伤并红色标记“FAIL”提醒。

由图8所示，损伤叶片b经损伤检测系统识别，检测到4处裂痕并进行外矩型框标记记录，系统结果分析处记录裂痕数目，轮廓无损伤并绿色标记“Pass”通过。

风力机叶片a裂纹损伤目标测量效果，如图9所示。由图9可知，损伤叶片a经系统测量计算，通过对每条裂痕标记测量得出裂痕长度并记录在面板。实验结果表明，该系统能实现风力机叶片裂纹处和轮廓损伤处正确识别标记，实现裂痕损伤数统计和轮廓损伤的提醒，实现裂纹实际长度的测量记录，实现数据保存。

为了测试系统识别精准度，在实验室搭建实验平台，选取了存在裂纹或轮廓损伤等风力机叶片图像并进行损伤检测。经过实验，通过系统对损伤检测识别出的损伤数量与采集图像中实际损伤数量的比值可得识别准确率为92.3%，通过游标卡尺测量实际裂纹长度的直线距离值和系统目标测量值的最大绝对误差为3 mm。识别准确率Ra和绝对误差Aerror的计算公式分别为

(10)

Aerror=x-y

(11)

式中：m为系统识别损伤数量；n为实际损伤数量；x为系统目标测量值；y为游标卡尺测量实际长度。

损伤检测参数标定如表1所示。

本次设计的风力机叶片损伤检测系统在存在污垢干扰的情况下，在范围内可以较好地检测辨别叶片存在的裂纹和轮廓损伤，基于机器视觉识别分析和图像处理进行风力机叶片损伤检测的方法可行。

图9 叶片a目标测量效果Fig.9 Target measurement effect

表1 损伤检测参数标定

5 结论

设计了一套基于机器视觉的风力机叶片损伤检测和目标测量系统，选择了适合损伤风力机叶片图像处理算法进行图像处理，通过NI Vision完成图像预处理操作，设计了基于LabVIEW的风力机叶片智能图像识别系统，使用图像识别函数对处理图像进行识别，通过对损伤的识别效果调试，完成性能测试，可实现高效率、低成本、直观形象地自动化识别风力机叶片表面裂纹和轮廓等损伤检测、标记计数并进行裂纹目标实际长度测量和轮廓损伤评价估计。得出如下结论。

(1)实验结果证明，该算法和识别系统，满足风力机叶片损伤检测的基本要求，为兆瓦级风力机叶片损伤检测提供合适的图像算法处理和系统设计参考。

(2)本实验在污垢干扰的情况下仍能实现较高的识别准确率，今后考虑引入其他编程语言，发挥LabVIEW兼顾其他高级编程语言的开发特点，充分进行测量分析与处理，丰富功能模块，提高算法的准确性和适应性。