基于多源动态图像识别技术的风电故障检测研究

唐珉，史海涛，王 剑

（河北华电沽源风电有限公司，河北张家口 075000）

多旋翼直升机在灾后建筑核查、桥梁巡检、精准农业和搜救任务等场景中的应用日益广泛。具有图像采集功能的无人机在对电力设施进行巡检时也表现出了理想的效果，但风电设施通常位于陡峭山峦等人类难以进入的地区，无人机控制员几乎不可能在控制相机的同时操控无人机，因此需要设计自动化的无人机巡检技术方案。

该研究的主要目的是在无人机自主飞行过程中对风电设备是否损坏进行检测，并应用图像处理技术进行实时识别与检测。

1 无人机图像采集系统架构

风电图像采集是基于四旋翼无人机的电力线路检测系统的一部分[1]。四旋翼无人机配备了一个万向云台，在该万向云台上安装有激光测距仪（LRF）以及具有数控对焦和变焦的图像采集相机[2]。使用LRF 测量到的被检物体（传输线或绝缘体）的距离进行聚焦和变焦校正。无人机使用一个标准的GPS接收器和一个额外的实时运动（RTK）控制电路，保证无人机的精确位置控制。由于风电设备可能存在强磁场，因此使用3D 磁力计测量输电线路的磁场[3]。由于磁场可能会导致罗盘和惯性测量单元（IMU）发生测量故障并导致事故，所以在无人机内嵌入了一种避障算法，以保证无人机在安全范围内工作[4]。

无人机由Pixhawk 飞行控制器和基于64 位四核ARM 处理器的系统控制器实现综合控制，该处理器从传感器收集数据并执行自动引导控制。根据控制算法，计算机向飞行控制器发送MAVLink 命令[5]，无人机与基站计算机之间的通信采用TCP/IP 协议[6]。通过使用安装在附加无人机上的中继站，可以监视在视线外飞行的无人机并支持飞行员手动驾驶[7]。

控制软件是基于Python 实现的，大部分工作在ROS（机器人操作系统）下进行[8]。软件的主要组成部分包括传感器数据采集和处理模块、摄像机控制节点。传感器将数据传输到系统控制过程的同时，还将数据传输到了基站计算机的节点[9]。控制过程还需要接收检查对象的位置、待检查塔的坐标、GPS 接收器状态、电池状态和FC 控制器状态等信息。控制过程使用了三个PID控制器，用于飞行高度和姿态控制、预成型路径生成以及安全飞行的数据流程控制[10]。此次设计的风电巡检系统的图像采集模块框架图如图1 所示。摄像机节点执行相机聚焦和缩放控制、图像采集以及物体识别任务，而用于监控飞行任务的节点与地面计算机之间的通信是在ROS下实现的[11]。

图1 图像采集模块结构

风电设备的图像采集是电力自主巡检系统的一部分。为了根据获取的图像进行检查，需使用高分辨率相机单独拍摄风电设备的照片[12]。为了自动获取风电设备的图像，系统需要自动生成无人机的飞行轨迹，其不仅可以控制无人机的位置与方向，还可以控制相机的方向、对焦和变焦[13]。轨迹生成基于设备结构的先验信息，其包括元件的位置和方向。而相机焦距的调整过程，则以LRF 测量到的绝缘体距离作为依据[14]。

此次设计的绝缘子图像采集流程如下：

1）使用关于风机坐标、位置和大小的先验信息，安装在无人机上的控制计算机生成必要的飞行路径，并将无人机带到要检查的叶片附近，飞行路径示例如图2 所示。

图2 飞行路径示例

2）采用避障算法，使无人机与未知障碍物（例如周围植被）、风电塔和线路产生的强磁场保持安全距离。使用3D 磁力计电路测量输电线路的磁场，并利用机载的多个红外传感器检测未知障碍物。

3）对于垂直布置的风机叶片，摄像机指向水平方向，从无人机的横向位置进行图像采集。

4）对绝缘子进行图像采集时，只调整无人机的高度和偏航角，并使用来自LRF 及其变焦的测量值调整相机焦距。

此外，风机图像的后续处理包括以下步骤：

1）获取风机叶片的图像并分别计算其重心；

2）控制四旋翼位置，使每个风机叶片的重心均在要拍摄的图像中心；

3）校正相机的焦距和变焦，以获取最大分辨率的图像。

2 风机叶片探伤模块设计

2.1 无人机图像采集部署算法

此次将无人机风电图像转换为一个位置优化问题，以获得风电场中所需的无人机路线拓扑结构，然后制定路径优化问题以找到检查的最佳路径[15]。

首先引入无人机i的一个重要参数，即飞行距离。这里假设无人机在相同的高度飞行，因此可以忽略在z轴方向上的运动。无人机i在风力条件w下的飞行距离可表示为：

无人机i的飞行范围受不同风况的影响，因此无人机的飞行范围是不同风况下飞行范围的交集，如下所示：

引入A=[ai]1×N、B=[bi,k]N×T、C=[ci,j]N×N分别表示无人机的状态、无人机与风机之间的拓扑关系以及无人机之间的通信链路[16]。

当候选无人机被放置在风电场中时，ai被设置为1。若ai为0，则候选无人机应被移除。另外，此次使用一个备用站，以便无人机充电和更换电池。若将风机k分配给无人机i，则bi,k设置为1；否则bi,k为0。为维护无人机的拓扑结构，需要保护无人机的通信链路，以防止无人机发生碰撞。若无人机i和j存在通信链路，则数量ci,j为1。

2.2 基于CNN的叶片探伤算法

图3 为该文所提出探伤检测方法的流程图。采集到的图像在增强后通过人工标注，分为二元故障分类数据和多类故障分类。下一步使用CNN 进行训练，得到的训练模型被保存并用于滑动窗口中的损伤检测。对于两种不同的模型，最终使用FlaskWeb框架进行部署。

图3 叶片探伤算法流程图

为了避免复杂的计算过程，并直接对原始图像进行分类，该文选取CNN 网络进行图像预处理。通过应用卷积检测分类所需的重要图像特征，并丢弃不需要的特征来减小图像的实际输入尺寸。

此次设计的CNN 图像分类工作算法如下：首先收集和注释数据；然后形成一个卷积神经网络，其中所有层均具有默认参数；训练从图像增强开始，绘制二元分类的准确率曲线和损失曲线；模型以系统预设的格式保存数据，用于通过神经网络检测新图像中的损坏情况。

神经网络的训练分为七个步骤：

1）将数据集划分为训练、验证和测试数据；

2）使用默认参数形成神经网络；

3）使用训练数据训练神经网络，并在验证数据上进行验证；

4）绘制准确率曲线和损失曲线，从而形成混淆矩阵；

5）根据准确率，改变CNN 的参数并重新训练模型；

6）保存最佳模型，并在滑动窗口法中使用最佳模型来检测故障；

7）使用FlaskWeb 框架部署模型。

3 实验验证

该文基于真实的数据集来评估所提出无人机风电故障检测方法的性能。所采用的数据集中，风电场面积为218 km2，发电容量约为1 GW，共有189 台风力发电机。由于风机环境的数据还包含有气象测量数据，所以该文主要通过电厂内部的数据进行模拟计算。

为方便无人机部署，使用墨卡托投影将风力涡轮机的经度和纬度转换为笛卡尔坐标。从189 个风电机中挑选47 个来创建用于无人机实验的风力数据，可视化的风力数据Ws如图4 所示。

图4 风力数据可视化结果

实验选用的验证无人机可以携带多种传感器，即激光雷达、超声波传感器和摄像头，以检查涡轮机。最大速度限制为16 m/s，最大飞行时间在12～22 min 之间，无人机通信的最大距离为5 km。

图5 为所提出算法的迭代过程和最终部署规划结果。在迭代开始时，风电场中放置了47 架无人机。经过30 次迭代后，算法对无人机数量进行了优化。实验结果表明，只需要17 架无人机即可覆盖数据集中的所有风力涡轮机。

图5 算法迭代结果

表1 所示为一架无人机一轮检查的结果统计。结果表明，使用所提出的算法可以确保无人机飞行时间不超过无人机的最大飞行时间。

表1 无人机飞行路线

在部署图像识别算法时，该文使用了675 幅损坏图像，1 000 幅非故障图像数据，并使用三个卷积层用于训练二元分类模型。第一个卷积参数引入了卷积层的输入图像，此次选择输入64×64×3 的图像，大小为（2，2）的最大池化层。该模型通过周期性的训练，为二元分类提供了准确度、损失曲线，所选取的损失函数为平均绝对误差损失，如式（4）所示：

式中，yi是来自数据集的真实值，是模型输出的预测值，由于数据经过归一化处理，因此损失J为无量纲标量。准确度、损失曲线如图6 所示。

图6 准确度和损失曲线

为了将训练完成的神经网络部署至巡检地面站，使用Flask 微型网络框架来部署模型。此次创建了一个简单的索引网页，从本地系统中选择并上传一张需要进行分类的测试图像。测试图像上传后，模型将输入图像与训练好的模型进行比较，并输出准确度百分比和识别损坏检测的结果。

4 结束语

该文针对风机故障检测问题，研究了多源动态图像识别技术。根据应用场景选取搭载多种传感器的巡检无人机，并依照场景设计无人机路径规划算法，且部署了叶片探伤图像检测模块。通过真实数据集验证可发现，无人机针对不同风力环境均能在飞行极限时间内完成巡检任务，并对损伤叶片进行准确的检测。

风电设备的维护是一个系统工程，风电叶片的维护管理需要系统周期的管理。如何针对风电场内的风电设备建立长久的数据管理系统并进行科学管理将是接下来的研究重点。