基于四旋翼无人机的二次屏柜巡检系统

罗显跃，周敬余，禹天润，潘俊，周思源，齐冬莲

(1.贵州电网有限责任公司铜仁供电局，贵州 铜仁 554300； 2.浙江大学 电气工程学院，杭州 310027)

0 引 言

近年来随着经济社会的成长，人们的生活质量不断提高，对电力能源的需求随之不断增大，这对输电线路及变电站的管理也就提出了更高的要求[1]。二次屏柜作为变电站室内高压设备运行状态监控的重要组成部分，在整个变电站的正常运行中起着非常重要的作用[2]。目前，变电站内二次屏柜的巡检过程仍以人工巡检为主，任务重复而又繁琐，不便于留存设备异常历史图像，巡检工作仍存在诸多困难[3]。

在这样的形势下，以往的人工巡检过程中有时会出现因巡检工作人员精神状态不佳、巡检态度不认真等原因而导致的误检和漏检问题，以及人工无法24 h实时进行巡检工作等原因导致在设备异常时不能及时报警等问题，使得人工巡检已不能满足变电站管理的需要。近年来，各个变电站为提升站内设备巡检的智能化与有效管理水平，开始逐渐将巡检机器人应用到巡检过程中，且已取得初步成效，机器人的加入大大提高了变电站内日常巡检的效率和质量，并且机器人技术的推广，对电力系统的安全运行，起到了非常重要的保障作用。近些年，随着多旋翼无人机技术的成熟与消费型无人机的大力推广，多旋翼无人机市场的逐渐扩大，因此无人机被电网看好，并逐渐推广应用到室外输电线路巡检任务中，这节约了大量的人力、物力、财力。目前全国各电网公司已经配备了巡检无人机数千架，但几乎全是用来巡检室外的杆塔、输电线路等输电设备，而将无人机用于变电站室内巡检还非常罕见。因此，为解放变电站内工人双手并提高巡检效率，文章就多旋翼无人机在变电站室内自动化巡检二次屏柜的应用展开探索研究。

1 无人机巡检系统设计

文中设计的无人机巡检系统架构如图1所示，主要由机载巡检系统和地面站系统[4]。机载巡检系统主要包括飞行控制模块、室内定位模块、图像采集模块、数据传输模块[5]；而地面站系统主要包括设备控制模块、数据传输模块、图像识别模块和异常报警模块。

图1 无人机巡检系统Fig.1 UAV inspection system

无人机巡检系统工作流程如下：无人机通过识别地面二维码，并结合飞控内外的传感器数据对无人机的位姿进行控制。无人机按照预先设计的巡检路径飞行，通过机载摄像头采集二次屏柜的图像，然后树莓派在局域网中把图片发送到地面站服务器端。服务器获得现场二次屏柜的图片后，输入到预先训练好的二次屏柜异常检测网络模型中，输出电气开关和指示灯等的工作情况，并将异常结果上报中控室平台显示，提醒工作人员立即进行核实并维修，大大降低了工作人员巡检的劳动强度，并提高了设备巡检的准确度。

2 机载巡检系统设计

无人机在拒止环境中的自主定位问题是制约其广泛应用的瓶颈之一，视觉定位方法有重要研究意义。文中采用实验室咨询组装的四旋翼无人机平台为研究对象，构建具有二维码标志的室内飞行环境，研究机载摄像头获取二维码图源并解算自身位姿的AprilTag算法，并利用树莓派进行图传，开展相应的室内定位飞行实验，最终在铜仁变电站进行试验并取得较好效果。文章设计的无人机系统如图2所示[6]。

图2 无人机系统Fig.2 UAV system

2.1 无人机硬件设计

2.1.1 无人机结构设计

文中组装的无人机采用的飞控是稳定性较好的Pixhawk 2.4.8开源飞控，同时采用树莓派Raspberry Pi 3B做硬件开发板[7]。机身搭载的外部传感器主要包括两个单目摄像头传感器和一个超声波传感器[8]，两个单目摄像头传感器均和树莓派直接相连，而超声波传感器直接连接到飞控，树莓派和飞控之间则是通过串口方式连接；飞控内部包含的传感器主要是加速度计、陀螺仪等。机身搭载的两个单目摄像头传感器中，一个为自身带有处理器的摄像头OpenMV，安装方向固定向下，通过I/O口与树莓派直接连接，该摄像头用于拍摄识别地面二维码标志，在摄像头自带处理器中通过运行AprilTag算法对拍摄的二维码信息进行解算，有效降低了延迟；另一个摄像头传感器为500万像素的工业摄像头HXY-500，安装方向沿机头向前，通过USB口与树莓派直接连接，用于采集二次屏柜图像；超声波传感器为HC-SR04，安装方向固定向下，通过I2C总线与飞控直接连接，用于测量对地高度从而实现无人机的精准定高。

2.1.2 图像采集设计

将设计好的二维码标志在从起点起飞到最终飞回起点的飞行路径垂直投影的地面上，间距均匀地进行铺设，每个屏柜前地面上均铺设一张二维码。无人机从起点出发，首先带有处理器的单目相机拍摄地面上的二维码标志，通过摄像头自带处理器对拍摄到的二维码直接进行解码运算，将实时读取的二维码中包含的相对于飞机的位置信息传到后端连接的树莓派端，在树莓派中运行对应的代码段，获得无人机下一步的动作与任务指令，并通过串口将指令传输到飞控，同时机载超声波传感器测量的对地高度信息传回到飞控端。飞控结合树莓派传输的指令与超声波传感器测量的对地高度信息，并考虑自身加速度计、陀螺仪等传感器测得的无人机姿态信息，对电机转速进行控制，从而对无人机的姿态、动作进行控制，实现无人机的室内精准定位。

根据实际场景设计了无人机在二次屏柜前的图像采集路径，如图3所示，每个屏柜高2.4 m，宽0.8 m，按屏柜摆放的顺序对每个屏柜依次命名为A、B、C、D、E、F。在距离屏柜较近时，普通工业摄像机无法通过只在一个位置拍摄屏柜的整体图片。另外屏柜虽分成上、中、下三部分，但由于下部分仅为挡板，无需采集图像。图3中定义了各采集区域为A1、A2、……、F1、F2，定义第一预置高度h1=2.0 m，第二预置高度h2=1.2 m。无人机沿箭头所示路线采集图像，在每一个拐点处悬停。当无人机飞到第一个屏柜前时，通过检测屏柜前地面上的二维码，获得悬停指令发送到无人机，无人机结合超声波传感器的高度信息在该屏柜前逐渐调整自身姿态与高度，实现精准稳定悬停。

图3 无人机图像采集路径Fig.3 UAV image acquisition path

当无人机在屏柜前达到第一预置高度并稳定悬停后，飞控将已稳定悬停信息传回到树莓派，树莓派执行拍照指令。树莓派控制前置工业相机拍摄二次屏柜的视频流获得二次屏柜的图像，为防止悬停过程中因无人机抖动等而导致获得图像不清晰，在悬停时间段内按1 s时间间隔截取视频流中的10张屏柜图片，并传回到工业相机后端连接的树莓派中进行缓存同时把图片依次命名为A10，A11，……，A19，方便在后期图像处理过程中，通过图片命名识别出该图片是哪个屏柜的哪个部分。第一预置高度的图像采集完成后，需要在水平方位不变的情况下，飞控通过超声波传感器实时测量的高度信息，改变无人机的高度到达第二预置高度。当无人机判断达到第二预置高度并且无人机稳定悬停后，按照前述过程再次截取视频流中10张图片并传回到树莓派中，同时将图片依次命名为A20，A21，……，A29。至此，第一个屏柜的图像采集过程完毕。

在树莓派中对接收到的每一张图片命名结束后，立即在局域网中通过图传算法把该屏柜的图片按照每次一张的速度传回到地面服务器中存储。在完成第一个屏柜的图像采集与传输后，继续执行水平飞行动作以检测下一个屏柜前二维码的位置，到达第二个屏柜的第二预置高度后，重复之前的过程完成第二个屏柜的图像采集并命名B20，B21，……，B29，然后进行传输。再次改变无人机高度到第二个屏柜的第一预置高度，重复之前的过程完成第二个屏柜的图像采集并命名B10，B11，……，B19，再传输到地面服务器中完成第二个屏柜的图像采集与传输。然后重复上述过程直到所有屏柜的图片采集完成，无人机继续沿着地面二维码，飞回到起点进行充电，等待下一次巡检过程。

2.2 无人机软件设计

2.2.1 AprilTag算法

AprilTag是近年来提出的一种新的基于二维码标志进行定位的视觉定位方法，适用于各种各样的任务，包括增强现实技术、机器人技术、摄像机标定等。AprilTag使用的二维码标签在概念上类似于QR 码,如图4所示。然而，相比于QR 码，AprilTag标签用来编码的数据有效载荷小得多，允许对光照和遮挡有更好的鲁棒性，探测范围也更大。另外，AprilTags 标签设计的定位精度也非常高。

图4 AprilTag标签Fig.4 AprilTag tag

使用AprilTag算法需要解决三个问题：一是如何在周围环境中根据不同的像素梯度检测出不同的图像中的各种各样的边缘；二是如何在检测到的所有类型边缘图像中找出需要的四边形形状的图案并筛选出待检测的二维码标签；三是如何对摄像头检测到的二维码标签进行编码和解码运算。因此，文中设计的AprilTag 算法具体细化流程如图5所示。

图5 AprilTag算法流程Fig.5 AprilTag algorithm flow

由流程图可知，AprilTag 算法的输入是单目摄像头拍摄到的含有二维码标签的RGB图像,输出的结果为经过一系列运算得到的无人机相对于二维码标签的位姿，再把所得数据进行坐标系转化，从而实现对无人机的室内定位。以图6(a)为例，下面分别对AprilTag算法流程涉及的每一步骤作出详细解释。

图6 示例图像与算法检测过程Fig.6 Sample image and algorithm detection process

(1)将由单目摄像头输入的包含二维码的彩色图像转换为0～1灰度图像[9]；

(2)然后计算每个像素计算梯度的大小和方向并且存储计算结果[10]，如图6(b)、图6(c)所示；

(3)通过聚类有相似梯度的像素来提取边缘[11]，如图6(d)所示，通过贪心算法提取二维码边缘；

(4)如图6(e)，再次遍历像素，统计每个像素集群中包含的数据，将线段拟合到这些像素点上；

(5)遍历这些像素集群，拟合线段；

(6)以得到的每条线段结束终点作为新线段的起点，寻找新线段。将这些线段按照逆时针顺序头尾相接连接起来，并构建二维hash表[12]；

(7)列出所有首尾连接的线段，看是否存在四条线段组成闭合回路，并把所有回路到添加到Quad 列表中；

(8)首先估计Quad被解读成0或1的阈值，超过阈值为1，低于阈值为0。然后解读由0和1值组成的一个个数字序列；

(9)实际中可能因二维码局部遮挡导致搜索多次Quad。若有两个相同ID的Quad，选错误较少的Quad；若错误量相同，选可观察边界较大的；

(10)获取所使用的单目识别相机的内外参数；

(11)使用PnP 算法来构建一组含有检测的二维码位姿数据的方程，求解二维码的位姿参数；

(12)求解得二维码坐标系在像平面坐标系中的位姿数据[13]。

运行AprilTag算法的工具为自带处理器的单目摄像头传感器，避免了在飞机的有限负载能力中搭载大尺寸的外部传感器。在该算法的帮助下，多旋翼无人机能够在地面铺设二维码标志的室内环境下，实现快速精准定位。

2.2.2 图传算法

图像传输分为树莓派作为发射端和地面服务器作为接收端。通过运行Socket，实现树莓派和服务之间的图像传输[14]。具体的图传算法流程如图7所示。

图7 图传算法流程图Fig.7 Flow chart of graph transfer algorithm

树莓派和服务器之间通过Socket进行连接，并在数据传输结束后关闭Socket[15]。当服务器开始执行Socket后，首先与树莓派端进行连接，然后开始接收树莓派通过局域网发送回来的数据。在树莓派端通过设定与服务器终端相同的IP和Port端口，同时两者确定固定的图片编码和解码格式。树莓派对摄像头采集的视频流进行截取图像帧，并对图像进行命名，然后进行编码，发送到服务器端。服务器接收后按照相对应的解码格式进行解码运算，即可获得原始采集图像。

3 地面站系统设计

3.1 图像识别算法

在地面服务器获得树莓派传输回来的二次屏柜现场图片后，将图片输入到预先训练好的图像识别网络模型中，对二次屏柜的开关、指示灯进行识别，并判断是否正常工作。若正常工作则返回状态良好，若工作异常，则结合识别出的工作异常图片的名称判定出是异常现象的位置，并立即上报异常信息，同时进行声光报警，提醒工作人员到现场进行核实检查。

用于变电站二次屏柜图像识别采用的是基于卷积神经网络(CNN)算法模型， CNN是一种深度学习的监督模型[16]。

在图形处理和识别过程中，图形可以表示为像素向量[17]。在传统的图像处理中，随着像素的提高，对参数个数的要求越来越高，对图像的处理速度产生了一定的影响，而CNN可以有效地减少参数数量[18]。如图8所示， CNN采用了权值分配的方法[19]。

图8 卷积神经网络提取局部原理图Fig.8 Local schematic diagram of CNN extraction

这种权值共享的方法是在确定权值后随机选取一个图形，将相应的权值大小应用于其他相同的图像块。

CNN的基本结构包括两个层次：特征提取层和特征映射层[20]。在特征提取层中，首先将神经元的输入连接到前一层的局部可接受域，然后提取图像的局部特征，确定位置关系[21]。在特征映射层中，作为计算核心的特征映射是一个平面，这个平面上的所有权值都是相等的[22]。该特征降低了卷积神经网络的计算复杂度和参数量[23]。同时，权值相等，使得网络的学习和训练可以并行进行[24]。

文章利用上述卷积神经网络模型对无人机拍摄的屏柜图像进行识别，识别出柜体上的开关状态、指示灯状态信息。

3.2 异常报警

将单个采集点的10张图像输入到CNN网络模型中后，根据10张图片的一致性识别结果进行判别设备工作是否异常，判别规则如下：

(1)若单个采集点的10张图片中的检测异常结果不少于5张时，即可判别该图像对应的采集点处设备异常，同时进行声光报警，提醒工作人员立即进行设备检查与维修；

(2)若异常检测结果少于5张，则可能是由于无人机抖动引起的采集的图像不清晰，进而导致的识别结果出错，此时判别为该采集点的设备正常。

在服务器输出屏柜检测的状态异常结果后，根据图片的命名规则可以定位到异常屏柜位置，例如，图片A1i(i= 0,1,…,9)结果异常表示第一个屏柜的上半部分的开关或指示灯异常，图片A2i结果异常表示第一个屏柜的中半部分的设备异常。服务器获得设备异常的检测结果后立即进行声光报警，并将异常结果传输到中控室的显示屏上，以显示异常设备的具体位置信息，方便工作人员立即定位到异常位置，并及时进行检修。同时将异常检测结果上传到检测历史记录中，便于以后打印报表查看。

4 实验

4.1 无人机调试

按照文中的设计，最终组装完成的无人机如图9所示。首先对组装完成的无人机进行各项参数调试，测量无人机的基础参数，如重量、机翼展开尺寸和对角线轴距、充电时间、最大起飞重量等。其中最大飞行时间是在室内密闭无负载的环境下，无人机按照地面铺设的二维码，不间断飞行，最终测得飞机的最大飞行时间为21 min。

图9 组装无人机Fig.9 Assembly UAV

对无人机开展各项测试，获得该无人机的各项参数如表1所示。

表1 无人机参数 Tag.1 Parameters of UAV

4.2 训练结果及分析

卷积神经网络在训练过程中，需要设定很多参数，如学习率、迭代次数、正则化系数以及优化方法等[25-28]。总共获得变电站现场二次屏柜图片8 000张，其中7 500张用于训练集，500张用于验证集。文中设定网络训练主要参数如表2所示。

设定完参数后模型开始训练，在不断的迭代过程中，将模型每一次迭代的损失函数打印出来，绘制成走势图，图10所示。可以看到，整个训练过程中，损失函数的大致趋势是在减少，最后基本上达到稳定，说明模型对特征学习的较好。

图10 损失函数趋势图Fig.10 Loss function trend graph

文中利用在变电站现场拍摄的二次屏柜图像，对所提出的卷积神经网络方法进行了测试。识别结果显示，该网络可以识别出二次柜上的四种型号的LED灯，并确定柜上开关的状态。图上开关状态识别结果如图11所示，LED灯识别结果如图12所示。从实验结果可以看出，如果使用一个经过训练的网络来识别二次屏柜图像，可以更好地实现开关的定位和状态识别。

图11 开关状态识别结果Fig.11 Switch status recognition result

图12 不同类型LED灯的识别结果Fig.12 Recognition results of different types of LED lights

从图12中，可以看到，该网络能准确定位不同类型的LED灯的位置，并准确识别LED灯的类型，它有利于变电站整合不同的二次设备信息，不同的灯光代表不同的设备信号，文中使用的自动识别方法可以自动提取二次屏柜信息。

文中所完成的二次屏柜状态识别方法，将开关识别网络和LED灯识别网络分别在完成训练测试时进行集成。可以看到，模型基本上可以对二次屏柜中的所有种类的指示灯、空气开关等都进行准确识别。识别结果的置信度都可以达到90%及以上，模型训练的结果比较理想。由此可见，基于CNN模型的图像识别算法可以用于变电站二次屏柜的设备状态识别，并且在经过合适的训练过程之后，可以达到比较好的识别效果。

5 结束语

文中设计了一整套基于多旋翼无人机的变电站室内二次屏柜智能巡检办法，并在此基础上做了大量实验，获得较好的效果。采用文中所述的方法，在很大程度上提高了变电站室内巡检的自动化程度，更好地管理了二次设备的信息，可以实现变电站二次设备信息的实时采集和监控，节约了人工成本，提高了工作效率，可应用于变电站的智能化开发。

文中设计的基于多旋翼无人机的变电站室内巡检系统虽应用到铜仁变电站内取得较好成效，但仍有许多不足之处有待改进：

(1)无人机姿态解算精度和抗干扰能力需要进一步提高。在实验中无人机有时会出现抖动漂移现象，所以文中需要在单个采集点采集10张图片，以对比选择较清晰的图片来识别，从而带来大量的识别计算量；

(2)图像识别准确率有待进一步提高。虽目前对二次屏柜的开关和指示灯的正确检测效果达到了90%以上，但仍需进一步提高。

故文中在总结不足之处后，在将来的一段时间内计划在以下方面做更深入的研究：

(1)研究无人机控制优化算法，通过增加有效的机载传感器数量以获取更多无人机姿态信息，从而控制无人机悬停更精确，以减少图像采集数量，加快图像识别速度；

(2)研究更适用的二次屏柜开关和LED灯的图像识别算法，进一步提高识别的准确率。