架空输电线路无人机自适应拍摄算法研究

袁 野，付子峰，李 响，吴星奇，于 江

（国网湖北省电力有限公司超高压公司输电检修中心，湖北 武汉 430064）

0 引言

目前无人机自主巡检通过预先设置基于GPS的拍摄航线，无人机起飞后通过GPS 坐标到达航线预定位置航点后开始拍摄，采集输电杆塔等设备的图像［1-3］。但是目前各类自主巡检无人机可靠性低，无法满足巡检需求。无人机到达规划航点后，需通过自主巡检程序控制调整机身姿态，微调云台控制相机变焦采集图像，使目标设备在图像中居中显示并确保对焦正确、图像清晰、曝光正常［4-6］。

若拍摄过程中定位信号受到干扰，或者阵风造成无人机位置姿态变化，都会导致自主巡检拍摄的图像中丢失目标设备的情况［7-9］。本项目采用实时图像识别的方式，其技术路线如图1所示。

图1 典型工况条件下自适应拍摄技术路线Fig.1 Adaptive shooting technique route under typical working conditions

用自主巡检航线中各个拍摄位置的无人机及云台朝向设置，控制目标设备部件在图像中位置的初值［10-12］。无人机到达航点位置悬停后，调用相机广角端完成设备图像采集，相机采集设备图像后，发送到前端智能分析模块进行实时分析，检测目标位置。根据目标设备在图像视野中的方位，联通飞控系统调整相机位置，控制云台向反方向转动，并实时检测目标设备距离视野中心的偏移量，自主巡检拍摄过程中［13-15］。始终进行动态伺服，保障设备始终在图像中居中显示。通过前端质量校验机制，防止对焦错误、机身抖动造成的图像模糊，以及经常由于逆光拍摄造成图像对比度异常，全面保障图像拍摄质量［16-18］。

1 无人机自主巡检设备图像拍摄

无人机自主巡检作业应实现对杆塔设备、附属设施的全覆盖，根据机型特点、巡检塔型，遵照标准化作业流程开展作业，巡检导、地线、绝缘子串、销钉、均压环、防振锤等重要设备或发现缺陷故障点时，从俯视、仰视、平视等多个角度、顺线路方向、垂直线路方向以及距离设备5 m处进行航拍，拍摄过程宜由远及近、由高及低、由内及外、先俯后仰［19-21］，根据现场情况设置定点、定距、定时拍照。对于直线塔，从大、小号方向分别拍摄，重点拍摄地线、光缆等挂点以上设备和线夹、挂环连接金具；对于同塔多回输电线路和耐张塔，采取双侧巡检方式。除挂点以上设备和连接金具外，还需重点检查跳串、跳线间隔棒和调整板、间隔板等承载横向荷载的设备，实现对杆塔及导线全方位精细化检查［22-24］。

开展自主巡检时，其图像采集内容包括杆塔及基础各部位、导地线、附属设施、大小号侧通道等；采集的图像应清晰，可准确辨识销钉级缺陷，拍摄角度合理［25-27］。无人机拍摄时应等待无人机稳定后再进行拍摄，有光学防抖功能的相机应开启光学防抖，尽量避免因为无人机晃动而造成的图像模糊。另外在光线较强烈时，应尽量选择顺光拍摄，逆光拍摄需及时调节相机感光度和曝光补偿系数［28-36］。

1.1 杆塔拍摄

塔头从线路大、小号侧分别拍摄塔头全貌，如图2。可能存在的缺陷包括塔材及地线支架明显变形和受损、塔材缺失、严重锈蚀导地线掉串掉线、悬挂异物等。

图2 塔头拍摄示例Fig.2 Example of tower head shooting

塔身整体或分段拍摄A-B、B-C、C-D、D-A 4个面全貌（不同面可分别拍摄，也可多面拍摄一张照片），如图3。可能存在的缺陷包括塔材明显变形、受损和缺失；严重锈蚀悬挂异物等。

图3 塔身拍摄示例Fig.3 Example of tower body shooting

全塔拍摄从大、小号侧分别拍摄杆塔全貌，如图4。可能存在的缺陷包括主材明显变形、杆塔倾斜悬挂异物、导地线掉串掉线等。

图4 全塔拍摄示例Fig.4 Example of full tower shooting

1.2 导地线拍摄

地线拍摄时，无人机近似垂直地线方向内、外两侧分别拍摄；拍摄内容应包括整个金具串及连接的地线、塔材，如图5。可能存在的缺陷：地线从线夹抽出；地线滑移；线夹断裂裂纹、磨损；螺栓及螺帽松动、缺失；连接板、连接环调整板损伤、裂纹；销钉脱落或严重锈蚀、连接点塔材变形等。

图5 耐张、直线塔地线拍摄示例Fig.5 Shooting example of tension and linear tower ground wire

对引流线，无人机采用近似垂直线路方向内、外两侧分别拍摄，每个方向可多张拍摄或只拍一张，每个方向拍摄的内容汇总后应包括引流线两端线夹及之间的所有导线，如图6。可能存在的缺陷包括：引流线松股、散股、断股、表层受损、断线、放电烧伤分裂导线扭绞，间隔棒松脱、变形或离位等。

图6 引流线拍摄示例Fig.6 Shooting example of by-pass jumper

对防振锤，无人机近似垂直线路方向内、外两侧分别拍摄，如图7。每个方向可多张拍摄或只拍一张；每个方向拍摄的内容汇总后应包括所有防振锤，可能存在的缺陷包括：防振锤跑位、脱落、严重锈蚀、阻尼线变形、烧伤等。

图7 防振锤拍摄示例Fig.7 Shooting example of vibration damper

对导线本体，无人机至少从两个方向拍摄分段拍摄，每相拍摄内容汇总后应包括整根导线（地线、OPGW）及所有间隔棒，如图8，可能存在的缺陷包括：散股、断股、损伤、断线、放电烧伤、悬挂漂浮物、严重锈蚀；分裂导线扭绞、覆冰；间隔棒松脱、变形或离位等。

图8 导线拍摄示例Fig.8 Example of wire shooting

1.3 绝缘子及金具拍摄

绝缘子串导线端拍摄，可拍摄部分为绝缘子串和金具。无人机对耐张串、悬垂串，近似垂直导线方向上、下、左、右分别拍摄；每张照片均应包括所有线夹、金具螺栓，且每串不少于2 片绝缘子。对近似垂直导线方向上、下、左、右分别拍摄，如图9。可能存在的缺陷包括：导线从线夹抽出；导线滑移；线夹断裂裂纹、磨损；螺栓及螺帽松动、缺失；连接板、连接环调整板损伤、裂纹；销钉脱落或严重锈蚀；均压环、屏蔽环脱落、断裂、烧伤；绝缘子弹簧销缺损，钢帽裂纹、断裂，钢脚严重锈蚀或破损等。

图9 耐张串、悬垂串绝缘子导线端拍摄示例Fig.9 Shooting example of tensioning string, suspension string insulator wire end

绝缘子串挂点，可拍摄部分为绝缘子串和金具。无人机采用近似垂直导线方向上、下、左、右分别拍摄；每张照片均应包括所有线夹、金具螺栓、挂点塔材，且每串不少于2 片绝缘子，如图10。可能存在的缺陷包括：螺栓及螺帽松动、缺失；连接板、连接环调整板损伤、裂纹；销钉脱落或严重锈蚀；挂点塔材、变形；绝缘子弹簧销缺损，钢帽裂纹、断裂，钢脚严重锈蚀或破损等。

图10 耐张串、悬垂串绝缘子挂点拍摄示例Fig.10 Shooting example of tensioning string and suspension string insulator hanging point

对整串绝缘子，近似垂直导线方向上、下、左、右分别拍摄；每张照片均应包括整个绝缘子串，如图11。可能存在的缺陷包括：伞裙破损、严重污秽、有放电痕迹；弹簧销缺损；钢帽裂纹、断裂；钢脚严重锈蚀或破损；绝缘子串顺线路方向倾斜角过大；绝缘子自爆等。

图11 绝缘子串拍摄示例Fig.11 Shooting example of insulator strings

1.4 附属设施拍摄

附属设施包括各种拍摄杆塔所有标识标牌、防雷、防鸟、在线监测装置，如图12。可能出现的缺陷包括：标识标牌缺失、损坏、字迹或颜色不清、严重锈蚀等。防雷设置破损、变形、引线松脱，螺栓松脱， 销钉脱落或严重锈蚀，放电间隙变化、烧伤、计数器动作情况等；防鸟装置缺失、破损、变形、螺栓松脱销钉脱落或严重锈蚀等；在线监测装置外观损坏、引线松脱，螺栓松脱、销钉脱落或严重锈蚀等。

图12 杆塔标识标牌拍摄示例Fig.12 Shooting example of tower identification signs

1.5 线路走廊拍摄

线路走廊拍摄，对本基杆塔下相导线侧面分别拍摄大、小号侧顺线路方向分别至下一基杆塔的通道整体情况，通道内建（构筑物、鱼塘、水库、农田、树竹生长、施工作业情况；周边及跨越的电力及通信线路、道路、铁路、索道、管道情况；地质情况等），如图13。可能出现的缺陷主要是塔吊、推土机、挖掘机等施工外破目标、树线距离不足、违章建筑、地质环境变化等。

图13 线路走廊拍摄示例Fig.13 Shooting example of transmission line corridor

2 典型工况下自适应拍摄算法

2.1 视野中电力设备目标检测

目前无人机自主巡检航线规划完全依赖基于北斗系统的差分定位，控制无人机到达预设航点后，调整机身以及云台朝向，按顺序在预设位置对设备部件进行拍摄。在具备前端识别设备的基础上，可以通过基于检测反馈调整的设备拍摄算法，使无人机精准对向目标设备执行拍摄，进一步提升巡检图像拍摄质量。

无人机到达悬停航点后，飞控发送指令至前端智能分析模块，开启图像分析流程，前端智能分析模块向无人机云台相机获取实时视频。为降低处理压力，可以从原视频文件中每多帧中抽取1帧图像进行分析处理，推荐每10帧抽取1帧，其抽取比例可在系统中设置。

通过智能分析模块运行的深度学习模型，采用经过轻量化改进的目标检测算法（You Only Look Oncee，YOLO）YOLO 模型检测典型设备，从相机广角端拍摄图像中定位典型设备位置，并对视野内的设备进行编号排序。经试验，可以将待识别的目标设备抽象为几个重点拍摄位置多个设备的组合，包括：塔全景、塔顶地线挂点、悬垂绝缘子接地端挂点、悬垂绝缘子串整体、悬垂绝缘子导线端、耐张绝缘子接地端挂点、耐张绝缘子串整体、耐张绝缘子导线端。选取典型拍摄位置的图像标注后，预先训练模型集成于无人机飞控上。

以上位置设备有相对明显的组合轮廓特征，智能分析模块运行的轻量化深度学习检测模型即可准确识别。相对于对绝缘子、线夹等各类设备的识别，本节方案更加抽象地概括了电力场景下需要拍摄的位置特征，发挥了深度学习模型的优势。避免了针对不同电压等级线路中不同型号设备识别算法的开发，降低了开发成本，提升了识别稳定性。

将拍摄时刻设为T0，此图片记为Pic0，记录T0时刻飞控各项参数，包括GPS 坐标，无人机IMU 三轴参数，包括偏转角、俯仰角、翻滚角，云台的三轴参数，包括偏转角、俯仰角、翻滚角。前端模块调用轻量化深度学习模型，识别Pic0，识别出的设备区域从上至下进行顺序编号，按照编号顺序，决定后续的变焦拍摄顺序，目标识别及编号示例如图14。

图14 从图像中定位出设备并排序Fig.14 Positioning and sorting devices from images

2.2 考虑风速影响的无人机及云台反馈调节

前端智能分析模块计算图像中设备区域中心点位置与视野中心位置偏差，反馈给无人机飞控，调节无人机及云台，使目标图像采集过程中，目标设备区域在图像中居中显示。

首先建立图像坐标系，以左上角为原点，右方为X轴，下方为Y轴建立图像坐标系，其X轴方向最大值为图片的最大横向分辨率（Xm，0），Y轴方向最大值为图像最大纵向分辨率（0，Ym）通过顶点坐标计算目标设备中心在图像坐标系中的坐标。

根据坐标反馈到无人机飞控，控制无人机及云台向对应方向调整。例如目标在图像中偏左上，则应通过飞控控制云台向左上移动。通过实时获取飞控IMU中无人机姿态参数和云台三轴参数，若目标采集过程中受到阵风影响，导致无人机姿态参数出现变化，则前端模块发送命令使云台应朝反方向补偿，保持镜头朝向不变。例如若检测到无人机偏转角较上一时刻改变了α度，则云台应在上一时刻三轴位置的基础上，偏转角补偿-α度，从而始终保持相机拍摄朝向方位稳定。重新计算坐标值，重复以上步骤，至同时满足设置值，过程示例如图15。

图15 图像中设备识别反馈相机调整拍摄示例Fig.15 Shooting example of device recognition feedback camera adjustment in the image

2.3 目标设备图像自动对焦拍摄

通过前端智能分析模块与无人机飞控通信伺服无人机及云台，保证采集过程中目标设备始终保持居中显示，防止因阵风等因素引起无人机姿态变化导致的拍摄目标丢失。由于变焦相机镜片组是机械结构，飞控控制相机从最短焦距变化到最长焦距需要1 s～2 s的时间，远大于拍照时的曝光时间1/100 s，因此通过变焦过程中图像识别与无人机云台伺服步骤，保证变焦过程中镜头始终锁定拍摄目标，防止因阵风等外界变化造成的目标丢失。

若无人机为搭载定焦相机的精灵4 等型号无人机，则前端智能分析模块控制无人机朝向拍摄目标飞行，使目标图像在视野中逐渐变大。前端智能分析模块实时读取采集过程中图像，并识别出目标设备包围盒，确保采集过程中设备始终保持在图像中居中显示。采集过程如图16。完成上述变焦操作，对准目标设备后，相机对目标设备进行自动对焦操作，拍摄目标设备部位清晰图像。

图16 目标设备图像拉近居中显示原理示例Fig.16 Example of zooming in and centered display of target device images

2.4 考虑光照影响的图像质量校验

对焦正确的第i帧图像，计算其灰度直方图，若存在明显的波峰波谷，则对灰度值直方图进行均衡化操作，并计算其正确曝光时间及曝光补偿参数，保障图像对比度适中，如图17。

图17 曝光参数优化后图像采集效果对比Fig.17 Comparison of image acquisition effect after exposure parameter optimization

第1 个目标拍摄完成后，可见光相机恢复至最短焦距，根据检测算法模块检测结果进行比对。读取每个设备区域中心点坐标PAi（XApi，YApi）通过最小欧式距离完成Pic0与Pic0A中各设备中心点的对应，确认拍摄排序2 的设备，避免顺序混乱和重复拍摄。关联飞控和工单，对每个拍摄部位进行命名，例如命名为“500 kVxxx线10号上相绝缘子导线端”。

重复上文步骤，完成排序2 设备的高清图像采集与清晰度检测，以此类推完成本航点视野内所有设备的图像采集与清晰度检测。通过在一个航点完成视野内多个设备的拍摄，降低航线规划的难度和规划工作量，避免了飞行航线过程中的能量损耗和在GPS 定位精度有限的条件下多个航点寻找悬停点消耗的时间，提升巡检效率。

3 结语

考虑不同拍摄背景、光照、拍摄距离等典型环境工况条件，对自主巡检无人机拍摄的图像进行了规范，基于轻量化改进YOLO 算法，建立了基于图像识别反馈的无人机巡检自适应拍摄算法，通过从无人机视频中识别出杆塔、绝缘子、金具等典型电力设备部件，反馈给无人机飞控系统。在拍摄前调节控制无人机拍摄位置、相机焦距、角度等拍摄参数，使拍摄图像居中且清晰可见，在考虑风速、光照影响的工况条件下，实现了对杆塔、导地线、绝缘子、金具、附属设施、线路走廊的高清自适应对焦拍摄。