基于无人机智能视觉的输电线路全息全景重建

， ，，

(1.国网福建省电力有限公司，福州 350003；2.国网福建省电力有限公司三明供电公司，福建 三明 365000；3.厦门亿力吉奥信息科技有限公司，福建 厦门 361009)

0 引言

输电线路是我国远距离输送电能源的主要途径，它的状态决定了电网能否安全运行[1]。频发的自然灾害对输电线路造成了严重影响[2]。现有技术通过采集输电线路图像，对输电线路进行重建来提高输电线路质量，以便确保输电线路安全运行，但受到输电线路铺设位置的局限性，往往图像信息采集不完全[3]。智能技术和机器视觉技术的不断进步，使无人机可以智能地拍摄输电线路全景，且能够实现在输电线路同一点多角度多幅图像的拍摄[4]。将无人机智能视觉技术应用到输电线路全息全景重建方法中，能够更逼真、更准确地完成输电线路的重建。传统方法基于双目视觉稀疏点云技术对输电线路图像进行提取和定位，获取电缆走廊影像，采用核线约束算法得到输电线路稀疏点云，引入悬链线拟合技术对输电线路的全息全景进行重建[5]。该方法包含大量复杂算法，易出现误差，导致重建结果不准确。为解决上述问题，提出一种基于无人机智能视觉的输电线路全息全景重建方法。

1 输电线路全息全景重建原理

基于无人机智能视觉的输电线路全息全景重建方法利用视差原理，由无人机从不同角度对输电线路进行观察，引入全息照相技术对输电线路全景进行拍照，通过底片成像获取输电线路全景图像，使输电线路同一个点在多幅图像中呈现出不同的视觉效果。根据无人机智能视觉成像的原理得到像点之间的集合关系，通过计算得到像点的三维坐标。

图1为输电线路全息全景重建原理图，其中图像a和图像b是同段输电线路上的电路图像，是由无人机从不同角度进行拍摄得到的。

图1 输电线路全息全景重建原理图

图1中基线距代表无人机视觉中心的连线距离；f代表无人机的焦距，即无人机到输电线路全息全景图像平面的距离；Q1和Q2代表输电线路全息全景图像平面的坐标原点。以左面无人机的中心为原点建立坐标系Xc-Yc-Zc，P代表空间中输电线路上的某一点，其坐标为(xc,yc,zc)，在两幅输电线路全息全景图像上的成像位置为Pa(x1,y1)、Pb(x2,y2)，根据三角的几何关系可以得到下式：

(1)

因为无人机一直在垂直方向并且保持同一平面，所以y=y1=y2，无人机的视差为|x1-x2|。输电线路上的P点可以通过无人机内外参数并结合视差进行计算。

利用以上输电线路全息全景重建原理，完成基于无人机智能视觉的输电线路全息全景的重建。

2 输电线路全息全景图像预处理

在进行输电线路全息全景重建之前，对输电线路的全息全景图像进行预处理。预处理主要包括：输电线路图像的采集和全息全景图像特征提取。图像采集和特征提取的准确性是确保输电线路全息全景重建高精度的关键。

2.1 输电线路图像的采集

采用无人机智能视觉的技术对输电线路图像进行采集。无人机具有时效性强、成本低和机动灵活的特点[6]，适用于输电线路图像的采集。无人机智能视觉技术图像数据的获取是通过无人机搭载的摄影机，结合高精度IMU和GPS接收机完成。摄影机用来获取输电线路图像，IMU和GPS用来提供坐标信息和位置。一般在数据处理中根据空间三角的测量方法对输电线路图像提供准确的位置信息。

无人机智能视觉技术由检校场设计、地标点设计和飞行方案设计构成。无人机飞行设计中航飞设计底图通常采用高清的影像图[7]。在无人机航飞设计的地图中对飞行范围进行标注，调查该区域的地形情况。通过专用的航线设计软件对无人机的航线进行设计，要求物理像元尺寸、地面分辨率和行高满足三角的比例关系。采用航线设计软件生成一个包含相机曝光点坐标和航线坐标的飞行计划文件。在实际的无人机飞行中，无人机上的相机通过相对应的曝光点坐标对输电线路进行自动的曝光拍摄。

无人机在飞行前需要进行输电线路的地标点设计，方便输电线路图像数据的处理。输电线路地标点的设计原则为：

(1)沿无人机航行路线每隔1千米设置一个地标点，输电线路的重要地区每隔500米设置一个地标点。

(2)沿无人机航行线路每隔10千米设置双地标点，在输电线路的左面和右面各放置一个地标点。

(3)将地标点放置在无人机飞行范围的边缘，不能将地标点放置在输电线路的正下方。

2.2 全息全景图像特征提取

1)图像初始边缘提取：

根据输电线路全息全景图像的灰度变化决定输电线路图像的分块大小，将目标区域灰度值和背景接近区域作为图像待处理的区域，使用梯度幅值检测边缘对输电线路全息全景图像进行检测。分析图像中存在目标灰度值和背景灰度值接近的区域，需要考虑：因为图像的目标灰度值和背景灰度值区域的梯度幅值较小，使用整幅图像的方差和梯度幅值均值作为阈值进行全息全景图像边缘点的监测时，会出现断裂的情况；若先采用单阈值对输电线路全息全景图像边缘点进行检测，图像区域中出现了断裂的情况，表明该区域为输电线路图像目标区域灰度值和背景灰度值接近的区域。

采用全息全景图像方差和梯度幅值作为阈值检测输电线路图像的初始边缘。在图像的初始边缘检测图像边缘中的断点，寻找输电线路目标区域和背景灰度接近的图像区域作为窗口，检测原始输电线路窗口内的边缘。将传统算法检测的输电线路图像边缘init-edge二值图像作为初始边缘[8]，其大小为N1×N2。

2)全息全景图像边缘断点检测：

通过在输电线路全息全景图像的初始边缘上检测图像边缘断点，寻找图像目标灰度值和背景灰度值接近的区域，即在细化后的输电线路全息全景图像初始边缘中寻找断点。细化后的初始边缘宽度为1个像素，所以只需在输电线路的二值边缘图像中寻找断点即可，图2为简化的输电线路初始边缘init-edge示意图。

图2 边缘断点示意图

在初始边缘中输电线路全息全景图像的像素分为中间点和端点。中间点代表的是全息全景图像中一条边缘线条中间的像素点。端点代表的是全息全景图像中边缘的头部或尾部的像素点，根据像素点的特征，对输电线路全息全景图像中的初始边缘端点进行检测。

3)自适应窗口大小：

根据检测输电线路全息全景图像初始边缘中的断点确定目标灰度值和背景灰度值接近的区域，但无法确定全息全景图像区域的窗口大小。将输电线路图像中端点密度大的区域大小作为图像窗口的大小，使用窗口内方差和梯度幅值均值对区域内的边缘进行检测。

将输电线路全息全景图像中的断点进行分类确定断点密度较大区域的大小，采用k均值聚类方法对图像边缘断点进行聚类。

设N为输电线路全息全景图像初始边缘断点个数，设为{(x1,y1),(x2,y2),(x3,y3)…(xN,yN)}，采用k均值聚类方法将N个初始边缘断点分为k类，其中第i个分类中的集合表达式为Li={(x1i,y1i),(x2i,y2i),(x3i,y3i)…(xni,yni)}，采用矩形框确定输电线路图像聚类区域，其中输电线路图像边缘中第i个窗口上的边界为：

(2)

所以第i个窗口的大小为wini=(lefti:righti:upi:downi)。

4)图像最终边缘提取：

采用k均值聚类方法确定输电线路全息全景图像中目标区域灰度值和背景图像灰度值接近的区域。然后将聚类出的窗口映射到输电线路的原始图像中，使用梯度幅值检测法对输电线路的边缘进行检测[9]。

采用梯度幅值算法对输电线路全息全景图像的窗口边缘进行检测，得到连续的边缘，计算图像初始边缘和窗口内边缘的集，得到完整的全息全景图像的边缘。设输电线路图像中第i个窗口检测的边缘为edge-wini，输电线路全息全景图像最终边缘的计算公式为：

(3)

综上所述，对输电线路全息全景图像进行预处理，为输电线路全息全景重建方法的实现奠定了良好的基础。

3 重建方法的实现

基于无人机智能视觉的输电线路全息全景重建方法，先对图像特征进行跟踪，检查图像领域内像素点，选取最优图像分支。采用立体匹配算法，寻找同意输电线路不同像素的对应关系，计算图像深度信息，实现输电线路全息全景的重建。具体方法描述如下：

3.1 图像特征跟踪

利用下述函数对输电线路全息全景图像进行卷积，在图像中选择响应为3的像素为种子点。

(4)

特征跟踪从输电线路全息全景图像中的种子点开始，对图像邻域内的像素点进行检查，向两个方向分别进行生长。当图像邻域内只存在两个有效值时跟踪结束。因为无人机智能视觉技术造成的线路图像存在复杂的冰晶和重叠的问题[10]，使跟踪的输电线路全息全景图像存在多个候选点。此时选择与当前无人机线路最近的点作为生长点。跟踪完图像中所有分支后，根据分支的方向和长度的夹角选取最优的分支。

3.2 基于立体匹配的重建方法

根据无人机的多个观察点对同一场景进行观察，得到不同视觉位置下的输电线路全息全景图像。立体匹配的目的是寻找同一输电线路场景不同图像像素中的对应关系，获取输电线路图像的深度信息。

立体视觉是输电线路成像过程的逆过程，存在不确定性，在投影的过程中会造成输电线路图像信息的损失，需要视差范围约束、极线约束、顺序性约束、相容性约束、连续性约束和唯一性约束等约束条件进行约束。计算输电线路全息全景图像深度信息是立体匹配算法的最终目的，分为匹配问题和计算深度信息两个步骤。

图3 平面示意图

设f1(x,y)、f2(x,y)代表的是大小为N1×N2的输电线路图像(x,y)的灰度值，输电线路图像处的视差为d(x,y)，D代表的是无人机的最大视差，以右面的图像为基础和以左面的图像为基础分别形成下式：

(5)

通过公式(5)完成输电线路图像的立体匹配。

根据以上步骤，完成了基于无人机智能视觉的输电线路全息全景重建。

4 实验结果分析

为了验证基于无人机智能视觉的全息全景重建方法在输电线路重建中的有效性及可行性，实验选取易对重建效果造成干扰的三个指标进行分析，三个指标分别为：覆冰重量、覆冰体积及覆冰厚度。实验在Visual Studio 2015 C++开发环境上实施，选取两段不同的输电线路全息全景进行重建，输电线路如图4所示，第一段输电线路的长度为500 m，厚度为20 mm，第二段输电线路的长度为700 m，厚度为25 m。

图4 两段不同的输电线路

计算两段不同输电线路的长度和厚度并将测量得到的数据与人工测量的数据进行对比，测试结果如表1所示。

表1 两种不同方法的测量结果

分析表1可知，通过改进方法测得第一段输电线路的长度为500 m，厚度为20 mm，第二段输电线路的长度为700 m，厚度为25 m，与实际结果相同。采用人工测量的方法测得第一段输电线路的长度为450 m，厚度为18 mm，第二段输电线路的长度为600 m，厚度为27 mm，与实际测量结果相比存在误差，证明基于无人机智能视觉的输电线路全息全景重建方法重建的结果较为精准。

分别采用改进方法和基于RANK的输电线路全息全景重建方法对某段覆冰体积为217 210mm3，覆冰重量为15.60 g的输电线路进行重建，测量重建后输电线路的覆冰重量和覆冰体积，测量结果如图5，图6所示。

图5 两种不同方法的测量覆冰重量对比结果

由图5可知，采用RANK方法对输电线路全息全景重建，其最高覆冰重量达到17.93 g，最低覆冰重量为17.17 g，三次测量平均覆冰重量为17.57 g，与实际输电线路覆冰重量相差约2 g。采用改进方法对输电线路全息全景重建，最高覆冰重量达到15.90 g，最低覆冰重量为15.67 g，三次测量平均覆冰重量为15.79 g，与实际输电线路覆冰重量相差约0.2 g。对比两种方法的实验结果，可明显看出，采用RANK方法重建的输电线路覆冰重量与实际值存在较大误差，而改进方法重建的输电线路覆冰重量与实际值基本相同。因此说明，改进方法对输电线路全景全息重建的效果十分逼真，可完整展现输电线路的实际情况，重建精度高，验证了改进方法的可行性。

图6 两种不同方法的测量覆冰体积对比结果

分析图6可知，通过3次实验分别采用RANK方法和改进方法对重建后输电线路的覆冰体积进行测量。采用RANK方法对输电线路全息全景重构，其最大覆冰体积达到221980 mm3，三次测量平均覆冰体积为221613 mm3，与实际覆冰体积相比存在较大误差。采用改进方法对输电线路全息全景重构，最大覆冰体积达到217220 mm3，三次测量平均覆冰体积为217200 mm3，与实际覆冰体积相同。对比两种方法的实验结果发现，改进方法能够更加有效的完成输电线路全景全息的重构，且重构的输电线路情况与实际情况完全相同，充分说明改进方法的重构精度高，验证了改进方法的可用性。

导出改进方法测得的数据与实际最大覆冰厚度23 mm相对比，以图的形式表现出来，测量以导线轴线距离为横坐标的重建后输电线路覆冰厚度，如图7所示。

图7 两种方法重建输电线路的覆冰厚度对比结果

分析图7(a)、图7(b)可知，采用RANK方法对输电线路全息全景重建，其最大覆冰厚度为43 mm，出现在输电线路的215 mm处，超出实际最大覆冰厚度20 mm。通过改进方法对输电线路进行全息全景的重建，可以发现输电线路最大覆冰厚度只有23 mm，出现在输电线路的250 mm处，与实际最大覆冰厚度完全一致。对比两种方法的实验结果，采用改进方法进行输电线路全息全景重建，与实际情况完全匹配，充分说明改进方法重建精度高，重建效果十分逼真，验证了改进方法的有效性。

综合以上实验结果分析可知，采用基于无人机智能视觉的输电线路全息全景重建方法，重建精度高，输电线路质量明显提高，同时可预防覆冰灾害对输电线路造成的危害。

5 结论

针对传统输电线路全息全景重建方法的不足，提出一种基于无人机智能视觉的输电线路全息全景重建方法，解决了传统方法对覆冰输电线路进行全息全景重建时存在误差和精准度差的问题，并进行了优化和提升。引入无人机智能视觉技术及全息照相技术对输电线路全息全景重建，使得重建精度更高，视觉效果更逼真。输电线路的安全运行是电网安全问题的关键，对输电线路运行时的抗腐蚀性是我们进一步研究的主要课题。

[1] 李国鹏, 季鹏程, 陈 怡,等. 基于分布式结构输电线路防外力破坏检测与预警系统设计[J]. 电子设计工程, 2016, 24(24):95-97.

[2] 廖圣龙, 安居白. 输电线路对绝缘子破损航拍图像检测仿真[J]. 计算机仿真, 2016, 33(4):176-179.

[3] 吴姝雯, 张化昭, 赵 淳. 110kV双回输电线路复合材料杆塔防雷优化设计研究[J]. 科技通报, 2015, 31(10):258-261.

[4] 杨耀权, 杨 朔. 基于数字图像处理的单条输电线路曲线提取[J]. 科学技术与工程, 2016, 16(28):90-94.

[5] 邓荣军, 王 斌, 熊 典,等. 基于遗传算法的输电线路无人机巡检路径规划[J]. 计算机测量与控制, 2015, 23(4):1299-1301.

[6] 司马文霞, 杨 庆, 李永福,等. 输电线路雷电绕击评估方法分析及展望[J]. 高电压技术, 2015, 41(8):2500-2513.

[7] 楼文娟, 杨 悦, 卢 明,等. 连续多跨输电线路动态风偏特征及计算模型[J]. 电力建设, 2015, 36(2):1-8.

[8] 王礼田, 邵凤莹, 萧宝瑾. 基于双目视觉稀疏点云重建的输电线路弧垂测量方法[J]. 太原理工大学学报, 2016, 47(6):747-751.

[9] 林祥国, 段敏燕, 张继贤,等. 一种机载LiDAR点云电力线三维重建方法[J]. 测绘科学, 2016, 41(1):109-114.

[10] 汪 骏, 夏少波, 王和平,等. 基于直升机激光点云的分裂导线重建研究[J]. 遥感技术与应用, 2015, 30(6):1189-1194.