基于三目视觉的输电导线弧垂三维重建方法研究

阙 波 刘伟东 姜文东 王和平 邹 彪

1国网浙江省电力有限公司，浙江 杭州，310007

2国网通用航空有限公司，北京，102209

随着智能电网建设的不断推进［1，2］，对影响输电线路正常送电的危险源的自动识别和报警是国家电网安全运行的一个迫切需求。为了避免危险源（高楼、大树、带扬臂的危险车辆等）对输电线路的影响，除了检测危险源外，弧垂的重建也非常重要。

目前输电线弧垂的重建主要是基于点云来完成的。文献［3］基于机载激光雷达利用模型残差聚类精确提取单根电力线点云；文献［4］使用机载激光点云采用二分法提取每根分裂子导线点云，并采用二维直线拟合重建点云；文献［5］使用机载激光雷达点云提取并重建输电线；文献［6］基于激光雷达点云，对比直线段与悬链线段相结合的模型，以及直线段与抛物线段相结合的模型重建输电线的效果；文献［7］通过对三角网渐进加密滤波方法进行改进，采用k-means聚类分割单档电力线点云，并采用两种不同的方法重建输电线；文献［8］基于架空输电线走廊重建输电线，实现了对电力线数目、档距长度等因素鲁棒的重建方法；文献［9］通过点云聚类、悬挂点检测和电力线三维建模等技术得到三维的输电线。这些方法使用包含三维信息的点云，可以较好地重建输电线，但其代价比较大。

三目视觉系统采用3个具有一定位置关系的摄像头，模拟人的眼睛，构建立体视觉系统，实现场景的三维重建，并且可以像普遍存在的监控摄像头那样，代替人完成长时间的现场监控。由于价格比较低，三目视觉系统可以在国家电网中大范围的使用，提升智能电网的管理效率。而且，三目视觉系统使用3个摄像头，相比于双目视觉［10］，可以得到的信息更加丰富，标定的更加准确，可以更有效地实现三维重建。

因此，本文提出了一种基于三目视觉的输电线弧垂三维重建方法。首先，单独标定各个摄像机，接着，基于特征点两两标定摄像机，然后，采用光束平差参数优化方法同时标定3个摄像机。基于标定好的三目摄像机，采用视点平面扫描技术为每个摄像机计算空间概率图，并使用半全局代价空间优化方法优化空间概率图得到3个深度点云。通过融合和过滤深度点云，最终得到重建后的深度图。基于三目视觉的三维重建可以自动实现高精度的长距离架空输电线弧垂的三维重建。

本文的三目视觉系统架构如图1所示。系统采用3个12 mm焦距1 230万像素镜头的同步工业摄像头，安装在电网铁塔横梁上，位于同一个水平线上，摄像机的光轴也都是水平的，并且中间的摄像机和左右两边的摄像机等间隔。整机采用太阳能供电，电压12 V，电流60 A。

图1 摄像头的安装位置（红色的圈）Fig.1 Fixing Position of Cameras（Red Circles）

1 视觉标定

1.1 单目标定

对于每个摄像头，采用张氏标定法［11］基于棋盘格图像确定摄像头的内部和外部参数。内部参数是摄像头的焦距和摄像机中心；外部参数是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。像素点的成像坐标(u，v)与世界坐标系的三维坐标(X，Y，Z)的变换公式为：

式中，第一个3×3的矩阵是内参矩阵，描述的是图像中心点的偏移量和焦距；第二个3×4的矩阵是外参矩阵。通过采集一系列的(u，v，X，Y，Z)来计算其他最佳系数，实现单目标定。单目标定主要确定摄像机的内部和外部参数。

1.2 双目标定

对于三目系统中的任意两个摄像头，采用双目标定的方法确定摄像头之间的空间位置、旋转角度等参数。基于每个摄像头采集的图像，通过角点检测技术［12］自动检测图像中的特征点，并计算它们的判别性特征，使用Hamming距离两两匹配不同图像中的对应特征点，采用随机采样一致性来过滤掉特征点之间的错误匹配，建立任意两个摄像机之间的姿态关系。这里，特征点是图像中在某方面属性特别突出的像素点，是在某些属性上强度最大或者最小的孤立点、线段的终点等。为了得到有效的判别性特征，提高标定的效果，算法设计了深度神经网络，如图2所示，用于在每个特征点处提取深度学习特征。其深度神经网络各层的设置如表1所示。

表1 深度神经网络各层的设置Table 1 Configuration of Layers for Deep Neural Network

图2 提取特征点特征的深度神经网络Fig.2 Deep Neural Network for Feature Extraction of Feature Points

本文采用公开的ImageNet数据集，并在现有神经网络的基础上外加一个全连接层用于输出分类的结果。算法使用训练好的深度神经网络，在图像的特征点处提取并输出2 048维的深度特征。

为了标定左、右摄像机，本文采用旋转矩阵R和平移矩阵T来描述左、右两个摄像机坐标系的相对关系。假设空间中有一点Q，其在世界坐标系下的坐标为Q W，其在摄像机1和摄像机2坐标系下的坐标可以表示为：

进一步可得到：

综合式（2）、式（3）可知：

式中，R1、T1为摄像机1经过单目标定得到的相对标定物的旋转矩阵和平移向量；R2、T2为摄像机2经过单目标定得到的相对标定物的旋转矩阵和平移向量。

基于检测到的一系列特征点，算法可以确定两个摄像机的摄像头间的空间位置和旋转角度。双目标定除了进一步确定摄像机的内外参数外，还要确定摄像机之间的空间位置和旋转角度等。

1.3 三目标定

对于三目视觉系统，算法采用§1.2中的方法自动检测摄像机所采集的图像中的特征点，并建立三目系统下特征点之间的对应关系。采用光束平差参数优化方法［13］，本文对3个摄像机的内部、外部等参数同时优化，建立3个摄像机的姿态关系，完成三目摄像机的标定。

光束平差参数优化是一个最小化问题：

式中，m取3，代表3个摄像机拍到的3个图像；n是在3个图像中共同可见的特征点的数量；x ij是第j个图像上的第i个特征点的坐标；v ij是一个开关量，如果第i个特征点在第j个图像上有映射，则v ij=1，否则vij=0，每个图像j由向量bj参数化表示，每个特征点由ai参数化表示；P(ai，bj)表示特征点i在第j个图像上的通过上述摄像机的内参、外参计算得到的坐标；d(g，h)表示向量g和h的欧式距离。算法通过最小化n个特征点在3幅图上投影的误差，得到3个摄像机的参数和相互关系，标定3个摄像机。三目标定和双目标定一样，除了进一步确定摄像机的内外参数外，还要确定摄像机之间的空间位置和旋转角度等。

2 三维重建

基于标定好的三目视觉系统所采集的3个图像，本文通过多视点平面扫描技术依次为3个摄像机计算其所对应的三维空间中的各点成为场景中物体的概率，得到3个概率图。

通过上述的三目摄像机标定，各个摄像机的图像空间和相应的真实世界的锥形空间之间建立了对应的映射关系。利用这些映射关系，算法可以将3个图像映射到上述的锥形空间，得到3个映射后的图像Γk(k=1，2，3)。接着，在锥形空间中任选一个点p，并以该点为中心在每个映射后的图像上取一个局部窗口W p，k(k=1，2，3)，计算3个图像上的上述3个局部窗口上的互信息，并将互信息的值作为该点成为场景中物体的概率。

由于单幅图像中每个像素的概率是独立估算的，而且上述3个图像之间可能会有尺度、光照上的差异，这些会导致初始相邻像素间的概率相差过大，使获得的概率图不连续。因此，本文采用半全局代价空间优化方法［14］去除这些不连续的噪点。

接着，算法以每个摄像头为原点，通过射线的方式分别遍历上诉概率图，概率最大的位置对应的深度就是这个位置的深度值，从而得到对应的3个深度点云图。深度点云位于摄像机的坐标系中。

2.1 深度图融合与过滤

为了得到世界坐标下的深度图，本文需要对3个深度点云进行融合和过滤。依据每个摄像机和世界坐标系的关系，将3个深度点云上的点映射到三维世界坐标系中，使得每个三维世界坐标系中的点对应3个深度值d k(k=1，2，3)。

2.2 导线弧垂拟合

由于弧垂较细，重建后容易断开［15］。本文通过随机采样一致性拟合出导线弧垂，实现弧垂的完整三维重建。拟合步骤如下：

1）随机选择n个三维重建的点rnd_points。

2）拟合二次方程M，并计算每个不在rnd_points中的数据点在这个拟合好的模型M上的误差。如果误差小于一个阈值th_error，就将这个重建点加到rnd_points里。

3）如果rnd_points中点的个数大于阈值th_num，则用rnd_points中的点再次拟合二次方程M：y=ax2+bx+c，并计算rnd_points中的所有点在新模型M中的误差，如果误差小于当前的最优误差，就保存这个误差以及对应的二次方程M。

4）如果当前迭代次数没有达到最大的迭代次数，转到步骤1），否则转到步骤5）。

5）输出最好的拟合模型M′。为了处理多个弧垂的不同情况，本文首先对各个弧垂进行聚类，将不同的弧垂区分开来，再使用随机采样一致性拟合出导线弧垂［16］。

3 实验

本文选取浙江省和江苏省实际电网场景来采集图像，重建输电导线弧垂，以此测试算法的有效性。本文三维重建采用256颗CUDA核的NVIDIA Jetson TX2主控板；三维重建精度的定量验证采用南方全站仪：NTS-342R10A，其测角经度为2″，测距精度为±（2 mm+2×10-6×D）。

3.1 三维重建实验

以一个实际的高压输电线作为实验对象，如图3所示，根据本文重建方法可以得到左、中、右3个摄像机视角下的三维重建图像，如见图4所示。从图4中可以看出，三目视觉中的每个摄像头都能得到较好的三维弧垂重建结果。

图3 实际输电线弧垂Fig.3 Real Power Line Arc Sag

图4 左、中、右3个摄像机坐标系中的三维点云图Fig.4 3D Point Cloud Maps in the Three Cameras Coordinate Systems（Left，Middle，Right）

3.2 深度图像融合实验

为了验证深度图像融合的效果，本文选择一个包含3个铁塔、多条弧垂的场景，如图5所示。其中左、中、右3个摄像机在坐标系中的三维点云融合结果如图6所示。

图5 实际的弧垂图像Fig.5 Real Arc Sag Image

图6 融合后的深度图像Fig.6 Fused Depth Image

3.3 图像去噪实验

为了获得更平滑的三维重建图像，本文进一步进行了去噪处理，实验结果如图7所示。

图7 去噪后的深度图Fig.7 De-noised Depth Image

3.4 弧垂拟合实验

为了证明弧垂拟合的有效性，本文拟合了上面图像中不连续的弧垂，得到了完整的弧垂，如图8所示。由于多个不同的弧垂分别进行了拟合，弧垂之间也没有相互干扰。而且本文采用了随机采样一致性拟合导线弧垂，算法对噪声等干扰具有较好的抗干扰能力，使得弧垂拟合的结果准确。这验证了本文弧垂拟合方法是有效的。

图8 弧垂拟合后的图像Fig.8 Resulting Image of Arc Sag Fitting

3.5 本文三维重建方法的定量分析

为了定量衡量本文三维重建方法的精度，2019年7月26日在江苏省南通海门市泰吴线上安装该三维重建系统，采集并重构点云数据。本文还采用南方全站仪独立坐标系测量方式采集单个区域共计6个检查验证点。为了方便分析，检查验证点主要选取特征明显、图片易分辨的特征点，比如目标塔上的外角点、地面醒目固定物等，如图9所示。

图9 检查验证点选点示意图Fig.9 Illustration of Checking Points Selection

1）绝对精度验证。

根据选取的检查验证点，使用Cloudcompare软件打开本文方法重建的点云，并从中取出6个检查验证点坐标，和实际测量点坐标值进行对比。检查验证点如图9中的绿色圆圈所示，重建精度的绝对验证结果如表2所示。ΔX、ΔY、ΔZ代表实际测量值和重建后的点云测量值在X、Y、Z3个坐标方向上的差值。

表2 检查验证点坐标差值/mTable 2 List of Coordinate Differences for Checking Points/m

2）相对精度验证。

为了测量三维重建的相对精度，用Cloudcompare打开本文重建的点云，并量取两个检查验证点的距离，与实地测量的两点间距离进行对比，得到相对精度差值。实验选取了6对检查验证点对应的5条线段，分别是L（W1-W2）、L（W3-W4）、Ld、L（KZ1-KZ2）、L（KZ3-KZ5），如图9中5条黄色的线段所示，相对精度的对比结果如表3所示。

表3 检查验证点相对距离差值表/mTable 3 List of Relative Distances for Checking Points/m

由表2中可知，在Y和Z方向上，本文的三维重建方法测得的检查验证点的坐标值和实际测量值之间的误差不超过4 cm，在X方向上误差为28.3 cm。从表3可以看出，在相对精度方面，本文的三维重建方法测得的检查验证点间的相对距离和实际测量值之间的平均误差为23.2 cm。这说明了本文的三维重建方法的准确性。

4 结束语

针对输电线弧垂的三维重建问题，本文提出了一种基于三目视觉的输电线弧垂三维重建方法，能够实现单目、双目、三目摄像机的标定，自动实现图像采集和输电弧垂的三维有效重建，在实际输电场景中的实验验证后得到如下结论。

1）在三目视觉标定过程中，采用深度神经网络自动学习具有判别性的深度特征，可以更加准确的匹配图像间的对应特征点，准确的标定摄像机。

2）三目视觉在输电线弧垂三维重建中能够捕捉更多的场景信息，获得更丰富的点云，可以通过相互验证滤掉噪点，得到更好的重建效果，同时比雷达的成本更低。

本文的方法可以有效的从三目视觉系统采集的三个图像中重建出输电线弧垂，有利于发现可能影响输电线安全的危险源，这有益于保证输电线路的安全，对电网的安全稳定运行具有重要意义。