电力智能巡检机器人视觉与激光自适应融合导航方法研究

尹 杭，樊绍胜，杨 权

（长沙理工大学电气与信息工程学院，长沙 410114）

0 引言

降压变电站、升压变电站作为电力系统中传输电能、变换电压的重要组成部分，对相关设备的巡检维护在保障电力系统安全可靠运行中起着重要的作用。目前国内变电站常采用人工巡检的方式，这种方式存在着巡检效率低、劳动强度大、人工成本高、安全风险高等问题，伴随着人工智能的发展，部分传统人工巡检的工作可由机器人巡检完成［1］。

机器人自动巡检的关键是路径导航与定位技术，巡检机器人在巡视过程中需要定点停靠，利用机器人上搭载的高清和红外摄像头云台，来分别读取表计读数和导线触点温度，所以，无论是哪种导航方法都必须得到准确、实时的机器人位置与姿态信息，这样才能够控制巡检机器人准确停靠。目前，主流的机器人导航方法是磁轨导航、激光导航和视觉导航；磁轨和RFID 标签方法的导航线铺设隐蔽，导航原理简单且可靠性高［2］，但是其导航线铺设复杂，更改或增减线路麻烦，磁轨在铺设后容易出现氧化腐蚀现象，后期维护成本高［3］；激光导航有着精度大、计算快速的优点［4］，但其导航定位精度受强光反射和雾霾等因素的影响，而且应用场景发生变化可能会使其出现严重偏差。单一的视觉导航方法也存在精度低、稳定性差等问题。

本文将视觉导航与激光导航得到的位姿融合，从而得到稳定可靠的机器人位姿信息。其中，视觉导航是通过在变电站内铺设黄色导航线，作为机器人巡检轨迹，机器人前侧搭载高清摄像头，导航线图像经过预处理、分割、二值化、透视变换、直线拟合等图像处理技术，得到机器人相对实际巡检轨迹的姿态误差，从而控制机器人调整姿态；激光导航首先构建变电站全局地图，将预设好的黄色导航线映射到全局地图中，导航过程中计算机器人实际位姿与预设导航线之间的位姿差，根据位姿差实时调整机器人位姿。在实际应用中，视觉导航方法会因为导航线缺损、褪色、积水等情况，得到错误的位姿；激光导航也会因为点云匹配算法带来的定位误差导致机器人偏航。所以，本文采取以下方法进行融合：分别对两种算法得到的位姿结果进行评估，根据评估值对两组位姿数据进行加权融合，最终得到相对正确的机器人位姿。

1 视觉导航方法与评估

变电站巡检机器人要求全天候工作，室外环境又相对复杂，导航线颜色的选择要满足与背景形成较大对比、对光线变化不敏感等要求；在针对不同颜色导航线在不同光照条件下的对比度进行实验比较后，选定黄色作为导航线颜色。

1.1 基于自适应伽马校正方法的图像预处理

在导航线识别过程中，光照条件会对图像质量造成不同程度的影响。电力巡检机器人需要全天候运行，导航线还受光照角度和强度的干扰，如白天太阳光线、夜晚人造光源等均会对导航线图像产生不同程度的影响。图像对应的直方图能直观地反映出：当光照强度变化时，图像灰度值分布会发生整体均匀变化；当光照角度变化时，图像灰度值分布会发生不均匀变化，如图1 所示。

图1 不同光照干扰下的导航线图像及其灰度直方图Fig.1 Navigation line images and their grayscale histograms under different light disturbances

根据生物特征，人眼对光线的感知和光强呈现非线性关系，当光照强度增加到一定程度，人眼分辨亮度变化的能力逐渐下降。摄像头对光的识别跟光强呈现线性关系［5］，为了更好地识别光线变化，对摄像头采集到的图像进行伽马校正，其原理是对图像中的每个像素点的像素值进行乘积运算，假设某个像素点处理前后的归一化像素值分别为r、s，校正因子为γ，则：

当γ＜1 时，灰度值减小，图像整体变暗；当γ＞1 时灰度值增大，图像整体变亮。若γ的取值不变，则无法适用于所有光照条件，而且对光照不均图像的增强效果不佳。

导航线图像受光照影响主要体现在灰度均值方面，参考图像卷积和滤波原理，提出了基于动态γ因子的伽马校正方法。通过选取合适的卷积核对输入图像灰度图的每个像素点进行对应的相乘求和，得到每个像素点的局部灰度均值，代入γ因子的拟合函数确定γ因子，并对每个像素点进行伽马校正，实现动态调节。对像素灰度值和最佳伽马因子的数据集进行拟合，根据最小均方误差选定基于最小绝对残差的高斯函数为拟合函数，假设m是坐标为（x，y）的像素点的局部灰度均值，则局部灰度均值和γ因子的拟合函数可表示为：

式中，N2表示卷积核大小，f(i，j)和k(i，j)分别表示输入图像和卷积核中第i行j列的像素点灰度值和卷积核因子，a=16.85，b=-356.1，c=283.8。经反复测试，选取效果最佳的7×7 卷积核，自适应伽马校正结果如图2 所示。

图2 不同光照条件下导航线对应的预处理结果Fig.2 Preprocessing results corresponding to navigation lines under different lighting conditions

1.2 基于改进的DenseNet 的导航路径分割

通过图像预处理得到图像后，对导航线进行精准提取。在传统的神经网络中，随着神经网络层数的增加，输入和梯度信息会随之消失，从而导致训练精度下降。巡检机器人的导航算法对实时性和准确性要求较高，研究选用的导航路径分割算法是轻量级的FCN-DenseNet 语义分割网络，在该网络中，凡是特征图大小相同的网络层都会直接相连，该特点增加了特征信息的传播和再利用，这一密集的连接方式的优点是该网络参数比传统卷积神经网络少而且训练效率更高。

1.2.1 FCN-DenseNet 语义分割网络

DenseNet 是出现在ResNet 之后的语义分割网络，分割网络由多个Dense Block 连接而成［6］，Dense Block包含若干个由Batch Normalization，ReLU 和1×1、3×3 的卷积组合而成的BottleNeck 结构。DenseNet-121经过一个卷积层和池化层之后，四个Dense Block 和三个Transition Layer 穿插连接，最后连接包含池化层和全连接层的分类层实现像素分类。

1.2.2 激活函数

单独的Dense Block 中每一层网络的特征大小一样，每一个Dense Block 将所有输出的特征信息利用Batch Normalization，ReLU 和1×1、3×3 卷积进行非线性变换，最后一层实现下采样［7］。激活函数ReLU 的计算公式为：

当梯度过大产生很多负数时，输出为0，神经元无法激活，这将导致梯度消失问题。将BottleNeck 结构中的激活函数替换为SeLU 函数，计算公式为：

SeLU 函数在实现ReLU 函数单边抑制作用的同时避免了梯度消失问题。图3 所示为改进激活函数的DenseNet-121 网络深层结构解析图。

图3 改进的DenseNet-121 网络深层结构解析图Fig.3 Improved DenseNet-121 network deep structure analysis diagram

1.2.3 损失函数

在神经网络训练过程中，损失函数是描述真实值与预测值之间差异的度量参数，不同损失函数所反映的模型预测性能不同。DenseNet 网络采用交叉熵损失函数，设y表示真实值，y^ 表示预测值，则其计算公式为：

Focal Loss［8］在交叉熵的基础上进行修改，引入α因子使比例不均匀的导航线正负样本分布均衡化，并引入γ因子解决易分类样本和困难样本的问题，减少了易分类样本的损失，使其更关注困难的、错分的样本。由于导航线图像样本复杂，采用Focal Loss 损失函数，其计算公式为：

γ因子实现了易分类样本权重减小的速度调节，γ=0 即为交叉熵损失函数。Focal Loss 损失函数降低了易分类负样本的权重占比，提高困难样本的权重，使得训练由正样本主导。经参数优化后，得到α=0.25，γ=2。

1.3 计算机器人偏航角

考虑到导航算法最终会部署至嵌入式平台，对语义分割后的图像进行二值化处理，转换为单通道二值化图像，以此达到降低计算复杂度的目的。部分导航线的分割效果如图4 所示。研究采用Otsu 动态二值化算法，针对机器人导航过程中的每一帧导航线图像计算各个区域的最优阈值［9］。

图4 部分导航线分割效果Fig.4 Part of the navigation line split effect

二值化后的图像依然是立体视觉图像，这样直接计算出的偏航角误差较大，可以采用透视变换的方法［10］，将三维的立体视觉图像转换为鸟瞰图，从而计算出真实的偏航角。

变电站机器人一般都是在平面道路上行驶的，所以三维世界坐标(X，Y，Z)到二维平面坐标(x，y)的变换关系表达式如下式所示：

由透视变换可以得到导航线的鸟瞰图，如图5（b）所示：鸟瞰图中导航线所在直线与图像中线的夹角，对应机器人当前相对于黄色导航线之间的夹角，即偏航角。

研究采用了最小二乘法［11］，将导航线拟合成一条直线y=kx+b，通过直线的斜率k计算出机器人的偏航角φ1：

如图5 所示，经过语义分割得到的导航线图像，经过二值化、透视变换、直线拟合得到最终的导航线L：y=-4.5x+864，当前时刻的偏航角φ1=12.53°。

图5 导航线图像处理结果Fig.5 Navigation line image processing results

1.4 视觉导航方法评估

在现场实际使用中，黄色导航线容易受到雨、雪、杂物的遮盖，并且由于长时间暴露在阳光下导航线容易褪色，影响导航线分割结果［12］，因此在最后的融合中，还需要输入视觉导航结果的归一化评估值作为参考。

借助导航线边缘相互平行这一特性，可采用以下方法进行视觉导航评估。

（1）图像f( )x，y宽高分别为m、n，计算每一行像素点中，最右边的白色像素点(ij_right，j)与最左边的白色像素点(ij_left，j)差值，得到dj：

（2）计算dj的方差Dt：

（3）采用线性函数归一化方法，得到视觉导航的评估结果Svision：

2 激光导航方法与评估

2.1 环境地图构建

环境地图构建采取基于图优化的Cartographer-SLAM 算法，如图6 所示，相较于基于滤波的SLAM 算法，Cartographer-SLAM 算法分为前端和后端两个模块。前端模块在提取数据和关联数据的过程中，激光雷达扫描周围环境生成对应的子图，将得到的子图与上次扫描形成的子图进行对比，并且插入上一次的结果中，这样就得到一个不断优化的子图。当结束最后一帧数据插入后就能够得到完整优化的子图。不断循环上述步骤，得到若干个子图，也就是局部地图。后端模块首先进行闭环检测［13］，然后对前端模块中获取的局部地图进行优化。通过全局计算得到优化后的位姿，可用来消除累计误差，因此与滤波类的SLAM 算法相比，图优化类算法在地图构建过程中对于里程计的依赖小，且具备回环效果，更适合电力系统中降压变电站、升压变电站等场地较大的地图。

图6 图优化SLAM 算法框架Fig.6 Graph optimization SLAM algorithm framework

2.2 机器人定位算法

通过对Cartographer-SLAM 进行参数调整最终获取了点云地图后，使用实时的三维激光雷达数据进行三维配准，获取机器人在点云地图中的位姿［14］。在三维配准中较常用的配准算法是ICP 迭代的方法，这种方法需要粗配准，也就是要给定一个较准确的初始值，同时由于算法自身的缺陷，最终迭代结果可能会出现局部最优的现象，从而导致配准不成功，达不到想要的点云配准效果［15］。

研究采用3D-NDT［16-17］算法进行点云匹配，该算法将三维体素内所有点云数据转换成概率分布函数，该概率分布函数连续可微。第一步，拆分三维点云数据，将其划分成大小固定、规则均匀的三维单元格；第二步，为了将三维点云以概率密度形式进行分段连续可微描述，以正态分布形式表示每个三维位置测量样本的概率分布：

式中，q为包含点云x在内的体素单元中的均值向量，C为包含点云x在内的体素单元中的协方差矩阵，c为常量。

每个体素单元的q和C可以定义为：

式中，xi(i=1，…，n)为体素单元格中的所有点云。

由于此概率分布模型是分段连续可微的，所以采用Hessian 矩阵法［18］能够解决激光数据之间复杂的相互匹配问题。扫描匹配可使不同位姿下采集的激光点云数据得到坐标变换参数。算法的具体实现步骤如下所示。

（1）建立首个激光扫描的正态分布变换。

（2）根据机器人当前位姿初始化坐标变换参数。

（3）对于第二个扫描的每一个样本，根据坐标变换参数，映射第二个扫描样本到第一个扫描样本坐标系中。

（4）确定每一个映射点对应的正态分布。

（5）将每个映射点的概率分布之和作为每个坐标变换参数的分数值s(p)进行估计：

式中，p=[t|r|θ]，t=[tx，ty，tz]代表x、y、z上的平移量，r=[rx，ry，rz]代表x、y、z上的旋转量，s=sinθ，c=cosθ。

（6）采用Hessian 矩阵法对得到的这些分数值-s(p)进行优化，选取-s(p)最大值。

（7）返回第（3）步继续循环，直至满足收敛要求。

2.3 机器人在局部路径中的偏航角计算

偏航角指的是机器人行进方向与预定巡检轨迹之间的夹角，机器人根据此夹角进行对应的姿态调整，使机器人能够回到预定巡检路线，进行正常的巡检任务。

将用以视觉导航的黄色导航线映射在Cartographer-SLAM 构建的全局地图中作为激光导航的全局路径；在机器人巡检过程中，激光导航采用局部导航方式，动态刷新局部导航目标点，在机器人行进过程中，该点与机器人距离固定不变，且在全局路径上，如图7 所示。

图7 激光导航偏航角计算Fig.7 Laser navigation yaw angle calculation

由于电力系统中降压变电站、升压变电站等环境路面相对平整，本文假定机器人坐标z轴始终为0；机器人在巡检过程中可以通过配准算法3D-NDT 知道自身在环境中的位姿信息R(x，y，θ)、局部目标点P(px，py)。利用世界坐标系可以得到机器人运动方向与正确的导航路径方向之间的夹角φ2：

2.4 激光导航评估

由于环境干扰、激光雷达自身误差等因素，点云匹配过程中难免会出现匹配效果较差的情况，计算出的机器人位姿就会出现偏差；因此，还需要对点云匹配效果进行评估。

上述3D-NDT 点云匹配算法可以得到满足收敛条件下的最大值-s(p)，记-s(p)为N，Ni为第i次激光点云配准结果分数值；在变电站现场环境下进行一定时间的测试，记录所有点云匹配分数值，对数据进行归一化处理：

式（19）中，Nt为t时刻的激光导航评估值，Slaser为当前时刻点云匹配评估的归一化结果。

3 视觉与激光自适应融合导航方法

视觉与激光融合导航方法分别得到机器人姿态数据和对应测量准确性的评估值。传统的线性加权融合只是将多个算法结果加权［19］，这种做法过于简单，灵活性较差，不能适应变电站导航的复杂环境。研究中采用了自适应线性加权融合法，导航过程中对两种导航方法进行评估，根据评估结果确定不同算法结果的权重，增强算法灵活性，如图8 所示。

图8 导航方式融合方案Fig.8 Navigation mode integration scheme

根据视觉与激光导航方法分别得到的机器人测量位姿φ1、φ2，以及对应的评估结果Svision、Slaser，将两组数据可通过式（20）进行融合：

根据式（20），最终得到融合后的机器人相对准确的偏航角φ，通过PID 控制算法，调整机器人左右轮速度，从而修正机器人姿态。

4 实验过程

4.1 算法可行性验证

考虑最终应用的机器人，需要将算法部署到嵌入式平台，选择NVIDA AGX Xaiver 作为开发平台。

融合算法软件分为激光导航算法、视觉导航算法、数据处理三个部分。激光导航部分是基于ROS 机器人操作系统进行开发的，结合Cartographer 建图算法与NDT 定位算法，得到机器人的姿态和评估值。视觉导航部分采用轻量级的FCN-DenseNet 语义分割网络，在Pytorch1.7.1 和Python3.6 环境下，机器人实时姿态识别准确率达到了92.33%。

为测试该融合导航方法的稳定性，试验过程分别在以下两种复杂环境中进行：第一种为导航线缺损环境下，视觉导航方法不能正确测量机器人的实际姿态，此时，视觉导航方法得出机器人位姿对应的Svision较低，而此时激光导航得到的机器人位姿相对准确，机器人的导航则更加依赖激光导航方法；第二种为周围环境发生较大变化时，激光点云匹配效果较差，容易产生漂移，激光导航得出的机器人位姿误差较大，而视觉导航方法得出的机器人姿态准确。采用上述的融合方法能够很好地达到两种算法相互补偿的目的，最终得到相对准确的机器人姿态。

如图9 所示，由于积水，导航线被污渍覆盖，此时导航线分割不完整，得到错误的机器人分位姿，当前视觉导航得到的机器人偏航角φ1=24.6°，归一化评估值Svision=0.33；而此时激光点云匹配效果较好，激光导航得到的机器人偏航角φ2=2.9°，归一化评估值Slaser=0.96；根据该视觉与激光融合导航方法得到的机器人最终偏航角φ=8.4°，机器人定位误差小于2.0 cm，结合前置导航摄像头的图像，融合算法得出的角度与实际偏航角基本一致。

图9 导航线积水处理结果与激光点云匹配Fig.9 Navigation line stagnant water treatment results are matched with laser point clouds

图10 为场景变化导致的激光点云匹配发生漂移和视觉处理结果，激光导航方法得到机器人偏航角φ2=-10.1°，评估值Slaser=0.26，而此时视觉导航算法正确地识别到了导航线，并且得到正确的机器人偏航角φ1=-0.8°、归一化评估值Svision=0.99，最终得到机器人的偏航角φ=-2.7°。在周围场景变化较大且激光导航效果较差的环境下，定位精度达到1.7 cm，能够满足智能巡检机器人在复杂环境下的定位与导航。

图10 激光点云匹配漂移与视觉处理结果Fig.10 Laser point cloud matching drift and vision processing results

4.2 现场实验

巡检机器人在国电汉川发电有限公司进行了长达一年的现场试验，如图11（a）。在此之前电厂采用人工巡检方式，效率低下，耗时费力。从目前机器人的运行情况来看，巡检机器人已经能完成人工巡检的部分工作；此外，机器人还在四川省绵阳市某变电站投入运行，如图11（b）所示。

图11 投入电力系统现场运行Fig.11 Putting the power system into operation on site

5 结论

针对目前电力智能巡检机器人存在的导航问题，本文提出一种视觉与激光自适应融合导航方法。通过理论推导、实验环境测试，对所研究导航方法的精度、速度、稳定性等多个方面进行考量。在算法可行性分析中，在导航线被污渍覆盖的环境下测试得到机器人定位误差小于2.0 cm；在周围场景变化较大且激光导航效果较差的环境下，定位精度达到1.7 cm，验证了自适应融合导航方法的可行性。本文所提方法已经投入电力现场巡检工作，运行状况稳定，进一步验证了激光与视觉自适应融合导航方法的可行性与稳定性。