基于图像处理的无人机电力巡线航向偏差检测
2021-10-13林中圣
杨 坚,徐 硕,林中圣
(1.国网浙江省电力有限公司台州供电公司,浙江 台州 318000;2.国网浙江温岭市供电有限公司,浙江 温岭 317500)
0 引言
传统电力线巡检以人工检测为主,效率低、成本高、困难大,且对巡检人员的人身安全存在潜在的隐患[1]。无人机电力线巡检因其具有效率高、成本低、受地理环境影响小等突出优点而越来越受到电力行业的广泛关注[2-3]。目前,国内外主要采用无人机搭载LiDAR(激光探测及测距系统)提取三维要素生成点云地图,根据巡线任务及智能规划方法完成电力线的巡检。但LiDAR 的传感器设备昂贵,并且需要对巡检区域提前拍摄以获取点云地图,成本较高[4]。
近年来,国内外学者对基于图象处理技术的电力线的实时检测与提取进行了大量研究。虽然利用Canny 算子提取物体边缘进行边缘检测在众多领域得到了广泛应用,但背景复杂的电力线图像、密集的线形边缘结构容易产生干扰,造成Canny 算法抗噪性较差。Ratio 算法虽然线性特征提取精度高,在直线检测中应用较广,但计算量大、耗时长。Radon 变换与Hough 变换常用于直线检测,但Radon 变换无法准确获得直线长度[5-7]。本文提出了无人机巡线图像分析处理方法,用于获得航向偏差,实现无人机航向控制,解决了无人机智能电力巡线的关键问题。
1 基于图像处理的电力线检测
无人机巡线时的俯拍图像具有背景复杂、电力线近似为竖直方向直线、水平方向像素少、颜色主要为灰色、大多分布于图像中部等特点。对于无人机巡线时拍摄的图像,去除噪声是实现电力线提取的前提[8-9]。电力线提取流程如图1 所示。首先,对原始图像感兴趣区域进行滤波与灰度化预处理;其次,进行边缘检测并对二值图进行形态学处理;最后,通过Hough 变换提取电力线段。
图1 电力线识别流程
1.1 图像预处理
对电力线图像进行预处理,以便对其进行边缘检测,提高电力线提取精度。预处理步骤如下:
(1)ROI 提取。无人机俯拍图像中电力线大多分布于图像中部,因此,将中部区域视为电力线检测感兴趣区域,去除其他区域背景的干扰,简化后续处理。
(2)高斯滤波。高斯滤波是一种线性平滑滤波,可在降低图像噪声的同时保留更多的图像细节,能够有效抑制高斯噪声,广泛应用于图像降噪。对感兴趣区域图像采用高斯滤波降噪,能够有效抑制噪声并平滑图像[10]。高斯滤波原理是将输入图像的目标像素点和高斯滤波器进行卷积运算,再赋予目标像素点灰度值,有效抑制服从正态分布的噪声。高斯函数的表达式为:
式中:x,y 为目标像素点;σ 为标准差。平滑程度由参数σ 决定,σ 越大,平滑程度越好。
在去除背景噪声时,需要防止电力线像素模糊。由于5×5 滤波器比3×3 滤波器更容易模糊图像中电力线,丢失电力线细节,因此,本文采用3×3 高斯滤波器。
(3)灰度化。为减小航拍光照对电力线图像的影响,利用灰度处理突出电力线特征,降低无用干扰信息影响。对高斯滤波后的3 通道RGB图像进行灰度化处理,获得原始图像的单通道灰度图。采用加权平均图像灰度化方法,分别以不同的加权值对R,G,B 3 个分量进行加权平均,计算式如下:
式中:G(x,y)为灰度图像;R(x,y),G(x,y)和B(x,y)分别为3 个通道像素的分布矩阵,加权值影响灰度图颜色分布。由于航拍电力线图像背景主要为树木、植被,干扰信息多为绿色,因此,调整加权分量,减少绿色通道权重。采用式(3)加权值对图像进行灰度化,可有效减少背景干扰并且不影响电力线信息,图像处理效果最佳,能大幅提高后续边缘检出率。
1.2 电力线边缘检测
边缘为图像基本特征,是周围像素灰度值表现屋顶状或阶梯状变化的像素集合。Ratio 算子、Canny 算子和Sobel 算子是目前常用的边缘检测算子。Sobel 算子是由Sobel 提出的调节不同位置权重边缘检测的算子,相对于对角位置的像素灰度,该算子对相邻位置的像素灰度具有更高的权重,使滤波结果对相邻像素值突变产生更好的梯度响应[11-12]。同时,由于Sobel 算子引入了类似局部平均运算,对噪声具有平滑作用,能很好地消除噪声的影响,提供精确的边缘方向信息。另外,Sobel 算子对于像素位置的影响做了加权,相对于Prewitt 算子和Roberts 算子,边缘检测效果更佳[13]。边缘检测效果比Roberts 算子更好的Canny算子虽然可较完整地提取图像边缘信息,但对背景中竖直电力线边缘信息提取的同时,引入了更多其他方向线段干扰信息,处理时间比Sobel 算子慢。由于无人机拍摄图像中的电力线近似为竖直方向,因此,针对电力线特征,采用Sobel 算子水平方向求导进行边缘检测。
Sobel 边缘检测算法采用水平和垂直2 个方向滤波器与图像空间像素点进行邻域卷积运算,步骤如下:
(1)求x,y 方向一阶微分
假设原图为H,按式(4)和式(5)分别计算x、y 方向的一阶微分:
(2)计算每个像素梯度
根据每个像素x,y 方向的一阶微分,按照式(6)计算梯度:
如果梯度大于设定阈值则认为该点为边缘点。为提高效率,采用绝对值计算,如式(7)所示:
像素点的梯度方向采用式(8)计算:
如图2 所示,由于电力线为近似垂直方向,仅采用Sobel 算子水平方向求导进行边缘检测,便可提取出图像中垂直方向的边缘信息。由于图2(a)采用水平求导,效果较差,图2(b)采用垂直方向求导的检出效果明显,减少了由于背景干扰边缘引起的错误检测。可见,仅采用Sobel 算子水平方向求导进行边缘检测,符合电力线检测的实际需求。
图2 Sobel 边缘检测
通过对边缘检测结果进行阈值分割,得到二值图。背景中仍有较多树枝与树叶边缘的噪声,但其竖直方向长度与电力线相比较短。因此,利用在竖直方向上采用3×3 模板滤波腐蚀后膨胀的操作对图像进行形态学处理,在滤除背景中细小噪声的同时保留了电力线像素,达到增强电力线边缘效果的目的。
1.3 Hough 变换
Hough 变换为图像中识别几何形状的常用方法,其基本原理是将图像空间中的直线段变换成参数空间的点,即点线对偶性。通过检测参数空间大于设定阈值的峰值点,找出直线描述参数,从图像中提取出直线。其具有边缘间断影响不明显、抗干扰性强等优点[14]。
假设直角坐标系坐标中直线L 表达式为:
式中:k0为直线斜率;b0为直线截距。将x,y 作为已知量,k,b 作为未知量来表示参数空间坐标系的参数ρ,θ。其中,ρ,θ 为直线L 上的任意点,将直线L 转换至参数空间坐标系,得到参数ρ0,θ0满足:
式中:ρ0为x-y 坐标原点到直线L 的距离;θ0为x-y 坐标原点到直线L 的垂线与x 轴正方向的夹角,如图3 所示。
图3 Hough 变换原理
经过Hough 变换后,x-y 坐标系中每条直线对应极坐标系中唯一一对参数(ρ,θ)。由于直角坐标系中属于同一条直线上的点在参数空间的正弦曲线均交于同一点,则该点为该直线对应的参数。通过参数空间中相交一点的曲线数量与设置的阈值进行比较,检测出图像中的直线。
文献[15]在Hough 变换直线斜率K-means 聚类的基础上,加入对直线中心点x 坐标位置Kmeans 聚类,对Hough 变换检测出结果通过对直线斜率和直线中心点x 坐标位置进行K-means筛选,滤除斜率、中心点x 坐标位置与整体电力线斜率、中心点x 坐标位置相差较大的直线段,输出电力线检测结果。
2 航向偏差检测
2.1 无人机航向拟合
通过处理航拍的电力线图像,可以提取多条电力线信息。由于图像中电力线方向近似平行,可通过电力线参数求和取平均值获得巡线方向。
但是,仅通过拟合电力线方向确定无人机巡线方向易受电力线识别结果的影响,出现误差较大和巡线方向突变等情况。因此,通过将当前时刻拟合的巡线方向与前一时刻的按式(11)进行拟合,最终得出当前时刻无人机巡线方向。
式中:l(k)为当前时刻拟合的巡线方向;l(k-1)为前一时刻巡线方向;a 取值范围0~1;ε 为当前时刻拟合的巡线方向与前一时刻巡线方向的差值;ε0为差值阈值。根据当前时刻拟合的巡线方向与前一时刻巡线的方向差值,分别赋予当前时刻拟合的巡线方向与前一时刻巡线方向不同的权重,最终拟合出可信度高的巡线方向。
2.2 航向偏差
无人机的航向偏差包括偏航角度偏差与侧滚方向偏差,航向精度满足要求是保证无人机顺利完成电力巡线的重要参数。
偏航角度指无人机机头方向与无人机巡线方向的角度偏差,即拟合出的无人机巡线方向与图像垂线之间的角度。侧滚方向偏差指无人机机体与巡线方向之间的距离偏差,即拟合出的无人机巡线方向与图像中心的距离。如图4 所示,无人机的偏航角度为θ,侧滚方向偏差为x。
由于无人机侧滚方向偏差受电力线检测精度影响较大,容易产生波动,其结果经Kalman 滤波后输出,可以有效减小波动对无人机巡线的影响,并且其较好的跟踪性,能够保证输出结果的实时性。
3 实验结果分析
为验证所提出方法的可行性,对无人机巡线过程中拍摄的电力线图像进行处理,根据背景情况分3 组进行实验验证,分析对比不同背景下电力线提取与无人机巡线方向的拟合效果。电力线识别结果如图5—图7 和表1 所示,提取出的电力线以细直线标识。拟合的无人机巡线方向如图8 所示,拟合电力线方向以粗线标识。
图5 背景1 电力线识别结果
图7 背景3 电力线识别结果
表1 电力线识别结果
由图8 中3 种背景情况下拟合的无人机巡线方向可知,拟合的巡线方向能够准确地确定出电力线走向和位置。
图8 无人机巡线方向拟合结果
通过滤波结果与手动标注的图像中电力线对比,可计算得到检测偏差,如图9 所示,位置偏差检测准确率可达到97.45%,航向偏差检测准确率可达到98.67%,处理速度可达到12~24 帧/s。
图9 无人机巡线航向位置偏差检测结果
实验结果表明,本文提出的方法对多种背景均可以实时、准确地识别出电力线和航向偏差,将电力线与航向偏差反馈至无人机飞控系统,可实现无人机航向角与偏航角的自动修正,完成无人机电力线路自动巡检,具有重要的应用价值。
4 结语
本文提出了一种基于无人机巡线拍摄图像的电力线检测并获得航向偏差的方法。3 种背景下的实验与分析结果表明,该方法具有实时性强、准确性高和稳定性好的优点。
图6 背景2 电力线识别结果
传统GPS 导航易受卫星信号无法接收的影响。利用图像处理实时检测电力线并计算航向位置偏差作为反馈信号控制无人机巡线飞行,更加稳定且不易受干扰,实现了无人机智能化飞行,降低了无人机操控人员的工作量。
配电网无人机智能巡检主要包括智能飞行和缺陷智能检测两步。本文技术作为配电网无人机智能巡检中智能飞行的算法基础,可实现智能飞行,后期引入缺陷检测等技术实现配电网无人机智能化作业,将节省人工巡检中操控人员的投入,降低野外作业人员比例,实现“提质增效”。
本方法在实际测试中虽然对与背景颜色相近的电力线识别不完整,出现漏检现象,对于电力线识别结果具有一定的影响,但对无人机巡线航向偏差影响较小。针对于电力线检测误检和漏检的问题,可通过多种视觉传感信息融合、算法改进等提升电力线识别的准确性和完整度。经实际飞行测试表明,该方法适用于无人机实时巡线,线路方向不发生突变的情况。对于线路突变情况,可通过线路走向算法判断得以解决。