EDLine与改进光流法线路异物智能检测

2022-05-23邵云峰马中静王宏超权笑天范益民

计算机工程与设计 2022年5期

邵云峰，杨涛，马中静+，王宏超，权笑天，范益民

(1.国网山西省电力公司吕梁供电公司，山西吕梁 033000； 2.北京理工大学自动化学院，北京 100081)

0 引言

输电线路异物入侵会导致严重跳闸事故，威胁电网的安全稳定运行。输电线路的异物检测是电力巡检的重要任务。近几年，采用无人机搭载摄像设备监控电力设备运行状态已成为一种高效灵活的巡检方案。为提高巡检效率，对无人机航拍视频图像执行图像处理算法的智能异物故障检测应运而生[1]。

异物检测往往基于输电线路的识别。现有的输电线识别方法主要考虑降低图像质量不佳、拍摄背景复杂等因素对线目标的影响。文献[2]结合Canny算子对图像进行LSD线段提取与拟合得到电力线，检测速度较快，但易漏检多向输电线，且易受干扰线条影响。文献[3]采用SGC立体匹配算法获得视差图，利用阈值分割获得输电线，减弱了复杂背景的不利影响，但运算开销较大。文献[4]利用总体最小二乘拟合Hough变换所识别的点，减弱噪声敏感度，但该法对于平行导线尤其分裂导线的适用性不高。文献[5]采用VGGNet与标签分布学习分类航拍图像目标，错误率低于传统特征分类，而对线条状目标识别效果不佳。

在输电线异物检测方面，文献[6]根据Hough变换识别输电线路区域内的异常点率检测异物缺陷，而异点率阈值的产生依赖于大量实验。王万国等[7]通过梯度算子提取导线，由导线宽度变化与灰度信息判断异物缺陷，并利用局部轮廓特征排除连接部件的影响，但对于灰度与背景相似度高的异物适用性不高。焦圣喜等[8]通过帧差法标注异物，使用ORB特征算子实现异物跟踪，而对于复杂背景应用效果不佳，且运算量较大。深度学习方面，邹捷等[9]通过R-FCN模型对多种典型缺陷实现分类。但由于线路异物特征不够明显、训练样本不足，异物缺陷检出率较低。

基于上述分析，为提高导线异物检测的可靠性，本文采用边缘绘制线(edge drawing line，EDLine)算法检测线段特征以改善输电线的提取效果与速度；添加像素距离因素，结合改进光流法，在提高运算速度的同时，可将复杂背景误检为异物的情况排除，提高异物检测运算精度。

本文研究的基于EDLine与改进光流法的输电线路异物智能检测方法，将EDLine算法检测的线段进行多特征约束过滤与线段融合，提取输电线，进而通过全局性光流分析可靠地检测导线异物。

1 图像预处理

1.1 双边滤波

在无人机航拍图像的采集与传输过程中，图像质量易受拍摄条件、CCD噪声等干扰因素影响，不利于后续输电线路识别和异物检测。采用适当的滤波方法可有效提高图像信噪比。传统的均值滤波和中值滤波分别采用邻域的平均值和中值代替图像各像素值。而双边滤波根据图像窗口内像素的亮度信息计算灰度相似度，结合距离因子权重，确定滤波器权重系数。

双边滤波器的综合权重影响因子B(x,y,i,j) 表示为

(1)

式中：B(x,y,i,j) 表示像素 (i,j) 在双边滤波器窗口中心像素 (x,y) 上的综合权重影响因子；σd代表邻域内像素的空间距离方差；σg代表窗口内像素灰度的方差。分别对航拍图像进行均值滤波、中值滤波和双边滤波处理，效果如图1所示。

图1 几种滤波方法效果对比

由图1可知，均值滤波在去噪的同时会破坏图像细节，使图像模糊；中值滤波适用于滤除椒盐噪声，而不适用于点、线等细节较多的目标；而双边滤波在消除图像噪点的同时获得较好的边缘保留效果，有利于后期对输电线边缘目标的识别。因此，本文采用双边滤波滤除航拍图像噪声。

1.2 分段线性灰度变换

滤除航拍图像噪声后，依据输电线灰度特征对图像进行分段线性灰度变换，需通过计算图像灰度门限检测阈值，对输电线目标区域与背景区域分别进行不同类型的线性变换。

设g(x,y) 和G(x,y) 分别代表分段线性变换前和变换后的图像中像素 (x,y) 的值，输电线灰度范围为 [a,c]。对灰度图进行分段线性变换的函数为

(2)

式中：a′和c′分别表示变换后图像的灰度分段点。使用分段线性灰度变换对灰度图像进行增强处理的效果如图2所示。

图2 分段线性灰度化处理效果对比

由图2可知，分段线性变换后的图像相比于原始灰度图，输电线灰度区间得到增强，输电线与背景的区别更为明显。

实际巡检图片分辨率为5280×2970像素。经过对大量样本的处理与测试，将原始航拍图像缩放为540×420像素，能够在保证检测精度的同时有效减小运算开销。

2 基于EDLine与多特征约束的输电线ROI提取

2.1 基于多特征约束的EDLine检测

EDLine[10]是一种基于亥姆霍兹原理(Helmholtz principle)开发的线段特征检测器。利用EDLine提取线段特征的方法需要以下几个步骤：

(1)采用默认值为σ=1的5×5高斯内核的高斯滤波器平滑灰度图像；

(2)利用Sobel等梯度算子对平滑处理后的图像计算其像素梯度大小与方向；

(3)比较各像素梯度大小，产生在边缘像素中具有高存在概率的像素锚点；连接锚点，构造边缘像素链；

(4)通过最小二乘直线拟合所构建的像素链，采用偏差绝对值之和最小的原则，进行线段特征的拟合提取。线的验证步骤采用Helmholtz principle(亥姆霍兹原理)消除虚假线段。

为比较EDLine与现有常用线段检测算法Hough变换、LSD[11]的性能，图3给出各线段特征检测器用于经预处理的同一图像的不同提取结果。图中白色线段为各线段检测算法提取的直线信息。

图3 各类检测器对给定图像的线段提取结果

根据给定样本图像的实验效果对各类线段检测器的性能进行总结，见表1。

表1 各类线段检测器特点汇总

由表1可知，Hough变换错检结果较多；LSD线段可检测到所有主要线段，且假阳性较少；EDLine检出结果与LSD相似，而运行时间较LSD缩短了10倍，具有快速、无参、精度高的特点[12]，有利于实时检测应用。

实际巡检图像易受建筑物、树木等非目标物轮廓的影响产生各个方向的干扰线段。输电线互相平行、贯穿图像且为主要目标；同时，输电导线通常为钢芯铝绞线，在可见光下多为银灰色，具有特定的光谱特性[13]。

根据以上输电线路特征设定约束条件，对EDLine检测线段中的干扰线段进行过滤的具体步骤如下：

(1)将-90°～90°均等划分为18个角度区间，将EDLine检测的各线段特征按倾角归为18类，统计各角度区间内所有线段长度之和，并由大至小排序。保留线段长度之和最大的角度区间内的平行线段，作为第一组平行线组；

(2)输电导线的颜色特性在RGB空间中表现为输电线所在像素非常接近灰度中轴，RGB空间的灰度中轴如图4所示。

图4 RGB颜色空间

计算平行线段组中每个像素点的颜色矢量与RGB空间灰度中轴的夹角α值为

(3)

式中：r、g和b分别是RGB的3个分量。设定颜色矢量夹角阈值为5°，按照光谱特性分割航拍图像的结果如图5所示。图中灰度值255显示颜色矢量夹角 |α| 在5°以内的像素，其余像素置为黑色。

图5 光谱特性分割结果

计算步骤(1)中平行线段组所在像素满足夹角 |α|>5°的个数占线段组所在像素总个数的比例，如该占比高于10%，则选取步骤(1)中下一组平行线段进行步骤(2)的判断，重复该过程直至找到占比低于10%的平行线组。

根据上述约束提取与输电线路走向一致的平行线组，从而滤除大量干扰线段，减少错检，提高算法精度，并降低后续线段融合的运算成本。

2.2 基于矩阵的线段融合算法

由于EDLine线段检测受图像噪声的影响，使得线性轮廓产生线段碎片。为解决线段断续的问题，需进行线段融合。

两两线段合并是多线段融合的基础。采用Gestalt感知定律[14]的接近性、连续性和共线性确定是否连接两个线段。以线段S1、S2为例，接近性、连续性和共线性被描述为

dp1,p2

(4)

|θ1-θ2|<θthres

(5)

(6)

式中：dp1,p2表示点p1、p2的欧氏距离；dthres1为两线段近端点的距离阈值，设定为3 pixel；θ1,θ2分别是线段S1、S2与水平轴之间的夹角，角度范围为0°～180°；θthres为角度差阈值，取值为4°；dv是线段S1、S2上垂线脚之间的距离；dthres2为线段垂直距离阈值，设定为5 pixel。如两线段满足以上3个判断条件，则将两条线段连接为一条新线段，其端点为p3、p4。根据Gestalt感知定律连接两条线段的演示图如图6所示。

图6 Gestalt感知定律演示

多线段融合可通过循环算法连续执行两线段连接实现[15]。然而，这种循环算法冗余度过高。为克服该性能瓶颈，研究一种基于矩阵运算的高效线段融合算法。假定得到n条平行线段的端点信息为 (xi1,yi1),(xi2,yi2),i∈[0,n-1]。基于矩阵的线段融合算法的主要步骤如下：

(1)根据Gestalt感知定律，同时检测每条线段与其它n-1条线段，存储至n×n的邻接矩阵A中；

(2)由邻接矩阵A提取出各连通分量，其中每个连通分量包含相应的应连通的线段；

(3)采用加权最小二乘法拟合线段，其中权重系数的大小随各线段的长度线性增加。

由各线段端点坐标定义矩阵X1，使其各元素为所有线段第一个端点的x坐标值xi1,i∈[0,n-1]。矩阵X1定义为

(7)

相应地，得到与矩阵X1以相同定义方式所定义的矩阵X2、Y1与Y2。假定h=1,2,l=1,2，与线段融合相关的矩阵定义如下，其中所有的矩阵运算均为点运算。

将线段接近性的距离矩阵Dp1,p2表示为

(8)

Dp1,p2=min(D(1,1),D(1,2),D(2,1),D(2,2))

(9)

将线段连续性的角度矩阵Θ描述为

(10)

描述线段之间的共线性的距离矩阵Dv为

(11)

------------------

(12)

(13)

------------------

Dv=min(D1v,D2v,D3v,D4v)

(14)

与线段融合阈值相关的矩阵Dthres1,Θthres和Dthres2分别为由dthres1、θthres和dthres2元素扩展的n×n矩阵。定义Gestalt感知定律的矩阵形式为

Dp1,p2

(15)

|Θ-ΘT|<Θthres

(16)

(17)

由矩阵不等式生成元素均为布尔值的结果矩阵Ma,Mb和Mc，分别表示多线段的接近性、连续性和共线性。将结果矩阵中的对应元素进行逻辑与运算，得到邻接矩阵A。邻接矩阵A定义为

A=Ma·Mb·Mc

(18)

由邻接矩阵导出无向图，通过图论提取出各连通分量。最后对每个连通分量包含的连通线段进行加权最小二乘法拟合，实现目标线段的融合。

将平行线段组融合的结果如图7所示。

图7 平行线段组线段融合结果

此外，除了非目标物的干扰，由于输电线路附着异物也会导致直线断续，因此定义断续矩阵B，表示为

(19)

2.3 输电线路ROI提取

得到输电线边缘直线后，须确定输电线路感兴趣区域(region of interest，ROI)，从而缩小搜索空间，有效抑制误检率。首先，根据最长边缘线倾角对图像进行倾斜校正，使输电线呈水平方向。将最外侧两条边缘直线向外垂直延伸一定长度(该长度为0.8～2倍的最外侧两条输电线间垂直距离)，将延伸后的非水平直线沿其中点旋转至水平方向。在水平边界区域内截取图像最大内接矩形，实现ROI的划分。

在断续矩阵B对应的位置坐标中，检索输电线边缘直线上的断点。在每条导线上的相邻断点区域内搜索连通域，并将每个连通域所生成的最小外接矩形标记为一处疑似区域Om，其中m=1,2,…,N。输电线路ROI与N个疑似区域如图8所示。图中白色直线为输电线边缘直线，虚线框分别表示输电线路ROI和O1、O2疑似区域。

图8 输电线路ROI与疑似区域

3 基于改进光流法的异物检测算法

3.1 改进全局性光流计算

在无人机载摄像头匀速飞行过程中，以相同时间间隔连续拍摄输电线路的视频图像。根据图像中像素的运动速度信息可判断目标物的距离关系，而像素运动信息可由光流计算获得。

将视频视为一个帧序列，对每帧图像进行处理。计算相邻帧输电线路ROI的全局性光流图像。全局性光流计算的基本约束方程与平滑约束方程为

It+Ixu+Iyv=0

(20)

(21)

式中：u和v分别为光流场中像素点 (x,y) 在t时刻所求的光流速度向量的水平分量和垂直分量，It、Ix、Iy分别是像素点 (x,y) 处灰度值I对t、x和y的偏导数，E为定义的能量函数，λ为平滑项系数因子，在图像噪声较大时取较大值。假定迭代次数为k，使用变分法计算图像第k+1次迭代 (uk+1,vk+1) 表示为

(22)

(23)

当无人机在线巡检识别时，光流法不断迭代求解，运算量较大。为降低光流计算的收敛耗时，添加动量因子以优化处理速度。改进的光流第k+1次迭代 (u′k+1,v′k+1) 表示为

u′k+1=uk+1+μ(uk-uk-1)

(24)

v′k+1=vk+1+μ(vk-vk-1)

(25)

式中：μ为0～1间的定值， (uk-1,vk-1) 为第k-1次迭代光流速度。改进光流法加快迭代收敛速度，从而提高无人机巡检时效性。

3.2 区域光流分析

为有效区分异物与背景，对光流分布图进行分割、形态学运算与滤波处理，再根据疑似区域与背景区域像素光流信息进一步判定异物。

首先，采用大津法(OTSU)对全局光流图进行自适应分割，计算使前景与背景类间方差最大的分割阈值，将灰度值大于阈值的前景像素置为255，小于阈值的背景像素置0，得到二值光流图；利用形态学闭运算，填充二值图内部孔洞；再结合均值滤波剔除背景噪点。对输电线路ROI光流图处理过程如图9所示。图9(b)中亮度更高的像素相对运动速度较快。图9(c)中白色为前景，黑色表示背景。

图9 输电线路ROI光流图处理效果

由于无人机沿水平直线飞行过程中，成像物体的运动方向也基本一致，故计算光流速度标量值。光流速度矢量的大小fop为

(26)

假设经处理的输电线路ROI光流图(图9(d))为区域T，图中像素坐标为 (i,j)，相应疑似异物区域为Om，m=1,2,…,N，背景区域为区域T内除区域Om以外的部分。分别计算各疑似区域与背景区域内所有像素光流速度大小的均值为

(27)

(28)

4 实验结果与分析

以无人机采集的实际巡检照片为准，采用本文研究的输电线路检测算法提取导线区域，再分别利用文献[6]的线路周围异点率法和文献[7]的灰度相似度法判决导线异物，以验证本文方法的有效性。线路周围异点率法指设置一矩形框，在输电线周围进行卷积操作，由值为255的像素点数与矩形面积求取异点率；灰度相似度法根据异物破坏导线表面光滑性与一致性的特点，将导线宽度与平均灰度突变处判定为缺陷存在范围。本文方法与该两种方法检测效果对比如图10所示。白线框1为本文算法异物定位结果；白框2与框3分别为异点率判断法和灰度相似度法的异物定位结果。