基于航拍图像的输电线路导线损伤识别技术*
2022-10-25冯河清鹿可可文裕钧
冯河清,鹿可可,文裕钧,范 岩
(广西电网有限责任公司,广西 南宁 530000)
作为高压输电线路的重要组成部分,钢芯铝绞线(Aluminum Conductors Steel-Reinforced,ACSR)在运行过程中起着输送电能和维持机械强度的双重作用。 由于长期暴露在野外环境中,受风振、覆冰导线舞动、环境侵蚀等影响,铝绞线容易受到各种类型的损伤,从表面损伤到局部断裂,然后发展成整个ACSR 的断裂。 铝绞线损坏后,承载能力降低,导线断裂风险增大,对导线、输变电设备和人身安全构成潜在风险[1-3]。
为了有效提高输电线路的运行效率,降低故障频率,许多研究人员对输电导线的组成材料、故障机理和运行状态进行了大量的研究。 并取得了一些初步的研究成果,如输电导线组成材料的改进,导线表面损伤的微观变化过程,断线的故障检测[4-8]。 这些方法大多是从材料和机理上进行预防,对运行中导线存在的断损问题主要采用人工检测,耗时长、精度低、安全性差。
近年来,随着航空图像传感器和计算机视觉技术的巨大进步,无人飞行器检测技术在输电线路中得到了发展[9-11]。 一些研究人员提出了不同种类的算法来检测和提取航空图像中的电力线[12]。 其他一些研究集中在空中绝缘子图像的分割和故障检测算法[13]以及高功率线路中的鸟巢检测[14]。 基于视觉的技术还被用于焊缝和轨头的缺陷检测,以及金属导线的捻距测量[15]。 然而,由于形成因素的复杂性、表现形式的多样性以及图像采集的局限性,目前仅有较少的基于视觉的方法来及时监测导线断裂和缺陷,而且相关方法均需要消耗大量的视觉信息处理时间。
本文提出了一种基于航空图像传感器的无人飞行器检测中输电导线断裂和缺陷的测量方法,该方法利用航空视觉系统和图像处理算法获取运行中的输电导线断裂和缺陷。 视觉系统获取用于提取导线区域的传输导线图像的多个视图,此外,文章通过采用灰度方差归一化(Gray Variance Normalization,GVN)的方法大大减少了需要处理的数据量,全面提高识别效率。 通过分析导线区域的灰度值分布,可采用所提出的Z 形波形模型来测量导线断裂,并通过导线区域的投影算法来检测表面缺陷。 该方法为监测运行中输电导线的断裂和缺陷提供了一种新的方法。
1 基于航空图像传感器的输电线路导线断裂和缺陷测量技术综述
本文提出的基于航空视觉传感器的导线断裂和表面缺陷在线测量技术由三部分组成:基于航空视觉传感器和无人机(Unmanned Aerial Vehicle,UAV)的在线监测装置、4G 通信网络和安装有导线断裂和缺陷分析软件的监测中心。 在所提UAV 巡检系统中,安装在无人机上的高清数码相机,在无人机通过输电线路时,用来捕捉输电导线的图像,然后将得到的图像解压缩,通过4G 通信网络发送到监控中心。然后使用嵌入了所提出的相应算法的导线断裂和缺陷分析软件来自动分析导线断裂和缺陷。 所提出的技术的框图如图1 所示。
图1 导线在线监测系统示意图
2 识别导线断裂和表面缺陷的分析算法
图像分析算法模块包括3 个主要模块:导线提取、导线断裂检测和导线表面缺陷识别。
2.1 导线提取
航空传输线图像大多是彩色(RGB)图像。 为了减少要处理的数据量,并提高操作效率,突出显示导线区域,需要对航空图像进行颜色模型转换或灰度处理。 由于在线图像采集装置受到自然光的影响,航拍图像中导线区域的表面颜色容易呈灰色和暗淡。 此外,航空图像具有导线区域的锐度高于背景中的树、建筑物和道路的特征,即导线的灰度值高度分散。 本文提出了GVN 来进行航空图像的灰度处理。 GVN 方法将传统的直接处理每个像素灰度值的思想转化为像素灰度值离散度的处理。 GVN的具体计算步骤如式(1)所示:
式中:¯Q是模板中每个像素的平均灰度值,Qi表示模板中第i个像素的灰度值,然后可以根据式(2)计算每个处理单元中灰度值的方差:
式中:q5是模板中带有阴影颜色的中心像素的灰度变化。 遍历整个图像可以获得对应于原始图像的完整灰度方差图。 此外,每个像素的灰度方差进行归一化,如式(3)所示:
式中:m(x,y)是坐标(x,y)处的归一化灰度值,qmax轴是灰度方差图中的最大灰度值,而qmin是最小灰度值,q(x,y)是灰度方差图中坐标(x,y)处的灰度值。
GVN 算法的背景纯度和对比度越高,目标越清晰,鲁棒性越好。 导线区域的分割基于GVN 结果。采用通用自适应阈值分割和形态学处理相结合的方法进行导线分割。 与基于普通灰度处理或增强图像的分割方法相比,该方法对导线区域的分割效果更好。
8 幅图像在不同条件下的分割如表1 所示。 基于灰度或增强处理后的图像的分割结果显示在第三列,其中仍然有一些背景噪声或内部的一些洞,并且一些分割结果是不完整的。 另一方面,基于GVN 图像的8 幅图像分割效果都比较理想,可以有效避免外界因素的影响。
表1 图像分割
2.2 导线断裂检测
导线区域分割后,可以在没有背景干扰的情况下,重点分析导线区域。 提取的导线区域需要映射回其GVN 图像,因为导线区域的GVN 图像上的灰度值分布是导线断裂检测算法中的基本参数。 本节以图2 中的图像为例,全面分析了导线断裂检测算法。
图2 导线区域的GVN 图像
对于导线断线检测算法,有3 个重要的步骤:提取灰度值分布、方波变换(Square wave transformation,SWT)和断线识别。 外部铝绞线的灰度值分布直接反映了导线的表面完整性,SWT 突出了其灰度值分布的周期性。 最后,通过分析每个采集到的Z 形波形的宽度,简单地得到传输导线的断股情况。
①灰度值分布的提取
如图2 所示,每根铝绞线的表面具有比彼此之间的边缘间隙更高的灰度值,并且外部铝绞线在结构上具有循环特性,使得未断裂导线表面的灰度分布呈现循环特性。 由于输电导线常年裸露,受各种噪声影响,导线表面的高灰度区往往会出现一些低灰度值点。 这将影响循环灰度值分布的准确提取,并导致断股的错误检测。 因此,在提取轴的灰度值分布时,需要中值滤波处理,如图3 所示。
图3 断裂导线各轴上的灰度值分布
②SWT
本文提出SWT 方法以更好地描述灰度分布的循环特性。 在该方法中,采用阈值对图3 中获得的波形进行二值化处理,以实现方波变换。 并且将最大灰度值和最小灰度值的平均值(nmax+nmin)/2 设为二值化阈值,并通过式(4)所示规则处理图3 中获得的波形,如图4 所示。
图4 灰度分布波形图
式中:n表示图3 中所获得波形上任意点的灰度值,nmax为最大灰度值,nmin为最小灰度值,p表示二值化处理的结果。 其中单个Z 形波形的宽度可用于表征单个铝绞线的宽度。
③断股的识别
为了清楚地表征每个Z 形波形的宽度变化,有必要对每个Z 形波形的宽度P进行统计分析。 每个轴上的统计结果如图5 所示。
图5 每个Z 形波形的宽度统计图
如图5 所示,x坐标表示每个Z 形波形的标记号,y坐标是以像素为单位的每个Z 形波形的宽度。图5 显示大部分的Z 形波形在宽度上是接近的,并且它们代表完整的单根铝绞线。 根据摄像机标定,可以得到单根铝线直径所占的像素数,图6 中用w表示。 此外,已知外部铝线以固定角度α缠绕(本文忽略其微小变化)。 因此,单根铝绞线的水平宽度可以表示为圆形(w/sinα)。
图6 单股铝绞线水平宽度示意图
在上述分析的基础上,取圆(w/sinα)作为参考对象,并根据实际需要选择合适的检测精度v(以像素为单位)。
如果Z形波形的宽度满足|Pi-round(w/sinα)|≤v,其中Pi表示第i个Z 形波形的宽度(如图4 中波形宽度),则它被识别为代表完整的单根铝绞线的正常波形。 如果Z 形波形的宽度满足|Pi-round(w/sinα)|>v,则它被识别为代表断裂铝绞线的异常波形。
2.3 导线缺陷识别
根据导线区域的分割结果,提取的导线区域需要被映射到其GVN 图像,结果如图7 所示。 比较图7(a)和图7(b),可以观察到表面缺陷比导线区域的GVN 图像中的其他区域具有更高的灰度值,此外,缺陷的像素聚集在一起。 因此,如果列存在缺陷,则列方向上的归一化灰度方差值之和将较大。类似地,如果行存在缺陷,则局部区域的行方向上的和也是大的,因此提出PGVN 算法。
图7 导线区域的图像
PGVN 算法包括三个主要步骤:垂直投影、局部水平投影和缺陷识别。
①垂直投影
给定图7(b)中导线区域的GVN 图像,其垂直投影的具体计算过程如式(5)所示:
式中:F(x,y)是坐标(x,y)处的归一化灰度方差值,my代表每列中F(x,y)的总和。
为了突出缺陷的可疑位置,需要通过阈值处理垂直投影的结果,其中阈值T被设置为垂直投影中最大和最小灰度值的平均值,其表示为T=(M′max+M′min)/2。 如果my大于T,则将其设为与阈值T的差值,否则设为零。 图8 示出了阈值处理结果。
图8 阈值处理结果
此外,图8 中的阈值结果需要通过高通滤波器进行滤波,并设滤波器窗口的大小为单股铝线的半径r。 如果水平轴上峰值的像素范围小于r,则将其过滤,否则保持原值。 图9(a)示出了过滤后的结果,图9(b)示出了相应的缺陷的水平可疑位置。 最后,包含可疑缺陷的局部子图像如图9(c)所示。
图9 导线上的水平可疑缺陷
②局部水平投影
局部水平投影类似于垂直投影,只是水平投影是通过分析由上述垂直投影确定的局部子图像中每一行的归一化灰度方差值之和来进行的。
首先,以图9(c)中的局部子图像之一为例,其水平投影的具体计算过程如式(6)所示:
式中:F(x,y)是坐标(x,y)处的归一化灰度方差值,mx表示每行中F(x,y)的总和。mx也通过中值滤波平滑。mx通过阈值处理、高通滤波和缺陷标记顺序处理。 最后,根据高通滤波结果对应的水平坐标,得到可疑缺陷的起始行和结束行。
③缺陷识别
根据输电线路运行规范,如果缺陷深度超过单股铝线厚度的四分之一,则运行中的输电线路需要修复。 因此,在单根铝线厚度四分之一处的参数长度被用作阈值,即3r。 并考虑传输线的具体结构模型,如图10 所示,假设α是单根铝线的边缘切线与水平线的夹角。
图10 输电线路导线模型图
为了进一步筛选获得的可疑缺陷,打算将可疑缺陷区域的长度p与直径长度3r进行比较,图11示出了最终的缺陷识别结果。
图11 损伤区域识别结果
3 现场实验结果和分析
本次实验拍摄工具采用分辨率为1 200 万像素、快门速度为8 s~1/8 000 s 的相机。 利用4G 通信模块向地面监控中心传输导线图像,通过应用发现整体照片的效果较为理想。 在此建议,为确保安全性以及后期处理的准确性,相机的分辨率尽可能确保在800 万像素之上。
3.1 现场安装
将图像采集装置安装在UAV 上的方式已经广泛应用于许多架空输电线路的日常巡检。 其后台软件包含图像读取、导线提取、导线断线检测、导线表面缺陷检测等功能模块。
3.2 导线断线检测算法的性能测试
①算法验证
为了系统地验证本文提出的导线断线检测算法的有效性和实用性,以两幅现场图像为例进行处理和分析,一幅是破损的三股铝线导线图像,另一幅是未破损的导线图像。 检测过程的流程图如图12 所示。
图12 导线断线检测流程图
原始图像如图12(a)所示。 图12(b)是每个图像的导线区域的中心轴提取结果。 图12(c)示出了导线的三个横轴上的灰度值分布图。 可以观察到完整导线轴上的灰度值分布具有完美的周期循环特性。 对于断裂的导线,如果它的一部分没有被破坏,其灰度值仍然呈现一定的周期性分布,而如果轴穿过断裂的铝绞线区域,其周期性的灰度分布就会被破坏。 图12(d)示出了SWT 的结果,很明显,未断裂导线图像的Z 形波形彼此具有几乎相同的宽度,而对应于断裂铝绞线部分的Z 形波形具有局部突然增加或连续减小的宽度。 这种现象在图12(e)所示各轴上Z 形波形宽度的统计分布中更为明显。图12(f)为相邻异常Z 形波形的宽度叠加结果。 在图12(f)中,断裂的铝绞线在整个导线上的位置一目了然。 由Z 形波形宽度叠加结果中的最大值可见,在断裂的导线中有三根断裂的铝绞线,其与实际情况一致。
②现场数据集验证
表2 示出了由无人机捕获的1 200 幅简单背景下的场图像和1 200 幅复杂背景下的场图像的数据集,以验证导线断裂检测算法的有效性和鲁棒性。结果表明,简单条件下的检测精度高于复杂条件下的检测精度,整体平均检测精度可达90.81%,能有效地检测出输电线路中的导线断线。
表2 导线断线识别结果
3.3 导线表面缺陷检测算法的性能测试
①算法验证
为了验证本文提出的导线表面缺陷识别算法的有效性和实用性,以含有多个表面缺陷的场图像为例进行了验证。 检测过程的流程如图13 所示。
从图13(a)可以看出,通过导线区域GVN 图像的垂直投影和高通滤波,可以有效地突出水平方向上包含缺陷的可疑列,有效地缩小可疑导线缺陷区域的检测范围,然后通过列分割得到三个包含缺陷的子图像。 此后,如图13(b)所示,其与垂直投影相同,首先分别计算每个子图像的局部水平投影,并且通过中值滤波、阈值处理和高通滤波连续处理每个投影结果。 接着对每个子图像进行行分割,可以定位和识别可疑缺陷的位置。 最后,根据筛选原则,对小干扰区域进行筛选,最终结果如图13(c)所示。
图13 导线缺陷检测流程图
②现场数据集验证
为了验证导线缺陷检测算法的有效性和鲁棒性,以400 幅简单背景下的航空图像和1 200 幅复杂背景下的航空图像作为数据集。 表3 中的实验结果表明,简单条件下的检测精度高于复杂条件下的检测精度,整体平均检测精度可达91.85%,可有效检测输电线路中的导线表面缺陷。
表3 导线缺陷识别结果
4 结束语
本文提出了一种基于航空图像的输电线路导线断裂和表面损伤识别技术,并通过实验分析证明了所提方法的有效性、鲁棒性和实用性,具体如下:
①所提出的GVN 增强处理方法能够突出不同背景的无人机航拍图像中的导线,进一步促进后续导线区域分割。
②通过分析导线区域GVN 图像上的灰度值分布来识别和定位导线断点。 同时,导线表面缺陷也可以通过导线区域GVN 图像的垂直投影和水平投影来识别和定位。
③所提方法的导线断裂识别平均故障检测准确率可达90.81%,导线表面缺陷识别的平均故障检测准确率可达91.85%。 因此,该技术可应用于输电线路无人机巡检系统中。
此外,由于航拍飞行器的原因,针对导线底面或是角度特别之处的较小缺陷是无法通过图像拍摄体现的,这也是本课题组后续的研究方向。