基于卫星影像的输电线路周边地表隐患识别方法*

2023-11-08邹绍悦刘朔夏昊

中国科学院大学学报 2023年6期

邹绍悦,刘朔,夏昊

(1 中国科学院大学, 北京 100049; 2 中国科学院空天信息创新研究院, 北京 100094) (2021年12月29日收稿; 2022年3月16日收修改稿)

输电线路是一个国家电网的基础设施和重要组成部分。世界电网的快速发展对输电线路的安全维护提出了更高的要求。我国多数高压输电线由于输送距离长、穿越复杂地形区域,面临多种周边地物造成的安全隐患的影响[1]。这些安全隐患包括输电线路附近的建筑物;长势可能影响导线的树木;大棚、地膜等易受大风影响造成导线异物的易漂浮物;湖泊、池塘等可能发生垂钓行为导致导线异物的水体。这些线路周边的地表隐患给输电线路运行工作带来极大的影响。

为及时排除线路周边地表造成的潜在隐患,防止电网安全事故的发生,相关部门需要经常对输电线路进行巡检。多年来,电力线路的检查和维护主要依赖于人工勘察,这样的人工巡检的方式强度大、工作艰苦、效率低下,且存在着许多不安全因素。随着技术的发展,也出现了直升机巡检[2]、无人机巡检[3]、在线终端巡检[4]、机器人巡检[5]等方式。其中直升机巡检受地形环境的影响较小,巡检的范围大、速度快、精度高,但巡检成本较高,无法长时间悬停定点巡检。无人机巡检有机动灵活、可以定点拍摄巡航的优点,但无人机续航和飞控范围均不能实现长距离巡检,更适合对重点地区进行排查。而在线监测终端只适合范围较小的重点区域的实时监测,机器人巡检则需要大量人工干预且现在无法达到全自动巡检的要求。

随着卫星遥感技术的快速发展,遥感数据的空间分辨率日益提高。高空间分辨率遥感可以获得大范围的较高精度的对地观测影像,结合现有的电网空间位置以及空间关联,弥补了现有地面、直升机/无人机大范围的数据获取、环境感知等方面的缺陷,成为实现电网状态全面感知、信息高效获取的新型手段。目前各国均有探测利用遥感和摄影测量的技术辅助或替代大范围人工巡检的可能性的研究[6-9]。通过高空间分辨率的遥感影像可以初步识别明显风险隐患,对卫星数据显示安全的区域可以不规划人工或无人机巡检,对于识别出风险隐患区域可以通过人工或其他方式进一步进行核实。目前基于遥感技术如何开展电力设施巡检已成为电网自动化巡检解决方案的研究热点。

在利用遥感技术实现电力设施巡检的研究中,主要使用的数据包括合成孔径雷达(synthetic aperture radar,SAR)图像、光学卫星影像、光学航空影像、机载激光扫描点云数据等[10]。而其中电力线的自动提取受到广泛关注,并取得了优异成果。Melzer和Briese[11]使用机载激光扫描的技术,提出一种从机载激光扫描的点云中提取和重构三维电力线的策略。Mclaughlin[12]提出一种利用机载激光雷达技术帮助自动监测高压输电线路的算法,通过激光雷达数据首先将数据标注为传输线、植被、地表,然后利用数据的局部仿射模型将所提取的输电线数据点分割为单个跨度,取得了不错的识别效果。Zhang等[13]则使用无人机影像进行电力线的提取研究。澳大利亚Ergon Energy电力公司与昆士兰科技大学合作,探索利用遥感技术进行交通困难地区高压电力巡线探测的可能[9]。穆超[9]做了基于无人机影像的输电线自动提取方法、基于多光谱立体影像的树冠区域提取及高程计算以及基于LIDAR数据的输电线自动提取的研究。

相较于电力线的自动提取而言,输电线路周边隐患则是一个不太常见的研究课题[10]。而其中最常见的便是树障隐患的提取。张苏等[14]提出一种基于无人机激光点云的输电线路树障检测与砍伐树木数量估算方法,为输电线路安全运营提供遥感技术支撑。Chen等[15]使用无人机机载激光雷达点云数据实现了电力线与周围树木、建筑等非电力设施物体之间的间隙异常检测。丁薇等[16]则提出一种基于机载激光点云的输电线路走廊树障自动化检测的方法。宋爽[17]针对机载激光点云的数据进行电力走廊的安全隐患排查巡检研究。除激光点云数据应用于输电线路周边地表隐患提取外,光学卫星影像也同样被应用于输电线路周边地表隐患的提取。Kobayashi等[18]使用多光谱影像识别可能危害电力线的树木。Ahmad等[19]使用多光谱影像恢复输电线路的DEM数据,从而识别危险植被。张校志[6]利用国产遥感卫星数据对湖北省输电走廊区域进行地表覆盖分类,通过数年数据实现地表覆盖变化检测;通过光学卫星遥感影像及其他相关数据,建立山火易发模型,评估了输电走廊山火易发性风险。彭文邦[20]使用无人机获取的多光谱的遥感图像进行输电线路的山火检测研究。

随着深度学习的快速发展,深度学习也在遥感影像在输电线路巡检中的应用中出现,王彤等[7]在U-net网络的基础上对网络结构进行改进,提出一种针对遥感影像的输电线路走廊隐患检测的方法。丁健配[21]使用卷积神经网络实现输电线路场景工程车辆的检测。焦波[22]使用无人机影像和目标检测的方法提出一种快速识别覆冰设备的方法。目前研究者们使用不同方法及不同来源的遥感数据,针对不同的输电线路巡护的应用进行了相关研究。但目前研究中使用光学卫星遥感数据针对输电线路周边地表隐患的识别提取研究较少,在识别的准确率上还需进一步提高。

输电线路周边地表隐患的识别提取是一个针对多种隐患的多类别的语义分割问题。而卷积神经网络(convolutional neural network, CNN)[23]作为视觉处理的主流深度学习框架,被广泛应用于图像分类,并以此为基础发展了一系列的通用CNN架构。全卷积网络(fully convolutional network,FCN)[24]则使用卷积层替换CNN中的全连接层,使其隐藏层仅包含卷积层,从而得到了更好的效果。随着基于FCN的架构得到发展和广泛应用,当前语义分割的深度学习的方法大多都采用基于FCN的方法,包括SegNet[25]、Deeplab[26]系列、U-net[27]等及其变种等。但仍存在识别精度不高、识别边缘模糊的情况。

针对以上问题,本文针对输电线路隐患识别提取的需求,提出一种增加残差修正模块的改进FCN方法,并与其他常用方法进行对比分析,其针对输电线路周边隐患识别提取精度优于其他常用方法,隐患地物边缘识别上的表现优于其他常用方法。

1 实验方法

1.1 实验数据准备

根据相关法律法规以及电力部门需求总结,野外架空输电线周边一定范围内可能会对输电线的正常运行造成影响的典型隐患包括:电力保护区范围内的建筑物、树木;湖泊、池塘等可能发生垂钓行为导致导线异物的水体;塑料薄膜、大棚等易受大风影响造成导线异物的易漂浮物。其中架空电力线路保护区为:导线边线向外侧水平延伸并垂直于地面所形成的两平行面内的区域,在一般地区各级电压导线的边线延伸距离如下:1～10 kV—5 m;3～110 kV—10 m;154～330 kV—15 m;500 kV以上—20 m。

本文实验数据使用2019年11月某地的北京2号影像制作,影像空间分辨率为0.8 m,包含RGB的3个波段。相关地物根据距导线距离划分隐患风险等级,其中低风险易漂浮物距导线距离为500～1 000 m,为使数据更加完整,沿输电线路两侧延伸2 000 m,形成一条缓冲带,使用缓冲带的影像进行实验数据制作。

针对建筑物、树木、可能发生垂钓行为的水体、易漂浮物以及其他地物共5个类别对影像进行标注,赋予影像每个像素类别信息,获得对应的标签数据。然后对影像和标签进行处理,将其裁剪成为256×256大小,去除包含无数据区域的影像及标签。

通过对获取到的标签数据像素进行统计,发现水体、建筑、树木和易漂浮物的类别占比过小,其中易漂浮物类别占比最小。于是选择这4个类别像素占比超过50%和包含易漂浮物的影像、标签进行数据增强的处理:上下翻转、左右翻转以及中心对称翻转。通过以上的数据增强的操作,最终获得8 437对256×256的0.8 m分辨率的影像和标签数据,其典型数据样例如图1所示。

图1 典型样例Fig.1 Typical samples of the dataset

1.2 网络结构

编码器-解码器结构是用于语义分割的常用结构,本文网络主体结构采用U型的编码器-解码器结构。

网络的编码器通过3×3的same卷积进行特征的提取,激活函数为Relu;通过2×2的最大池化缩小特征图的尺寸。解码器通过上采样的方式恢复特征图的尺寸,编码器和解码器之间通过复制串联的方式进行深层特征和浅层特征的融合,得到串联后的深层特征和浅层特征后通过卷积得到融合后的特征。网络的深度为5。图像通过最后一次的上采样恢复到输入时的尺寸大小后进行3次卷积操作,然后通过Softmax函数输出得到初步的语义分割结果。

将得到的初步语义分割的结果作为多类别残差修正模块的输入,通过残差修正模块,对初步识别的结果进行修正,使语义分割的结果的边界更平滑,识别效果更好。得到最终的语义分割结果。网络整体结构如图2所示。

图2 网络结构Fig.2 The structure of the proposed network

1.3 多类别残差修正模块

基于深度学习的语义分割的网络通常是编码器-解码器结构,通过编码器提取影像的特征,通过解码器使用上采样将特征图恢复到原始尺寸,得到语义分割的结果。编码器-解码器结构在语义分割上有着不错的表现,但同时存在边界不清晰、不平滑的情况,与实际结果有较大差异。需要进一步优化实现更好的语义分割。

在建筑物提取的相关研究中,Shao等[28]提出一个针对于建筑物提取的建筑残差修正模块(residual refinement module of building,RRM_Bu),该模块对编码器-解码器预测模型中获得的分割结果进行残差修正,使最终的分割结果有着更高的精度和更好的效果。RRM_Bu将编码器-解码器预测模块输出的单通道的概率图作为输入,通过该模块学习输入的概率图与真实结果之间的残差,对预测模块中的概率图进行进一步细化,从而得到更精确、边界更平滑的语义分割结果。

RRM_bu使用空洞卷积[29]扩大卷积核感受野,空洞卷积的膨胀率越大,卷积核的感受野越大,在保证大感受野的同时保持较少的参数量。RRM_bu使用6个3×3的膨胀率为1、2、4、8、16、32的空洞卷积进行特征提取,在每个空洞卷积后进行批量归一化操作,使用Relu作为激活函数。RRM_Bu通过6层的不同膨胀率空洞卷积得到不同深度的特征图,利用相加的方式将特征图进行结合,将融合了6个不同膨胀率的特征图通过sigmod函数获得概率图,从而得到最终的语义分割结果。虽然大膨胀率的空洞卷积的感受野大,但同时也会带来丢失细节特征的情况、从而使得其识别结果在各类别的边缘上表现不好,出现较多边缘误判的情况。RRM_Bu过大的膨胀率导致了其存在小尺度目标无法识别、大面积的目标地物识别边缘出现误判的情况。

如图3所示:为减少小尺度目标无法识别及目标地物边缘误判的情况出现,针对RRM_Bu进行改进使之适用于多类别、多尺度的语义分割,称之为多类别残差修正模块(residual refinement module of multi-class,RRM_Mc)。RRM_Mc减少了RRM模块的深度,将其由6层减少为4层,其对应的空洞卷积的膨胀率分别设置为1、2、4、8,去除过高的膨胀率的空洞卷积,使模块在保证识别边缘优化、减少边缘误判的同时在小尺度的目标上识别效果更好。

图3 RRM对比Fig.3 Comparison of the structure of RRM_Bu and RRM_Mc

1.4 评价指标

在输电线周边地表隐患识别提取的精度评价上,采用F1分数(F1-score)、mIoU(均交并比,mean intersection over union)进行精度评价。

本文的实验数据标注了建筑物、水体(池塘、河流、湖泊)、树木和易漂浮物(包括塑料薄膜、大棚等)4类,以及除这些要素外的“其他”类别,共5个类别进行精度评价。pij表示本属于i类却被预测为j类的像素点总数,pii表示属于i类预测正确为i的像素点总数;对于i类而言,pii称为true positive(真阳性),pij称为false positive(假阳性),pji称为false negative(假阴性)。

(1)

针对5类的语义分割来说,总体的F1分数则是计算5个类别分别的F1分数,然后对其求均值

(2)

mIoU是语义分割网络的一个标准评价指标,它通过计算交并比进行度量。这里的交并比指的是影像类别真值与预测分割结果之间的交并比,mIoU是先对每一个类别计算交并比,然后再求均值。针对本文中的5个类别而言,计算公式如下

(3)

2 实验与分析

本文在深度学习框架TensorFlow2.5.0上开展实验。在进行相关实验时,将实验数据随机打乱分为训练集(5 293张影像)、验证集(1 622张影像)、测试集(1 522张影像)。

本文中的所有实验与对比实验均采用相同的参数初始化方式及相同的优化器。设置批大小为10,使用Adam作为优化器,初始学习率为10-3,衰减系数设置为10-6;使用GPU进行网络训练,设置遍历次数为300次。对于增加了RRM模块的网络的训练,首先训练U-net网络,然后使用迁移学习的方式,训练U-net+RRM模型。

2.1 实验设计

1)为实验数据的有效性以及提出的方法的有效性,进行了4次实验进行对比:

①使用Segnet、U-net、Deeplabv3+(以mobilenet作为主干结构)在本文实验数据上进行实验,用以验证实验数据有效性。

②将建筑残差修正模块RRM_Bu和多类别残差修正模块RRM_Mc分别应用到U-net上进行对比实验,将实验结果与①中的结果进行比较,验证残差修正模块的提升作用。

2)为验证迁移学习对训练结果产生的影响,对于U-net+RRM_Mc分别进行直接训练和迁移学习训练,通过实验结果比较验证迁移学习对训练结果产生的影响。

3)为验证U-net+RRM_Mc模型的普适性,在公开数据集GID(gaofen image dataset)large-scale classification set[30]上进行相关的实验。GID large-scale数据集有150张7 200×6 800的可见光影像,其中影像分辨率为0.8 m。其包含建筑、农田、森林、草地、水体及其他共6个类别。本文采用U-net、Deeplabv3+、U-net+RRM_Bu以及U-net+RRM_Mc在GID Large-scale数据集上进行实验,对比实验结果,用以验证U-net+RRM_Mc模型的提升作用。

2.2 实验结果分析与比较

如表1所示,通过实验数据在Segnet、U-net和Deeplabv3+的实验结果可以看到,数据在mIoU和F1-score评价上有着不错的效果,证明该实验数据是有效的。与此同时,U-net的表现优于Segnet、Deeplabv3+,故后续基于U-net基础上进行实验。

表1 实验结果Table 1 Experimental results

使用迁移学习方法对 U-net+RRM_Bu与U-net+RRM_Mc进行训练,对结果进行精度评价。如表1所示:增加了残差修正模块的两个网络框架精度相较于其他网络框架有较为明显的提升;而对比U-net+RRM_Mc与U-net+RRM_Bu可以发现:U-net+RRM_Mc的识别精度略高于U-net+RRM_Bu。

除定量评价实验数据和方法的有效性,还对实验数据和方法进行定性评价,如图4所示。Segnet、U-net以及Deeplabv3+均存在着隐患识别缺失严重、边缘模糊的情况,而在U-net进行识别的基础上加上残差修正模块的效果明显优于以上两种结构。与此同时,U-net+RRM_Bu由于RRM_Bu模块使用了较大膨胀率的空洞卷积进行特征提取,使得其丢失了部分细节信息,在小尺度的类别识别上不佳,还存在着易漂浮物这一类别边缘被识别为其他类别的情况。对比之下,本文所提出的方法U-net+RRM_Mc在各个类别隐患的识别提取上更完整,对于小尺度的目标识别表现更好,在易漂浮物这一类别的边缘上误判的情况少。

由于遥感影像输电线路周边地表隐患的识别是一个多类别的识别提取的任务,本文针对不同的类别隐患识别提取效果进行对比分析。通过统计以上5种方法在不同类别隐患上的IoU和F1-score(图5),可以看到:在IoU的统计上,本文提出的框架在水体和建筑上的表现是最好的,同时在树木、易漂浮物及其他类别上与其他算法基本持平;在F1-score的统计上,使用多类别残差修正模块进行结果优化的框架在水体、树木、建筑和其他类别上的表现都是最好的,在易漂浮物上的识别提取略逊于其他几个框架。通过各类别IoU和F1-score的统计,可以看到各个框架在建筑这一类别上的识别效果差异最大,本文提出的U-net+RRM_Mc在建筑物这一类别上的识别提取上有着比较明显的优势。

图5 不同算法在不同地物识别上的表现对比Fig.5 Comparison of the performance of different algorithms on different feature extractions

为验证迁移学习对训练结果造成的影响,先将U-net网络训练迭代100次,然后将训练好的U-net网络参数迁移到U-net+RRM_Mc上再继续训练迭代100次,使其收敛。将所得的结果与直接训练U-net+RRM_Mc迭代200次收敛的结果进行比较,可以发现直接进行训练网络并不能很好学习到特征。如表2所示,直接训练的精度与迁移学习得到的精度差距较大。

表2 不同训练方式对比Table 2 Comparison of different training methods

为验证本文所提方法的有效性,选择公开数据集GID large-scale classification set进行实验,对比几种方法的训练结果。如表3所示:增加了残差修正模块的方法精度高于其他常用方法,U-net+RRM_Mc略高于U-net+RRM_Bu。

表3 GID数据集实验结果Table 3 Experiment results of GID

为验证4种方法在GID large-scale set上6个类别上的表现情况,计算各个类别的IoU和F1-score。如图6所示:增加了残差修正模块在建筑、农田、森林及水体上均着不错表现,而在水体的识别上U-net+RRM_Mc高于U-net+RRM_Bu。

图6 不同算法在GID large-scale上的不同地物识别表现对比Fig.6 Comparison of the performance of different algorithms on different feature extractions of GID large-scale set

此外,对各类方法在GID上的表现进行定性分析,如图7所示:加入了残差修正模块的U-net+RRM_Mc在小尺度的区域表现更加优异、边缘更加平滑,更接近真实值。

图7 不同算法在GID large-scale数据集上的结果比较Fig.7 Comparison of the performance of different algorithms on GID large-scale set

3 讨论

通过人工勾画矢量数据再转为栅格的方法,获得了针对输电线路周边地表隐患识别的深度学习的实验数据。在实验数据准备的过程中,发现所需识别的地表隐患之间占比差距过大,会导致训练的网络识别效果不好,通过数据增强的方法可以有效减少类别不均带来的影响。

此外,针对已有的算法进行改进,使其输电线路周边隐患识别上效果更好。RRM_Bu在U-net得到结果输出后增加了一个残差修正模块,用以获得修正后的建筑物识别结果。其模块深度为6层,使用膨胀卷积的方法扩大特征提取的感受野,空洞卷积的膨胀率分别为1、2、4、8、16、32。这样的方法可以使提取的结果边界更加清晰,同时也可以将识别物体内部有误的部分进行补全,但是空洞卷积膨胀率设置过大会丢失细小的特征,导致在尺度较小的隐患上,无法进行判别。此外,膨胀率过大的卷积层会使得卷积的感受野关注到与其对应像素的特征关系不大的像素上,导致在大片易漂浮物识别的边缘上出现较多边缘识别错误。所以我们在其基础上减少卷积层的层数,去除膨胀率过大的卷积层,使其更加适用于目标具有多样尺度的多类别的语义分割问题,在能够将隐患目标边缘平滑、内部补齐的同时,实现小尺度的目标识别。同时在易漂浮物的识别上,也大大降低了其边缘误判的情况。

同时,在公开发布的遥感图像地表分类的数据集GID large-scale set上进行相关实验,证实本文提出的方法可以有效提升语义分割的效果。