一种基于深度学习模型的无人机巡检输电线路山火检测方法

薛倩楠，王剑，刘涛，闫希颖

（1.国网陕西省电力有限公司西安供电公司，陕西 西安 710032；2.西安英诺视通科技有限公司，陕西 西安 710075）

0 引言

输电线路巡检是保障输电设备安全的重要措施之一。随着技术的发展，当前的巡检方式逐渐由传统的人工巡检转变为无人机智能巡检[1-2]。通过无人机搭载高清摄像机和基于人工智能的图像识别算法，可以快速自动识别输电线路中的多种风险点，这种方式大大提高了巡检的效率。在各种风险点中，山火是其中一项重要的内容。

基于智能图像处理的山火识别可分为传统图像处理检测方法和深度学习检测方法两大类[3-4]。传统图像处理方法利用火焰目标的颜色、纹理、边缘和频闪性等特征来进行检测，如严云洋[5]提出一种基于RGB 和HSI空间融合形状结构特征的检测方法；刘培江[6]提出一种利用火焰的尖角数、圆形度等特征提取的检测方法；Borges[7]通过提取火焰视频帧之间的动态变化，将火焰的频闪性以及其他特征输入到贝叶斯分类器中来判定是否存在火焰目标。深度学习检测方法通过卷积神经网络实现目标特征的自动提取并进行目标识别，如Xie[8]提出一种自适应轻量级卷积神经网络，同时提取运动闪烁的动态特征和深度静态特征；Muhanmad[9]在GoogleNet 的基础上，根据火焰特性进行网络结构的调整，提高模型泛化能力；Shen[10]在YOLO 网络上进行轻量化，使用9 个卷积层、池化层和激活函数组成的附加层进行预训练，完成火焰初定位，再使用4 层卷积调整特征图大小进行结果检测，增加结果框的准确度，该网络更加适合于现场嵌入式设备部署；杨传凯[11]提出一种基于SSD 网络模型的输电线路山火检测方法,实现输电线监控场景中的山火检测。此外，还有基于雷达回波数据与遥感图像融合的输电线路山火智能检测方法与火情分析方法[12-13]。由于山火非刚体，其在燃烧过程中外形多变，且背景复杂，当前的深度学习模型在山火识别任务中常常会出现误检和漏检，因此，面对输电线路智能巡检任务，有必要寻找一种性能更好的山火识别与检测方法。

最新的目标检测神经网络模型YOLOX[14]是在原来YOLO 系列网络模型的基础上修改了检测头和预选框等模块，成为了当前表现最佳的目标检测网络。本文在YOLOX 基础上，结合山火外形多变的特点，在网络中增加了注意力机制，并采用可变卷积替换原有多尺度特征提取模块中的常规卷积，提出了一种新的山火检测方法，能够更好地适应火焰动态频闪特性，准确地提取山火特征，在输电线路无人机巡检中获得更好的山火检测性能。

1 YOLOX 网络模型

YOLOX 网络的整体结构如图1 所示，主要包括三大部分：主干特征提取网络、加强特征提取网络和Yolo 头部预测回归部分。

图1 YOLOX 网络整体结构图

主干特征提取网络采用CSP-Darknet53 结构，包含53 层卷积，其中CSP 表示跨阶段局部网络结构(Cross Stage Partial)。CSP 将基础层的特征图划分为两个部分，使梯度流通过不同的网络路径进行传播，再通过跨阶段层次结构将其融合，实现更丰富的梯度组合信息，增强了神经网络的学习能力，同时减少计算量和内存开销。

加强特征提取网络采用特征金字塔（Featurized Image Pyramid，FPN）结构，对主干特征提取网络输出的20×20 深层特征图进行两次上采样，并将得到的结果分别与主干网络中同尺度大小的CSP 输出相连，通过通道连接进行叠加，再将20×20 尺度的融合特征图进行两次下采样，与上一步“自底向上”过程中的40×40 和20×20特征再次融合，生成最终的3 个尺度的检测特征图。

Yolo 头部作为YOLOX 的分类器与回归器，它的作用就是判断特征点是否有目标与其对应，YOLOX 修改了前序系列YOLOv5 版本的解耦头，将目标的分类和位置的回归分为两部分进行预测，新的模型收敛速度更好，预测性能也进一步提升。

2 改进的山火检测网络模型

在山火检测任务中，由于背景较为复杂，特征学习易受干扰，火焰的颜色、轮廓、面积、亮度等特征各不相同，使得对于山火的特征提取较为困难，直接应用YOLOX 得到的检测结果还有提升的空间。注意力机制是一种加权机制，作用于编码器-解码器结构的深度学习模型，使得特征提取集中于某些重点信息。因此，本文将注意力机制融合到YOLOX 模型中，并采用可变形模块替换卷积操作，使得模型能够适应山火频闪多变的特性，提升山火检测的准确率。

2.1 注意力机制

本文从两个方面来引入注意力模块。首先是通道注意力模块CA，强调部分通道是更重要的，使用平均池化（Ave pool）和最大池化（Max pool）来聚合不同特征信息。设图像输入特征尺度为H×W×C，两种池化操作后得到两个1×1×C的特征图，把它们送入一个两层的多层感知机，第一层神经元数量为C/8，第二层数量为C，将两层的感知结果叠加，再送入软阈值化（Soft thresholding）子网络，与初始特征图相乘得到最终的通道特征图，结构如图2(a)所示。其次是空间注意力模块SA，强调哪些位置的特征更有意义。与通道注意力类似，给定一个H×W×C的特征，先对一个通道维度进行平均池化和最大池化，得到H×W×1 的两个特征图，然后将两个特征图进行叠加，再接一个7×7 的卷积层，调整特征维度为1×H×W尺寸，并将其输入至软阈值化子网络中，得到特征图权重系数，最后将权重系数与输入特征相乘得到最终的空间特征图，结构如图2(b)所示。

图2 注意力机制结构图

由于通道空间注意力与空间注意力是山火特性的两个不同层面，因此还需将其融合，融合结构如图2(c)所示。空间信息来自于特征提取网络之中，而通道信息来源于更深层的加强特征提取网络之中，将两个不同分支的特征进行通道连接融合操作，可以加强目标特征的提取能力。

图3 展示了输入图像在YOLOX 的80 尺度大小卷积后添加注意力模块的对比图，可以看出，最右列特征图的背景噪声更小，且火焰特征更加聚集，这说明重要的特征通过注意力机制被关注并保留下来，不重要的特征通过软阈值设置为零，从而增强深度神经网络从冗余信息中提取有用特征的能力。

图3 注意力机制特征提取对比

2.2 可变形卷积

在YOLOX 网络中，多尺度特征由空间金字塔池化模块提取。该模块采样的区域是固定的形状，其限制了网络对烟火的识别能力。可变形卷积网络[15]将常规卷积修改为可变形卷积。常规标准卷积核为固定方形，而可变形卷积为每个卷积的采样点加上了一个偏移量，当偏移为小数时，需要通过双线性插值[16]变换将所有新的采样点聚集起来形成新的特征图，保证空间分辨率不变。可变卷积的引入使得感受野的形状不再固定，可以更好地匹配山火燃烧时外形变化的特点。基于可变形卷积，本文修改了多尺度特征提取模块。首先使用密集空洞空间卷积池化金字塔模块[17]，设置3 个空洞卷积的膨胀率依次为5、7、9，其次将其中的标准卷积替换为可变形卷积。本文修改后的网络整体结构如图4 所示，与YOLOX 网络有区别的模块用实线框标出。

图4 本文提出的网络结构图

3 山火检测流程

基于上述改进的YOLOX 模型，给出输电线路无人机巡检山火检测方法，其流程如图5 所示。首先，通过无人机对选定巡检森林区域进行图像采集，建立山火检测图像样本库。其次，由于无人机采集的图像分辨率较大，因此对图像样本库的数据集进行无缝切割，获得大小均为640×640 的小图像块。为达到无缝切割的目的，本文在切割过程中对图像四周填充黑色像素，使其宽高均为640 的倍数。在切割完成后，将获得的小图像块送入本文改进的YOLOX 网络模型，完成特征提取。与空间金字塔池化模块相比，本文采用的密集空洞空间金字塔池化模块可提升模型对多尺度目标的识别能力，更好地匹配山火燃烧时外形变化多样的特点。同时，本文引入注意力机制，使得模型在特征提取的过程中更加关注山火区域，这减少了复杂背景的影响，提升模型的检测准确率。最后，Yolo 头部在特征提取的基础上进行回归预测，快速检测出图像中的山火区域，并用方框标注出山火在图像中的位置。

图5 山火检测流程图

4 实验结果

建立训练所用的数据集，硬件环境配置为：CPU 为i7-9700K，GPU 为NVIDIA GeForce RTX 2080 Ti。

4.1 数据集构建

数据集尽可能涵盖了多个场景环境，包括室内、街道、野外、森林等，一共收集到20 000 张图像，主要来源于以下几个方面：

（1）Bilkent 大学公开视频库中的火焰视频片段：http://signal.ee.bilkent.edu.tr/VisiFire；

（2）Keimyung 大学火焰库：https://cvpr.kmu.ac.kr/Data set/Dataset.htm；

（3）Mivia 数据集中的火焰视频片段：https://mivia.unis a.it/datasets；

（4）BoWFire 火焰数据集：https://bitbucket.org/ gbdi/bo wfire-dataset/downloads；

（5）百度与谷歌图库中的山火图像。

对搜集到的数据图像逐帧进行了标注。将数据集中随机选择的1 000 张图片作为测试集，剩余部分按9:1划分为训练集和验证集，完成数据集的构建。

4.2 评价指标

混淆矩阵一般用来测试分类器的性能，如表1 所示，根据真实值以及预测值的正负共组合为4 种形式。其中，TP 表示True Positive，指的是实际的正类结果通过网络检测的结果也是正类；FP 表示False Positive，是指负责输入负类，预测结果为正类，预测错误；同理，FN 指正类预测为负类；TN 指负类预测为负类。在本文中，正类即代表存在火焰目标，负类则为其他目标。判定为正类的依据是数据集标注中的真实框（ground truth）和预测结果目标框位置的交并比IOU 值大于0.5。

表1 混淆矩阵

性能评估通过以下3 个指标来评价：

（1）精确率Precision：指的是预测结果为正类的目标中真正的正类所占的比例P：

（2）召回率Recall：指所有真正为正类的目标中被预测为正类目标所占的比例R：

（3）F1 值：一般情况下，P和R之间会呈 现负相关性，为考虑指标的综合性，采用精确率和召回率的调和平均数：

4.3 性能分析

为验证注意力机制和可变形卷积引入后对原网络性能的影响，首先在测试集上进行消融实验。以上述精确率、召回率和综合加权F1 指标来衡量检测精度；以参数量指标来判断网络大小；以每秒检测图片张数FPS 值来衡量检测速度。对比方法有基本的YOLOX，仅加了注意力机制的YOLOX-FCS，以及本文提出的加了注意力机制和可变形卷积的方法。表2 展示了实验结果。

表2 消融实验检测结果

可以看出，相比较YOLOX，添加了注意力机制的YOLOX-FCS 在精确率、召回率和F1 指标上都得到了提升，而本文网络相比YOLOX-FCS 各个指标又得到了进一步的提高。但随着改进模块的增加，网络参数量增加，相应的FPS 值有所下降。相比于YOLOX，本文所提方法的精确率、召回率、综合F1 指标均得到了较大幅度的提升。

进一步实验对比了本文网络与当前目标检测领域内其他主流网络模型之间的性能差异，包括YOLOv5、SSD，以及轻量化的YOLOv4-Tiny 网络，实验结果如图6和表3 所示。

表3 与主流网络的对比实验结果

图6 检测结果对比图

从图6 可以看出，本文所提网络检测到的目标框大小更匹配火焰区域，置信度也更高。

从表3 可以看出，在精确率方面，本文网络略高于YOLOv4-Tiny，超过YOLOv5 和SSD；在召回率方面，本文网络性能远远领先；在F1 值方面，依然是本文网络表现最好。同时也可以看到，本文网络模型的参数量也是最大的，而轻量级网络YOLOv4-Tiny 的参数量最小。综合而言，本文所提方法较大幅度地提升了山火检测的准确率，使误检和漏检均得到了降低。模型参数量虽然有所上升，但是FPS 和检测速度完全能够满足应用需求。

5 结论

本文基于当前人工智能领域最新的目标检测网络模型YOLOX，提出了一种改进的输电巡检山火检测网络。所提出的网络增加了注意力机制，并将多尺度特征提取模块中的常规卷积替换为可变形卷积，更好地适应山火外形多变的频闪特点。实验证明所提网络获得了最佳的性能表现，在几个主流的指标评估方面均超过了当前最具代表性的目标检测网络，检测速度也可满足实时需求。