基于改进FPN与SVM的树障检测方法

斯建东，汤义勤，赵文浩

（国网浙江省电力有限公司台州供电公司，浙江 台州 318000）

0 引言

输电线路是电网的一个重要组成部分，其主要任务是输送和分配电能到目标点，当输电线路出现故障时，会对供电工作产生严重影响［1］。在实际环境中，输电线路走廊上的树木存在较大的安全隐患，距离输电线路较近的茂密树木极易引发闪络、跳闸等事故［2］。因此，如何及时发现树障以保障电力安全供应成为运维人员关注的焦点。

针对树障检测问题，传统的树障检测多采用人工巡检的方式，由于树障难以被精确测量，导致人工巡检难以发现和获取树障信息，且极易对人身安全构成威胁，因此采用无人机进行输电线路巡检不失为一种合理的解决方案。现多采用无人机搭载激光雷达向输电线路和地面发射激光信号［3］，获得大量的激光点云数据，并通过光电探测器进行接收，数据经过处理后可得到输电线路、塔杆以及周围环境的三维立体模型，辅助巡检作业人员决策。激光雷达作为采集数据传感器的优点是响应时间快，且不受地表杂波干扰，测距精度高，缺点是成本较高，不能全天工作，且遇到浓雾、雨雪天气无法工作。现如今机载摄像头常作为采集数据传感器，质量较轻，便于携带，价格低廉，以图像的形式展示监测数据，具有较高的可操作性。随着目标检测算法的不断改进与发展，该算法在许多应用场景中都取得了不错的成绩［4-6］。基于此，本文将深度学习技术应用于树障检测中。现有的目标检测算法大致步骤为：首先通过主干网络对图片的信息进行初步提取，然后通过neck结构对所提取的图片特征进行更深层次的提取与融合，最后使用检测头对目标位置进行预测。

Girshick R提出的R-CNN［7］（区域卷积神经网络）首次将深度学习引入目标检测领域，并使得诸多学者对其进行改进，例如SPP-Net［8］（空间金字塔池化网络）在R-CNN的基础上引入空间金字塔池化层，降低了图像大小对网络的影响；Faster R-CNN［9］（快速区域卷积神经网络）在提取候选区域时引入区域建议网络，实现了端到端的训练并提高了区域提取的精度；Mask R-CNN［10］（掩膜区域卷积神经网络）将Faster R-CNN对池化层进行改进，并利用双线性插值算法降低误差，同时增加了预测分割模块，在一定程度上提高了整体的精度。然而若将Mask R-CNN用于解决树障检测问题，其预测分割模块相对冗余，提取的多层特征映射图未被充分利用，高层特征映射图的处理方式极易导致信息丢失，难以达到较高的检测精度。因此本文主要采用了Mask R-CNN中网络深度更深、运算量更小的深度残差网络（ResNet 50）对图像特征进行提取。

高层特征映射图拥有更多的语义信息，但丢失了大量的位置信息，底层特征映射图则恰恰相反，此外不同的物体在不同的时空中存在不同的大小和分布。使用单一尺度的特征映射图，将会极大地限制模型性能。为了解决多尺度问题，Tsung-Yi Li等人提出了FPN（特征金字塔）［11］，通过使用不同尺度的特征图对目标进行检测从而提升模型的性能。由于树障检测应用场景的复杂性，因此要提高模型的定位性能，必须要让模型包含更多尺度的信息。

针对上述问题，本文以摄像头作为传感器搭载在无人机上，结合基于改进FPN与SVM（支持向量机）的树障检测算法，进行识别和提取树障的特征，查找被树障覆盖的区域。该算法采用Mask R-CNN中的ResNet 50和改进的FPN作为特征提取网络，随后将提取到的特征向量传入基于遗传算法的SVM［12］进行二分类，判断该图像中是否含有树障。本文在硬件设备上采用更为轻便、成本更低的摄像头作为数据采集传感器，在算法上选择轻量级的ResNet（残差网络）联合改进后的FPN算法，并用计算速度较快的SVM进行分类，在保证不影响检测速度的前提下，提高了树障检测的精度，为无人机在输电线路巡检方向上探索出更多的可能性。

综上所述，本文的主要贡献如下：

1）提出了基于深度学习的电力线树障检测方法。

2）提出了一种改进的FPN结构来解决树障边缘不确定问题。

3）提出了一种基于遗传算法的SVM方法来解决Mask R-CNN检测模型存在的树障置信度低和推理速度慢的问题。

1 总体设计方案

如图1所示，树障检测方法总体设计方案由输电线路提取、候选区域选择和树障检测三部分组成。

该方案首先从无人机采集的图像中提取输电线路，具体步骤为：

1）提取ROI（候选区域），利用高斯滤波和灰度化进行图像预处理；随后对得到的灰度图进行边缘检测、二值化以及形态学处理，实现输电线路的边缘检测，并利用Hough变换提取输电线路；以输入图像的宽度像素值确定滑动窗口的大小，分割出含有输电线路的区域图像。

2）将分割出含有输电线路的区域图像进行候选区域选择，使用Selective Search算法从待检测图像中提取2 000个区域候选框，这些候选框可能包含树障目标；再将候选框图像进行归一化，得到224×224的用于特征提取的待处理图像。

3）将待处理图像输入由ResNet 50网络模型和改进FPN构成的特征提取网络，并将计算得到的特征向量传入SVM进行二分类，从而判别出该图像上是否存在树障。

2 树障检测算法

2.1 ResNet模型

ResNet是由何凯明在2015年提出的卷积神经网络，该网络在多个分类比赛中取得较好的成绩，并被广泛应用于解决生活问题。除了ResNet以外，LeNet［13］（LECUN Y等人提出的一种深度卷积网络）、VGGNet［14］（牛津大学计算机视觉组和谷歌人工智能研发的一种深度卷积网络）和GoogleNet［15］（谷歌团队研发的一种深度卷积网络）针对图像分类问题都具有较好的表现，但是这些网络模型会出现退化问题，即在准确率饱和的状态下，继续加深网络会导致准确率下降。针对该问题何凯明在ResNet结构中加入了恒等映射，如果经历一次卷积之后准确率下降，则继续保持权重的参数不变，等同于没有进行此次卷积［16］，从而保证了该模型不会因为网络深度的增加而导致准确率下降。残差模块是ResNet的核心结构，其结构如图2（a）所示，x为残差块的输入，复制成两部分，一部分输入到卷积层之中，进行层间运算，将x输入到一个函数中做映射，得到f（x）；另一部分作为分支结构，输出还是原本的x，最后将两部分的输出进行叠加，得到f（x）+x，再通过激活函数ReLu。在残差模块中，网络模型拟合的不是原本的映射，而是残差映射。ResNet中残差模块分为两种结构，一种是用于50层以下的网络结构，如图2（b）所示；另一种是用于50层以上的网络结构，如图2（c）所示。

图2 ResNet残差模块Fig.2 ResNet residual module

ResNet 50能够在不影响精度的条件下，训练样本占用内存小，训练时间较快，能够加快整体进程，所以本文采用ResNet 50模型。

2.2 改进FPN

目标检测通常采用ResNet与FPN结合作为特征提取网络，实现多尺度融合，增强目标检测的有效性［11］。ResNet50与FPN结合的特征提取网络结构如图3所示，其中的C2—C5表示残差模块，分别代表不同深度下特征映射图，P2—P5表示由FPN和侧边连接得到的不同尺寸的特征映射图［17］。首先对输入图片进行自下而上的特征图提取，为了得到不同尺寸的特征映射，随后进行1×1的卷积操作，再通过自上而下的2倍上采样将其转化为更清晰的特征，同时通过1×1的卷积进行侧边连接，与ResNet 50特征融合，最后使用3×3的卷积以消除图像融合的混叠效应。

图3 特征提取网络结构Fig.3 Structure of the feature extraction network

采用FPN进行树障检测时，树障界限边缘不够分明，而FPN只采用自上而下的方式，多层特征映射图并没有被充分利用。高层特征映射图，经过多次特征提取之后，拥有更多抽象的语义信息，可以实现更加准确的树障识别。但是由于高层特征映射图在模型中被压缩了数倍，导致大量位置信息丢失，仅仅使用高层特征映射图对树障进行定位，难以获得精确的位置信息，甚至会由于电力线特征的丢失导致定位的错误。与高层特征映射图不同的是，浅层特征映射图的尺寸与原始输入的图片更加接近，保留了更多的位置信息和图片原始信息，这些信息对于树障的定位十分关键。为此，本文提出一种改进FPN结构来更好地融合不同语义和层次的特征，以适配树障检测场景。本算法在ResNet 50联合FPN作为特征提取网络的基础上，对FPN做出了相应的改进，其整体框架如图4所示，其中的N2—N5和M2—M5表示改进增加的特征映射图。

在FPN生成不同尺寸大小的特征映射图的框架下，增加一条自下而上的路径，N2和P2的尺寸相同，N2—N4采用步长为2的3×3的卷积，得到与P3—P5尺寸相同的特征映射图，并将其分别与P3—P5相加，再进行卷积操作得到N3—N5。上述卷积操作的核数量为256。随后将N5行1×1的卷积得到M5，将M3—M5进行2倍上采样得到N2—N4尺寸相同的特征映射图，并将其分别与N2—N4相加，再经过3×3卷积操作得到M2—M4。

2.3 基于遗传算法的SVM

针对树障目标检测置信度低和推理速度慢的问题，本文引入一种基于遗传算法的SVM方法对检测框特征进行进一步分类。SVM是一种用于分类的监督算法，具有良好的泛化能力，在线性可分的情况下，对训练小样本有相对的优势［18］。除此之外，相比于一个完整的分类神经网络可以减少运算量，加快系统的运行效率，对于是否存在树障这种不太复杂的二分类问题，是比较合适的选择。当树障遮盖住输电线路时，灰色的输电线路上的像素值会发生改变，因此可以利用SVM判定该帧图像中是否存在树障。

SVM分类效果的好坏与惩罚因子δ和核函数参数c相关。当惩罚因子越大，分类越粗，容易出现欠拟合，反之会出现过拟合。根据铰链最小损失原则，计算δ和c的最优解［19］，当忽略两个参数的范围时，求得的仅为局部的最优解。如若想要达到更好的分类效果，需要求解这两个参数的全局最优解。

本文参照遗传算法的编码、选择和交叉变异的算法流程对SVM的参数调优进行改进，使得惩罚因子δ和核函数参数c能够达到全局最优。具体调参步骤如下。

1）初始化：对SVM的参数δ和c进行初始化，对其进行20位的二进制编码，得到初始种群。

2）筛选父类：将参数δ和c进行解码并将其代入SVM的适应函数中，多次训练后得到适应值，通过适应值保留概率大于0.5的个体当做父类。

3）创造子类：对步骤2中父类个体的参数δ和c进行两点交叉［20］，根据交叉概率创造新的子类个体；对步骤2中父类个体的参数δ和c进行变异操作，根据变异概率创造新的子类个体。

4）计算最优值：设定适应度阈值和迭代次数，若达到适应度阈值或者迭代次数，停止计算，返回参数δ和c的最优值；否则，返回步骤2。

3 实验与分析

3.1 数据采集和增强

本实验区域为浙江省杭州市钱塘区某村落，当地植被茂密，树障情况复杂，且海拔较低，利于无人机进行拍摄实验。采用大疆御MAVIC 2行业版无人机进行拍摄，拍摄输电线路长度约2 km，作业高度高于输电线路高度5 m以上，以避免无人机作业时高度过低形成阴影而影响实验结果。

本实验一共采集了400张输电线路图像，由于数据样本数量较少会影响树障检测结果的精度，容易导致欠拟合。为此，对采集的图像进行数据增强，通过数据增强库对原始数据进行平移、旋转、镜像、亮度增强以及增加高斯噪声等一系列操作，最终得到2 000张图像。

训练模型前用Labelme标注工具对数据增强后的2 000张图像打标，将数据集分成有树障样本与无树障样本，其打标样本如图5所示。

图5 打标样本图像Fig.5 Images of the marking samples

随后将标注好的数据集按照3∶1的比例进行划分得到训练样本1 500张，测试样本500张，具体数值如表1所示。

表1 树障的训练集与测试集样本统计Table 1 Sample statistics of training set and test set of tree barrier

每次巡检检测到树障后，将树障图像保存下来，并在树障图像打上标签用于之后的神经网络训练，训练出新的模型用于下次无人机巡检树障分析。通过模型的不断扩大与完善，模型的泛化性大大提高，提升了无人机巡线时树障检测的精准度。

3.2 输电线路提取

无人机巡线时俯拍的图像背景较为复杂，输电线路特征不明显，因此需要对图像进行预处理，提取图像的ROI，并进行高斯滤波和灰度化处理，对图像的噪声进行抑制。图像中的输电线路近似为竖直方向上的灰色直线，其宽度方向上的像素较少。通过边缘检测、二值化处理以及形态学处理实现输电线路的边缘检测，同时利用Hough变化算法实现输电线路的提取，其结果如图6（a）所示。最后依靠滑动窗口技术分割出含有输电线路的区域图像，缩小候选区域的范围，其结果如图6（b）所示。

图6 输电线路提取图像Fig.6 Extracted images of transmission lines

3.3 实验配置

本实验的硬件配置：GPU为NVIDIA Ge Force GTX 1070 Ti，CPU为AMD Ryzen 7 1700 16核，16 GB内存，8 GB显存。深度学习的平台是Pytorch1.4，编译环境是Linux Ubuntu 16.04，GPU运算平台是CUDA10.1，使用的Python版本为3.6。

3.4 SVM参数调优

本实验的SVM模型训练参数如表2所示。

表2 SVM模型基本参数Table 2 Basic parameters of SVM model

根据帧数合集将每一份图像序列进行剪裁分割，随后对其输入特征网络进行特征提取，将其输出送入SVM进行分类训练。其输出SVM的适应度曲线如图7所示，可以看出，随着训练次数不断增加，SVM的适应度值增大；当训练次数达到89次时，曲线趋于平稳；当训练次数为100时，对应的适应度值为98.2%。模型停止训练后，输出的全局最优惩罚因子δ为5.4，核函数参数c为240.2。

图7 SVM的适应度曲线Fig.7 Adaptation curve of SVM

3.5 结果分析

3.5.1 改进FPN性能测评

为了验证ResNet 50联合改进FPN构成的特征提取网络的效果，采用热力图［17］对训练模型进行分析，直观地获取神经网络对图像不同部分的关注度。采用类激活热力图来显示输入图像中的某些区域对树障检测判别的重要性，该图像需要对卷积网络中的特征图加权求和，得到该卷积层的热力图；随后求解该卷积层的梯度值并进行降维操作，计算得到该卷积层中的每个通道权重［21］，再乘以该层特征图最终得到含有热力区域映射的图像。类激活热力图中每个区域的重要程度与颜色的亮度有关，颜色越高亮越重要。改进前后的特征提取网络模型的热力图如图8、图9所示。

图8 无树障图像改进前后的类激活热力图Fig.8 Heat map of class activation before and after improvement of the barrier-free image

图9 有树障图像改进前后的类激活热力图Fig.9 Heat map of class activation before and after improvement of the image with tree barriers

图8、图9中的类激活热力图越高亮的位置，表明网络判断树障存在的可能性越大。图8（b）中没有树障的图像使用改进前的特征提取网络得到的类激活热力图中有3个区域出现高亮，而实际上该区域并无树障，判断失误；使用改进后的特征提取网络得到图8（c）类激活热力图并无高亮，则表明该图像中无树障，判读正确。图9（a）中有2处树障的图像使用改进前的特征提取网络得到图9（b）类激活热力图中有4个区域出现高亮，且实际有树障的区域高亮范围过大；使用改进后的特征提取网络得到图9（c）类激活热力图正确显示2处树障区域，且范围较为精准。由此可得，ResNet 50联合改进FPN构成的特征提取网络特征提取的准确率得到提升。

在ResNet 50联合FPN提取特征后，将其输送到SVM进行分类预测，得到检测结果如图10所示。

图10 不同算法树障检测结果Fig.10 Tree barrier detection results obtained from different algorithms

由图10可得，黄色框为本文提出的算法ResNet50+改进的FPN+SVM的预测框，与真实的红色框的重叠度最高，预测得分为0.96；蓝色框为ResNet50+FPN+SVM组合的检测结果，预测得分为0.93；紫色框为Mask R-CNN检测结果，预测得分为0.79；黑色框为Mask R-CNN+SVM组合的检测结果，预测得分为0.88。再次证明改进后的FPN能够提升树障检测的精度。

3.5.2 检测性能对比

深度学习在目标检测过程中，常采用精确率和召回率评价模型的好坏，结合二者绘制一个关系曲线（P-R曲线），该曲线与横纵坐标围成的面积即为准确率。

由图11可得，本文提出的树障检测算法精确率达到0.934，相较于算法未改进的组合提高了3.2个百分点，相较于Mask R-CNN算法提高了7.2个百分点；对比Mask R-CNN算法与其结合了基于遗传算法的SVM算法，则说明改进后的SVM在一定程度上提升了算法的准确率。

图11 树障检测的P-R曲线Fig.11 P-R curve of tree barrier detection

同时，为了更好地展示样本测试的结果，本实验选择3个重要的性能指标，分别是准确率P、漏检率O和误检率F，其表达公式如下：

式中：NA表示为无树障的输电线路图像数量；NB表示为有树障的输电线路图像数量；NC表示实际漏检的图像数量；ND表示实际误检的图像数量。在实验中其他3种算法选择与本算法采用相同的ResNet 50作为主干网络，利用训练好的模型进行样本测试，其结果如表3所示。

表3 不同算法检测结果Table 3 Detection results of different algorithms

本文针对检测树障隐患问题，在ResNet 50联合FPN构成的特征提取网络原有结构上增加了一条自下而上的路径，包含了低层准确的定位信息和高层特征信息，使得整体检测精度有所提升。由表3可得，有树障样本输入本文提出的算法模型，与未改进的算法组合模型，在检测速度变化不大的情况下，将树障检测的准确率从89.9%提升到93.5%，在原始准确率较高的情况下提高了3.6个百分点，同时漏检率和误检率也较之前有所下降。同时，本文提出的算法模型检测在无树障样本时，每秒可以处理12张图片，相较于一段式Mask R-CNN算法的处理速度，提升了1倍。无树障样本图像大多输电线路较为突出，相较于有树障样本的检测具有更高的准确率和更快的检测速度。因此，本文提出改进的FPN提高了树障检测的精度，同时采用轻量级的Resnet50网络和SVM占用内存小，计算速度明显提升。

4 结语

目前无人机搭载激光雷达进行树障检测成本较高，且计算量较大。本文提出了一种基于改进的FPN与SVM的树障检测算法。该算法将ResNet50模型结合改进的FPN算法作为特征提取网络，降低了模型占用的计算机内存，提高了特征提取的精度；随后将特征向量输入基于遗传算法的SVM，保证了树障检测的运算速度和精度，在一定程度上降低了树障检测的误检率和漏检率。