一种直升机避障电力线检测方法*

朱佩佩

(中国西南电子技术研究所,成都 610036)

0 引 言

近年来，随着技术的发展，直升机、无人机在各行各业发挥着不可替代的作用[1]。电力线作为一种特殊的直线目标，是无人机、直升机等飞行器重点关注的障碍物目标，也是电网巡检过程中的主要目标[2-3]。为了应对实际飞行过程中的复杂恶劣环境和状况，保障执行任务的无人机、直升机的安全，需要对电力线目标进行准确检测与识别，该类目标的检测识别是机器视觉领域的经典问题之一[4-7]。总的来说，现有电力线检测识别算法可以分为传统方法[8-12]和人工智能算法[13-14]两大类。

现有的基于深度学习的电力线检测识别算法采用常规目标检测识别算法，利用正矩形框的坐标对其位置进行描述。然而，电力线是一类形状细长、特征稀疏、随着视角的变化容易混在大量背景信息中的特殊障碍物，常规电力线检测识别算法得到的目标框对电力线所在位置的估计不够准确，而电力线位置估计的准确程度直接影响飞机成功避开障碍物的概率。因此，本文通过估计电力线相对角度，提炼电力线位置范围来提高电力线的位置准确度。

电力线的绝对角度估计是一类回归问题。角度的回归需要结合角度标签并设计相应的分支对其进行估计，计算量大，实时性不高，且电力线目标长宽比较大，其绝对角度的估计准确度不高。通过观察电力线目标特征，将其连续的绝对角度转化为不连续的相对角度，即可将绝对角度的回归问题转化为相对角度的分类问题。分类结果中的类别信息包含了电力线相对角度信息，无需重新设计网络分类分支。将该角度信息提取出来调整水平矩形框，可以将电力线的大致走向表示出来，提高了电力线位置估计的准确性。

1 电力线检测识别方法

为了提高电力线目标的检测识别率，且对该类细长目标的位置信息进行提炼，采用实时目标检测与识别网络YOLO[15]对其进行检测。

1.1 电力线目标特征分析

电力线是一类常见的线性目标，线性目标自身的长宽比较大，且因路面高低差、拍摄视角的差异等因素而在光学图像中存在不同的角度信息。对电力线进行检测与识别时，需制作标签用矩形框将电力线目标框出来。观察人工标注的目标矩形框真值(Ground Truth,GT)发现，矩形框囊括电力线头尾时，因电力线自身直径较小且长度方向尺寸较长，会带入大量背景信息，导致飞行器遇到电力线目标时警示区域过大。若直接对电力线进行带角度的倾斜框标注，图像进行缩放后角度信息需重新变化计算，且算法实时性不高。

因电力线本身是近乎直线的线状目标，矩形标注框中的目标角度特征可以分为四种情况，即以矩形框左上角和右下角为电力线头尾，以矩形框右上角和左下角为电力线头尾，电力线呈90°绝对角度，电力线呈0°绝对角度。对图像进行尺寸变换，使电力线目标框调整为正方形，则上述四种情况下的电力线角度分别为135°、45°、90°、0°。将这四种角度称为相对电力线角度，用来表示电力线在标注矩形框中相对位置，如图1所示。因此，为了减少算法复杂度，减少不必要的计算，将电力线的绝对角度预测转化为电力线的相对角度预测，即将一类电力线检测识别转化为四类电力线检测识别。类别信息中包含了电力线相对角度信息，进一步将该角度信息提取出来调整水平矩形框，使其可以表示电力线的走向。

图1 电力线绝对角度和相对角度的对比

1.2 实时目标检测与识别网络

利用飞行器光电传感器获得的图像指导其躲避障碍物时，需要对图像中的障碍物进行实时检测与识别。实时目标检测与识别网络中，YOLO网络系列是一类端到端、可以较好平衡速度和精度的实时目标检测识别模型。本文采用YOLO系列中较新的YOLOv4[15]作为电力线目标检测识别网络。YOLOv4系列中主要包含YOLOv4和YOLOv4_tiny两类模型，因目标类型及数量不多，本文采用YOLOv4_tiny作为障碍物检测识别网络。YOLOv4_tiny网络结构如图2所示[15]，主要包含主干网络、检测头等部分。

图2 YOLOv4_tiny结构示意图

不同于YOLOv3_tiny，YOLOv4_tiny训练时采用的IOU损失函数为CIoU损失，定义如下：

(1)

(2)

(3)

式中：v是真值框和预测框长宽比的相似性，c是两个矩形框最远角点的距离，α是权重参数，IOU表示预测框b和真值框bGT之间的交并比。CIoU损失综合考虑了检测框预测值和真值之间的重叠面积以及中心点距离和长宽比，可改善复杂检测场景中目标框预测值的准确度。网络训练时，将误差函数计算得到的误差反向传播至各个节点，对可调参数进行调节，利用训练完成的模型实现对电力线目标框坐标及电力线相对角度的估计。

1.3 目标框提炼

将包含在类别信息中的相对角度和目标框坐标结合起来，可达到提炼目标所在区域范围的效果。网络输出的目标框坐标为不含角度的正矩形框。假设原始目标框的中心点坐标为x、y，高为h，宽为w，当模型输出目标框的类别后，可以根据类别获得电力线相对角度，按照以下规则计算电力线提炼框四个点的坐标。

(1)电力线相对角度为135°

提炼出来的电力线目标框坐标为

(4)

(5)

(6)

(7)

(2)电力线相对角度为90°

提炼出来的电力线目标框坐标保持原坐标不变，即

(8)

(9)

(10)

(11)

(3)电力线相对角度为45°

提炼出来的电力线目标框坐标为

(12)

(13)

(14)

(15)

(4)电力线相对角度为0°

提炼出来的电力线目标框坐标保持原坐标：

(16)

(17)

(18)

(19)

当提炼后的电力线目标框超出图像边界时，则丢弃提炼框的超出部分，始终保持提炼框在图像范围内。

图3给出了电力线目标框提炼示意图。

图3 电力线目标框提炼示意图

2 实验结果

被检目标的精确率P和召回率R分别为

(20)

(21)

式中：TP为模型正确检测出来的目标个数，FP为模型误检的目标个数，FN为模型漏检的目标个数。

以精确率P和召回率R为横纵坐标，绘制出PR曲线p(r)，计算PR曲线下的面积，可以得到平均精确率

(22)

多个类别的AP的均值即为mAP(mean Average Precision)：

(23)

将包含电力线电力塔的图像整理制作成数据集，并将其划分为训练集和验证集。其中，训练集有796个图像样本，验证集89张。利用Mosaic数据增强扩充训练集，扩充后的数据集用于网络训练。模型训练在具有两块P40(12T)GPU的服务器上进行，训练网络大小为512×384，共训练30 000次，批量大小(batch size)设为64，初始学习率为0.001。网络训练过程中，记录的模型误差和mAP变化如图4所示。

图4 训练误差变化及mAP

经过多次训练，模型可以达到的最佳mAP(@0.50)为62.50%。其中，单个类别的AP分别为

AP(power_line_0) =38.04%，AP(power_line_45) =54.90%，AP(66.67%) =66.67%，AP(57.22%) =57.22%，AP(power_tower)=95.68%。

模型检测结果如图5所示。电力线目标根据角度信息又分为了四类，根据矩形框提炼方法将这四类目标的矩形框调整为范围更小的旋转框，提炼框效果如图6所示。对比图5和图6可以看出，相比于原始正矩形框(虚线框)，提炼后的目标框(实线框)可以明显减少背景区域，更加准确地表示电力线所在位置，且YOLOv4-tiny算法的实时性高，可实现电力线的实时检测。

图5 初始电力线检测识别结果

将本文中利用深度学习和目标框提炼的电力线检测结果(见图6)和传统Hough变换算法得到的电力线检测结果(见图7)进行对比。基于Hough变换的电力线检测方法首先通过Sobel算子对原图中进行边缘检测，然后通过Hough变换对边缘检测结果进行直线检测，最后将直线检测结果作为电力线检测结果。从图6和图7的检测结果可以看出，本文采用的人工智能的方法能够准确地检测到更多的电力线，且本文的相对角度分类方法对电力线所在范围进行了进一步确定，对背景区域进行了抑制；而传统方法难以区分背景直线和电力线直线，且直线检测不完整、不连续。因此，相比于传统方法，本文方法在电力线检测中效果更好。

图7 基于Hough变换的电力线检测结果

3 结束语

本文针对形状细长、特征稀疏的电力线目标检测与识别的位置精度不够的问题，提出估计电力线相对角度、提炼电力线位置范围来提高电力线的位置准确度，进而提高飞机避开障碍物的成功率。首先通过分析电力线特征将其绝对角度的回归转化为相对角度的分类问题，进而采用实时目标检测与识别模型YOLOv4_tiny对电力线的位置及角度进行估计，估计完成后通过提出的矩形框提炼方法对电力线的准确位置进行描述。通过实验结果可看出，该检测估计方案可以实时对电力线进行检测，且明显缩小了电力线目标框的背景区域，提高了电力线的位置估计准确度。

如何结合相对角度估计和高性能模型来提高电力线识别召回率是下一步需要重点研究的内容。