基于Faster R-CNN的铁路接触网鸟巢检测

2020-05-20王纪武罗海保鱼鹏飞刘亚凡

铁道机车车辆 2020年2期

王纪武，罗海保，鱼鹏飞，刘亚凡

(北京交通大学机械与电子控制工程学院，北京 100044)

近年来，随着我国高速铁路线路的不断扩展，铁路接触网上由鸟害引起的事故也更加频繁[1-2]。鸟类经常在接触网上筑巢，因排便造成绝缘子闪络；一些体积较大的鸟类在输电线路间穿行飞越，造成输电线接地或者相间短路等故障对铁路系统的正常运行造成了严重困扰。因此，为了保证铁路系统的正常运行，需要及时发现已有的鸟巢并将其清除，而目前主要还是依靠人工巡检的方式进行作业，这种方式不但浪费人力财力，最主要的是不能及时排除潜在的安全隐患。因此需要实现铁路接触网的智能化巡检。然而对于鸟巢这种边缘不规则、体积较小和颜色特征不稳定的异物，利用传统图像检测技术很难实现目标的准确检测。近几年，有研究者也对铁路接触网上鸟巢的检测有了初步研究。段旺旺等人[3]提出采用局部动态阈值二值化和张细化算法等传统图像处理方法粗略得到疑似鸟巢的关键区域，然后提取HOG特征，再通过SVM分类器进行精确提取，自动甄别出鸟巢区域。然而，传统图像检测技术对于光照、遮挡等自然环境变化的场景性能很不稳定，很容易出现误检和漏检的情况发生。

针对传统图像检测技术在鸟巢这种小目标检测上的缺陷，文中提出一种基于Faster R-CNN[4]算法的铁路接触网鸟巢检测方法，通过优化目标特征提取网络、RPN建议区域提取网络以及目标子检测网络整个环节，实现了铁路接触网上鸟巢的快速准确检测。该方法为铁路接触上鸟巢的自动准确检测提供了可靠的依据。

1 鸟巢特征提取

目标特征的准确提取是图像目标检测的关键步骤。当图像中待检测目标特征明显异于其他图像背景时，利用传统的手工特征，如几何特征和颜色特征等就可以获得不错的检测效果。但是当图像中鸟巢与复杂的背景内容叠加在一起或受到拍照距离、光照和遮挡等复杂因素的影响时，使得鸟巢自身的潜在特征具有不稳定性，这些干扰因素使得仅依靠传统的手工特征提取技术很难准确实现接触网上鸟巢的检测需求。而卷积神经网络具有很强的抗环境干扰能力，善于挖掘图像目标数据的局部特征，并可以利用自身特有的局部连接和权重共享方法大幅减少要学习的参数数目，能有效提高网络的训练和检测速度。通过改进VGG16[5]网络来完成对接触网上鸟巢的特征提取。相比AlexNet[6]，GoogLeNet[7]等特征提取网络，VGG16网络结构非常简单。然而由于网络较深，采用常规的归一化处理不易收敛。因此提出利用目前收敛效果最优的批归一化层[8](Batch Normalization，BN)对每一层卷积结果进行处理。

Batch Normalizaion网络层的计算过程如下所示：

首先计算一个batch的均值和方差如式(1)。

(1)

之后对输入数据进行均值为0，标准差为1的归一化处理如式(2)。

(2)

式中，ε是极小的数，为了避免分母为0。

最后对数据进行变换重构如式(3)。

(3)

式中，γ和β是需要网络学习的参数。

采用改进后的VGG16网络对铁路接触网上的鸟巢特征进行特征可视化操作。为方便起见，如图1所示，这里仅选取Conv1卷积层和Conv5卷积层某一维放大特征图进行显示。

图1 VGG16模型特征图

如图1(a)所示，Conv1卷积层主要负责提取图像目标的低层特征，如接触网和鸟巢的边缘信息等。随着网络层数的加深，可以提取到有关图像目标的更高层特征，如鸟巢的纹理特征等。当进行到Conv5卷积层时，如图1(b)所示，网络已经学习到了具有显著区分性的鸟巢完整特征(白色像素点即为图中鸟巢位置)。

2 目标检测网络结构设计

2.1 目标检测网络的整体结构

由于铁路接触网上的鸟巢检测属于小目标检测问题，为了实现快速准确的检测效果，文中在Faster R-CNN算法的基础上提出一种改进算法，其网络整体结构如图2所示。

文中算法与Faster R-CNN算法的主要区别如下：

(1)首先对提取目标初始建议区域的RPN网络进行了改进。根据待检测目标自身的几何特征和在整张图像中的占比，采用3×3的滑动窗口分别在卷积特征层Conv3、Conv4和Conv5上基于3种比例(1∶1,1∶2,2∶1)产生3种候选框。不仅可以提取到更高质量的初始建议区域，同时加快了网络的训练和检测速度。

(2)由于Faster R-CNN在最后一层卷积特征图上进行初始建议区域的特征映射，然而，该层卷积特征图分辨率相对较低，从而导致原始图像中小目标信息的丢失。先采用改进后的VGG16网络实现目标的特征提取，然后选择合适深度且分辨率较高的Conv4卷积特征图作为建议窗口的特征映射层，并增加一个反卷积操作进一步对该层特征图的分辨率进行提升。接着进行候选建议区域的ROI Pooling操作。

同时为了减少网络训练参数，加快网络检测速度，检测子网络采用平均池化方式替代全连接方式实现目标的类别判断和边界框回归。

图2 目标检测网络整体框架

2.2 优化的RPN网络

优化的RPN结构如图3所示，为了更准确的提取目标的建议区域，尤其是小目标物体，文中参考RPN网络的anchor原理，采用3×3的滑动窗口分别在卷积特征图Conv3、Conv4和Conv5上基于3种比例(1∶1,1∶2,2∶1)产生3种候选框，将每个候选框在输入图像中对应的映射区域作为初始建议区域。其中对于Conv3而言，该层卷积特征图分辨率相对较高，图像原始信息保留比较完整，相比之后的卷积层对小目标的响应更强，主要用于对输入图像中的小目标提取建议区域，为了兼顾检测速度的要求，该卷积特征图上设置滑动窗口的步长为2；对于Conv4，主要针对一般大小的目标物体，设置该层对应的滑动窗口的步长为1。而对于Conv5，则用于超大目标的检测，滑动窗口步长也设置为1。最终试验结果表明，采用优化后RPN网络对于铁路接触上鸟巢的检测有更高的召回率。

图3 优化的RPN结构

2.3 网络损失函数与训练细节

为了训练优化后的RPN网络，需要对每个初始建议区域进行样本标注。当某个初始建议区域与某个真实目标框有最大交并比(Intersection-over-Union，IoU)，或者与任意一个真实目标框的IoU>0.6时，将该初始建议区域标定为正样本；当初始建议区域与所有真实标注框的IoU均小于0.3时，将该初始建议区域标定为负样本；未被标记的初始建议区域在训练过程中不会对最终检测结果造成影响。优化的RPN网络总损失函数参考Faster R-CNN文中的计算方法。由于初始建议窗口的选取来自不同卷积层，其计算方法相比RPN略有差异，具体计算方法如式(4)所示。

(4)

式中，N表示参与初始建议区域的卷积层数目，N=3；wn表示对应每一个卷积层的样本权重；Sn为对应每一个卷积层提取的样本集合。

则对应整个检测网络的损失函数如式(5)所示。

(5)

整个目标检测网络利用反向传播和随机梯度下降法进行端到端的训练。

对于一张分辨率为1 000×600的输入图像，采用优化的RPN方法进行建议区域提取后，得到大约16 000个初始建议区域。将超出输入图像边界的建议区域过滤后剩下大约12 000个。然而，这些建议区域之间会存在大量的重叠，会严重影响训练和测试速度。因此，基于初始建议区域的得分高低，采用非极大值抑制(Non-Maximum Suppression,NMS)的方法对其数量进行精选。在进行非极大值抑制时，设置IoU的阈值为0.6，从而每张图像大约只剩下1 500个建议区域。随后，从剩余的1 500个建议区域中挑选出得分最高的150个作为最终的建议区域，并将其进行ROI pooling后送入目标检测子网络中。

3 试验设计与结果分析

3.1 构建鸟巢训练集和测试集

以实际高速铁路行进中拍摄的含有鸟巢的图像为试验数据样本库，进行文中算法的试验验证。为了丰富图像训练集，提高模型的泛化能力。使用图像增强技术(图像翻转、旋转、增加对比度和高斯噪声等)对图像样本库进行扩充。该样本库中不仅包含简单背景下的图像，还包括目标受光照、遮挡、雾霾等严重干扰的图像。然后，将图像样本的尺寸统一缩放至1 000×600，并对图像中接触网上鸟巢的位置和标签进行标注，使其符合Pascal VOC的标准数据集格式。最后将样本库中的图像按照3∶1的比例分为两组，训练集为6 000张；测试集为2 000张。

3.2 鸟巢测试集上的试验结果及分析

在构建的鸟巢测试集上，针对优化后RPN建议区域方法与Faster R-CNN中RPN建议区域方法进行测试对比，将不同IoU阈值下对鸟巢的召回率作为评估准则。由图4可知，当阈值被设为0.5时，文中方法和RPN方法都具有很高的召回率；当被设定阈值超过0.7 时，优化后RPN网络依然有较理想的召回率，而RPN对应的召回率发生骤减。从而表明优化后RPN方法相比RPN方法可以提取到更加精确的建议窗口，其主要原因有两方面：一是RPN网络中待检测的物体尺寸变化范围较大，导致产生大量无用的建议框；二是RPN网络只在最后一层卷积特征图上提取建议区域，由于该层对应特征图的分辨率较低，对小目标的检测能力有限。而文中针对目标自身尺度的分布在不同卷积特征图上设计了不同比例的滑动窗口，因此提取的建议区域精度更高。

图4 不同IoU阈值下召回率的对比

表1 测试集上的鸟巢检测结果对比

表1比较了文中算法与Faster R-CNN算法在相同鸟巢数据集上的表现。相比于Faster R-CNN，算法在鸟巢检测上的检测精度有10.2%的提升，误检概率降低了一半左右，验证了文中算法在鸟巢这样的小目标检测上的显著优势。同时，文中方法在检测速度上，也明显快于Faster R-CNN算法。图5展示了文中方法在部分测试集上的鸟巢检测结果。

图5 部分鸟巢样本检测结果

表2 网络模型分解实验结果对比

为了进一步验证文中方法的检测性能，在接触网鸟巢数据集上进行网络模型分解试验，具体分析了文中提出的多种网络优化方法对检测结果的影响。从表2的网络模型分解试验结果可以看出，若不使用文中优化的RPN来提取初始建议区域，鸟巢检测精度将下降3.2%；使用改进的VGG16网络能够将鸟巢检测精度提升5.1%；最后使用反卷积操作可以将鸟巢检测精度提升1.9%。