基于FCN不确定性特征的铁路入侵异物检测算法

胡行涛 刘大明 虞发桐

(上海电力大学计算机科学与技术学院 上海 201300)

0 引 言

随着高铁建设的新发展,中国铁路正逐步上升为国家的标志和形象。做好路轨安全管理是中国铁路发展的基础工作,为此铁路安全研究也成为社会热点。异物侵限是指落石、行人、牲畜等铁路异物,因外力作用或误入铁路限界,对铁路轨道或运行列车造成安全隐患的行为。传统的铁路入侵异物检测算法[1-4]存在实时性差、检测精确率低等缺点,因此基于卷积神经网络的铁路轨道入侵异物检测成为当下人工智能领域研究的重点问题,在国内外很多学者不断改进创新中已经获得了较好的研究成果[5-7],由于卷积神经网络的局限性,入侵异物的检测精确率仍然很低。

针对此问题,本文提出一种基于FCN不确定性特征的铁路轨道入侵异物检测,由于不确定性是任何检测系统的一个自然属性,因此在网络模型中引入FCN不确定性特征至关重要,合理的概论解释可以为物体预测提供关系置信度,并使检测系统更加稳健[8]。因此FCN不确定性特征的引入提高了检测系统的稳定性和准确性。因此本文在具体的卷积层中引入一个修改后的Dropout(R-Dropout)来构造不确定性卷积特征。而为了减少卷积过程中引起的图像伪影现象,本文提出一种新的混合下采样方法,可以有效解决伪影现象。本文的突出优点有:

(1) 与现有的检测方法不同,本文的网络模型十分简单。它由一个编码器FCN、一个解码器FCN、一个像素级的分类器组成。编码器FCN从原始图像中分层学习视觉特征,而解码器FCN逐步将编码特征通过上采样映射到像素级分类的图像大小。

(2) 网络模型中引入了不确定性卷积特征来实现更准确的入侵异物检测。主要是通过在特定的卷积层中引入一个修改后的Dropout(R-Dropout)来构造不确定性卷积特征,不需要额外的参数就可以构建不确定性卷积特征。

(3) 提出一种新的上采样算法来减少卷积过程中产生的图像伪影现象。新的上采样方法有两个明显的优势:它可以从提取卷积特征中分离出上采样操作从而生成更高分辨率的特征映射;它与常规反卷积兼容。

(4) 不确定卷积特征的构建和入侵异物检测在编码器和解码器网络架构中统一,所提出的网络模型每个层的权重和偏差参数通过端到端的梯度学习来联合训练。

经过实验表明,本文提出的基于FCN不确定性特征的铁路轨道入侵异物检测能够获得更精确的物体检测效果,提高了铁路轨道入侵异物检测的鲁棒性。

1 基于FCN不确定性特征的网络模型

1.1 网络模型结构

本文根据堆叠去噪自动编码器的模型特征[9],把自动编码的网络模型结构运用到本文算法的网络模型中,生成了一种全卷积编码器-解码器网络模型。形成了一种新的混合FCN模型,由用于提取高级特征的全卷积编码器网络、用于重构低级信息的全卷积解码器网络,以及用于检测物体的像素分类器构成,整体网络模型如图1所示。可以看出,FCN编码器网络由多个批标准化(BN)的卷积层、修正线性单元(ReLU)和不重叠的池化层组成。同时在FCN解码器网络中为了实现从低分辨率到高分辨率的特性映射,引入优化后有利于减少伪影的混合上采样操作。在该网络模型中引入Softmax分类器来实现像素级的物体检测,同时使用R-Dropout来构造不确定性特征。

图1 网络模型

1.2 构造不确定性特征

Dropout[10]的引入是为了防止FCN过程拟合从而来提高网络检测效率,主要通过在网络训练过程中,按照一定的概率把神经网络单元暂时从网络中丢弃。大部分研究都是在全连接层中引入Dropout,但是缺乏对其他层(如卷积层)使用Dropout的研究。本文在卷积层之后使用修改后的Dropout(R-Dropout)来构造不确定性卷积特征。

假设3D张量X∈RW×H×C,f(X)是FCN的卷积算子,通过参数W和b将X投影到RW′×H′空间:

f(X)=WX+b

(1)

g(f)=g(WX+b)

(2)

(3)

g((M⊗W)X+M⊙b)=g(SX+M⊙b)

(4)

由于本文的网络模型是由交替的卷积层和池化层组成,因此本文的模型中存在两个典型的结构。为了更简单地描述结构,接下来的描述中暂时不讨论批标准化(BN)。

(1) Conv+R-Dropout+Conv:如果在引入的R-Dropout后面添加一个卷积层,则输入的正向传播表示为:

(5)

(6)

gl+1=g(fl+1)

(7)

(2) Conv+R-Dropout+Pooling:如果在引入的R-Dropout后面添加一个池化层,则输入的正向传播表示为:

(8)

(9)

(10)

(11)

式中:P0表示所有在池化层的激活函数均被丢弃。

第二种结构Conv+R-Dropout+Pooling通过在卷积层中引入R-Dropout来展现出构建不确定性的有效性,因此本文采用第二种结构来构建网络模型。

1.3 混合上采样

本节首先通过反卷积算法[11]解释了产生伪影的原因,并且提出一种新的上采样算法,尽可能地减少网络训练和卷积过程中伪影现象。

假设一个n×n的输入图像块,卷积核矩阵大小为k×k,采样尺度矩阵为s×s,零填充矩阵大小为p×p。由于本文的目标主要是实现上采样操作,因此采样尺度s≥2,则卷积运算符C可以描述为:

O=C(I,F)=I*F

(12)

基于上述问题,本文提出两种避免反卷积时产生伪影的解决方法。第一种是限制过滤器的大小k,需要确保滤波器大小k是采样尺度s的倍数,从而避免像素值重叠问题。即:

k=λsλ∈N+

(13)

而对于插入零元素后的图像输入问题,反卷积采用等价卷积来处理,从而得到平滑的输出。然而这种方法只关注于改变输出图像像素的接受域,而不能改变插入零元素后输入图像的频率分布,因此在多种极端情况下,此种上采样解决方法还是会使卷积后的输出图像存在伪影现象。因此本文提出另一种解决方法,通过从等价卷积中分离出上采样操作。首先,通过插值将输入图像调整为所需的大小,然后执行一些等价卷积操作。虽然这种方法可能会影响FCN的网络特征,但是经过实验发现通过迭代堆叠上采样产生的高分辨率图像可以有效地减少伪影现象。为了充分利用这两种上采样方法的优势,本文结合这两种上采样方法,引入混合上采样方法来有效地减少卷积后存在的伪影现象。图2中说明了这种混合上采样方法。在这种混合上采样方法中,使用双线性(或最近邻域)插值算法,由于这种插值方法是线性运算,可以作为有效的矩阵,通过乘法嵌入到FCN模型中去。

图2 混合上采样

1.4 网络训练

由于缺乏足够的目标检测数据来从头开始训练网络模型,因此本文利用VGG-16模型[12]的前端作为编码器FCN模型(13个卷积层和5个池化层预先在ILSVRC 2014进行训练用于图像分类)。解码FCN网络与编码器网络相关联,包含卷积层、上采样操作和分类器。批标准化(BN)被包含到每个卷积层的输出中去,同时在特定的卷积层之后添加(p=0.5)R-Dropout。对于物体检测,本文随机地初始化解码器FCN的权重并且微调MSRA10K数据集上的整个网络,该数据集在物体检测上被广泛使用。将数据集中每幅图像的ground-truth图转换成0-1的二值图。根据下面的Softmax的交叉熵损失函数从背景(铁路轨道)中分离出前景物体:

(14)

式中:lm(lm=0,1)是图像中像素m的标签;qm是像素m是前景物体(输电线路缺陷)的概率,qm的值是从网络的输出中得到的。在将训练的图像输入到网络模型中之前,先将每幅图像减去训练数据集的平均值并重新缩放到相同的尺寸(448×448),对于数据集中0-1二值图像调整至相同的大小。本文模型的训练通过小批量随机梯度下降(SGD)实现网络训练。

1.5 前景目标物体的提取

因为本文的网络模型是完全卷积神经网络,所以在测试时可以将任意大小的图像作为输入。因此网络的输出是由区分出来的前景目标物体(入侵异物)和背景物体(铁路轨道)组成,通过前景物体和背景物体之间的差异,并剪切负值来提取最终的前景目标物(入侵异物)。

Sal=max(Mfe-Mbe,0)

(15)

式中:Mfe为前景目标物体(入侵异物);Mbe为背景物体(铁路轨道)还捕获了上下文的对比度信息,提高了前景物体检测的性能。

2 实验结果与分析

本文使用改进的Caffe框架实现了基于MATLAB R2014b平台的方法。在配备i7-4790 CPU(16 GB内存)和一个NVIDIA Titan X GPU(12 GB内存)的四核PC机上运行本文算法。本文的网络模型训练过程需要近23 h,并在最小批量SGD的20万次迭代后收敛。

2.1 实验结果

数据集来自铁路轨道监控视频。总共截取了4 000多幅不同分辨率的图像,其中:2 500幅图像作为训练集;1 500多幅图像作为测试集。在训练集中总共标注了3种不同的样本,分为A、B、C类。A是已经进入铁路轨道区域的动物;B是已经进入铁路轨道区域的行人;C是已经进入铁路轨道区域的障碍物。

图3为本文算法实现效果图,可以将铁路轨道中的入侵异物有效地检测提取出来。

2.2 算法对比与分析

本文使用三种广泛使用的指标来衡量所有算法的性能:PR曲线、F-measure和平均绝对误差(MAE)。

RP(Precision-Recall)曲线主要是描述Recall(查全率)和Precision(查准率)之间关系的曲线。

(16)

式中:β为参数,取值范围为0到1。

准确率和召回率目前已经被广泛地使用在分类领域作为有效的度量值来评价结果的质量。其中,准确率衡量的是检索系统的查准率;召回率衡量的是检索系统的查全率。

(17)

式中:W和H为框的宽和高;S(x,y)为(x,y)处的像素值。

为了评价检测出来的物体与Ground truth之间的误差,使用平均绝对误差来衡量。

(18)

式中:G(x,y)为S(x,y)周围背景的像素平均值。

为了衡量本文算法的性能,本文采用6个广泛使用的数据集DUT-OMRON[13]、ECSSD[14]、HKU-IS[15]、PASCAL-S[16]、SED[17]、SOE(文献[14])并与6种深度学习算法进行比较其中包含DCL[18]、DS[19]、LEGS[20]、MDF(文献[15])、RFCN[21]等。

从表1和图4中可以看出。(1) 本文算法在F-measure和MAE上优于ECSSD和SED数据集上的其他算法。(2) 本文算法在大多数数据集上达到较低的MAE值。(3) 本文的RP曲线均优于其他算法,检测的准确率较高。验证了本文算法在引入不确定性卷积特征的必要性。因此本文提出FCN不确定性特征模型在所有评估指标方面表现出很好的优越性,从而有力地表现了本文算法的有效性。

图4 RP曲线

表1 算法指标

3 结 语

本文提出一种新的用于铁路轨道异物入侵检测的全卷积网络模型。通过引入不确定性卷积特征来产生更准确的物体检测,同时提出新的上采样方法来减少卷积运算过程中产生的伪影现象,并且能够强制网络为物体检测学习到更准确的边缘。经过实验表明,本文提出的基于FCN不确定性特征的铁路轨道入侵异物检测中的网络模型能够显著地提高系统检测的性能,提高基于FCN铁路轨道入侵异物检测的鲁棒性。