高铁接触网异物自动化智能检测方法

徐伟，吴泽彬，刘建新，丁道华，詹天明，徐洋

（1.中国铁路上海局集团有限公司 南京供电段，江苏 南京 210011；2.南京理工大学 计算机科学与工程学院，江苏 南京 210094；3.南京智莲森信息技术有限公司，江苏 南京 210012）

1 概述

近十几年来，我国铁路为提高运输效率和竞争力，对主要运输线路实施了大量的技术改造和创新。其中，高速铁路迅猛发展，经过10余年的发展，“中国高铁”被誉为中国经济发展的奇迹，频频刷新世界纪录，“中国速度”在世界经济发展中起着非常重要的作用[1]。随着我国高速铁路的逐渐普及，高铁线路的巡检问题受到了越来越多的关注。接触网作为电气化铁路的重要组成部分，是整个高铁安全最受关注的部分。为了保证行车安全，必须及时排除铁路沿线接触网设备存在的安全隐患[2]。其中，接触网上的异物是威胁高铁安全运营的重要因素之一，但由于接触网具有分布广泛、数量众多、异物不容易察觉等特点，导致传统人工巡检方式效率低、周期长、检测成本高，不能有效满足高铁快速发展要求[3]。为了保证高铁供电系统的正常安全运行，原中国铁路总公司提出构建高速铁路供电安全检测监测系统（6C系统），其中，接触网安全巡检装置（2C）得到了广泛应用。该设备在检测时安装在高铁列车的驾驶室，对接触网的状态进行图像采集，事后统计分析接触网的安全状态。但通过分析室人工观看图像判断接触网中的安全隐患既耗时又效率低，而且漏识别的情况也较多。

目前，人工智能技术快速发展，作为人工智能领域的一个重要研究热点，深度学习（Deep Learning）展现了强大的学习数据本质特征的能力[4]。近年来，深度学习在语音识别、文本分类、图像视频处理和自然语言处理等研究领域都取得了很大成功[5]。深度学习允许多个处理层的计算机模型来学习具有多层次抽象的数据表示，使其能够发现高维数据中的复杂结构，并抽象出数据的典型特征。因此深度学习方法在图像分类、检索、识别等图像处理领域得到了大量的应用并表现出非常优异的性能[6-8]。这些深度学习方法大多基于卷积神经网络（CNN）建立的深度学习模型[9]。与传统机器学习模型相比，卷积神经网络具有更深的结构、指数级增加的特征表达能力[10]、多任务协同优化以及较强的自主学习能力。

随着深度学习理论与技术的发展，产生了大量的智能化方法，这为接触网设备的智能监测研究提供了必要的理论基础。目前，尚未有成熟的人工智能技术可以完善地解决接触网异物的智能检测问题。为此，针对接触网设备的海量2C图像数据自动化智能分析问题，充分考虑铁路接触网动态检测的特点和需求，设计相关人工智能和深度学习的检测和分析方法，不但可将技术人员从观察海量视频数据中解放出来，还能够更及时地发现安全隐患，对高速铁路的运行安全具有重大意义。针对上述重大需求，提出一种新的高铁接触网异物自动化智能检测方法，以实现稳健、可靠、精准的接触网异物检测。该方法面向2C图像的特点以及接触网安全运行需求，首先对图像进行预处理，然后将异物检测问题转化为有监督的目标检测问题，设计基于深度神经网络的异物检测方法，利用已标定样本训练异物检测模型，并通过预训练和重训练步骤进行深度学习模型的优化，最后将训练好的模型应用于真实场景中对特定异物进行自动检测。对中国铁路上海局集团有限公司（简称上海局集团公司）南京供电段分析室采集的实际2C图像进行试验，试验结果表明，该方法可以高速、高精度、自动化地从图像中智能检测出异物，异物检测准确率达到96.5%以上，具有较高的实际应用价值。

2 基于深度学习的接触网异物检测方法

统计分析表明，高铁接触网中的异物主要包括鸟巢、风筝、气球等。其中，鸟巢数量最多，而且形成快、具有一定迁徙性，对接触网供电安全的影响较大。2C装置作为一种便携式视频采集设备，通过对接触网的状态及其周边环境进行拍摄，为接触网的状态监控和运维提供图像数据（见图1）。2C图像可以较为清晰地显示高铁运行方向左侧的接触网状态，但由于2C设备架设时需要一定的仰角，导致接触网在图像中存在一定的旋转。同时，2C设备采集图像时列车处于高速运动状态，再加上天气影响和接触网周围背景相对复杂，如何保证接触网异物检测的精度是一个很大的挑战。针对上述问题，提出一种新的高铁接触网异物自动化智能检测方法（见图2）。该方法先对图像进行预处理提高图像清晰度，再训练深度神经网络用于异物初步检测，并通过预训练和重训练步骤进行深度学习模型的迭代优化。

图1 高铁接触网2C检测图像

图2 基于深度学习的接触网异物自动化智能检测方法

2.1 预处理

由于2C采集数据时，背景具有一定的相似性。因此根据该特点对2C设备采集的不同时间点图像进行差分，差分图像中较为显著的区域即为不同时间点的变化区域。设I1和I2为前后2个时间点的图像，差分图像ΔI为：

支柱粗检测区域可以通过如下阈值判定并进行二值化：

式中：ℓ(I)为二值化后的图像；τ为阈值。

再对支柱检测图像进行形态学开运算操作，去除孤立点和面积较小的孤立区域：

式中：∂(I)为形态学操作后的图像；⊙为形态学开运算；B为形态学结构元素。

预处理不同阶段的图像见图3，其中（a）和（b）为2C设备采集到的不同时间点的原始图像，（c）为差分图像，（d）为阈值操作后的图像，（e）为形态学操作后的图像。

图3 预处理不同阶段的图像

在形态学开运算后，利用边缘检测方法检测支柱的纵向边缘：

计算纵向边缘的倾斜角，并选取倾斜角度较为相似的角度求平均值θ，对图像进行旋转：

式中：（x0，y0）为原始图像I中的坐标；旋转后的图像记为IR，（x，y）则为旋转后图像IR中的坐标。旋转和裁剪后的结果图像见图4。

图4 旋转和裁剪后的结果图像

2.2 基于深度神经网络的异物检测模型

在对图像进行预处理后，从含异物的图像中对异物进行检测，收集后续深度学习模型所需的通用训练样本。现以鸟巢目标为例进行详细阐述。为保证模型精度，收集的鸟巢包括完整鸟巢、雏形鸟巢以及不同角度、不同位置的鸟巢（见图5）。

在收集训练样本后，可将从图像中检测异物的问题转化为经典的目标检测问题。在此将异物作为待检测目标，设计基于深度学习的目标检测模型和算法，从2C图像中检测异物。将2C图像以及对应的边框信息作为输入信息训练1个快速检测卷积神经网络。异物检测的深度神经网络架构见图6。

该网络首先用多层卷积、非线性映射和池化层对2C图像进行处理，自动得到图像深度特征，再根据异物检测训练区域提名回归网络得到候选区域，最后利用3层的全连接层和Softmax回归对提取区域进行分类并检测区域边界。由于接触网背景比较复杂，如果只将异物作为一个类别，其他正常区域作为另一个类别，背景中很多与鸟巢结构较为相似的树枝和接触网电线都会被误检出来，导致检测结果的虚警率非常高。粗检测结果见图7，从图中可以看到检测结果中出现虚警目标。为此，在粗检测基础上进行改进，收集错误检测区域，并将其作为除异物和正常区域之外的第3类目标，重新训练深度神经网络，得到精检测的异物检测模型。精检测结果见图8，可以看出虚警目标得到了有效控制。

图5 训练样本中的各种通用鸟巢图像

图6 异物检测的深度神经网络架构

图7 粗检测结果

图8 精检测结果

2.3 算法步骤

（1）接触网异物检测模型训练过程包括如下步骤：①输入历史2C图像；②利用1.1中步骤对2C图像进行预处理；③对预处理后的2C图像中的异物进行检测，收集训练样本；④训练粗检测深度神经网络；⑤对历史2C图像进行异物检测，收集虚警样本；⑥将虚警样本加入原始训练样本中，训练精检测深度神经网络；⑦保存训练参数，得到异物检测模型。

（2）接触网异物检测方法的检测过程包括如下步骤：①输入刚采集的2C图像；②利用1.1中步骤对2C图像进行预处理；③将预处理后的2C图像作为异物检测模型的输入；④根据异物检测模型输出的类别和位置信息检测异物。

3 试验验证

为验证该方法，从上海局集团公司南京供电段采集的实际2C图像中选取1 000张进行测试。其中200张图像含异物，800张图像不含异物。在试验中，预处理中的阈值τ选取50，形态学操作的结构元素B选取5×5的方形结构。深度神经网络中的卷积神经网络部分采用13层卷积层、13层非线性映射层和4层池化层。区域提名网络先进行3×3的卷积，然后做2次全卷积，再用softmax 损失函数和平滑L1损失函数探测分类概率和边框回归。

2C图像鸟巢检测结果见图9，其中第1行是待检测图像，第2行是粗检测结果，第3行是精检测结果。从图中可以看出，该方法的粗检测结果可以较好地检测出2C图像中各种类型的异物，但背景中有些与异物特征较为相似的区域也被检测出来。经过精检测后，虚警部分被有效剔除，其检测结果更加准确。

图9 2C图像鸟巢检测结果

具体的异物检测数据见表1，结果表明，该方法可以从2C图像中有效地得到异物所在区域，并且通过精检测可有效去除虚警，进一步提升其鲁棒性、通用性以及实用性。

表1 测试集的异物检测数据

4 结束语

针对高铁接触网异物检测问题，基于人工智能和深度学习理论，提出高铁接触网异物自动化智能检测方法。该方法在对2C图像进行预处理的基础上，设计基于深度神经网络的异物检测模型和算法，并通过预训练和重训练进行模型优化，实现了稳健、可靠、精准的高铁接触网安全异常检测。对实际2C图像的试验测试精度达96.5%，有效满足了高铁接触网的安全检测需求，具有广阔的应用前景。后续工作将考虑在已提出的深度学习网络中加入注意力机制，以进一步提高检测精度。