铁路道岔场景识别与间距检测

2022-07-07刘少丽刘检华

计算机集成制造系统 2022年6期

何森，刘少丽+，方玥，刘检华，黄浩，刘威

(1.北京理工大学机械与车辆学院数字化制造研究所，北京 100081；2.中国铁道科学研究院集团有限公司基础设施检测研究所，北京 100000)

1 问题的提出

道岔是使列车转入或越过另一股轨道的机械设备，包括转辙部分、连接部分、辙叉和护轨(如图1)，是铁路网络连接的关键[1-2]。然而列车在驶过道岔时，会对道岔产生很大的冲击力和侧向力，造成道岔铁轨磨损和变形[3-4]，改变道岔基本轨与尖轨的内侧间距(以下简称道岔间距)，降低了道岔的使用寿命，甚至引发交通事故，因此道岔间距稳定是保障道岔质量稳定，从而保障铁路安全的前提。目前的道岔检测方法是人工用卷尺测量道岔转辙部分的道岔间距，由于检测人员水平参差不齐，测量的道岔间距精度不高，而且铁路道岔在铁路总线中的占比不到5%，检测人员需要在铁路线上逐个检测，效率低且存在一定安全隐患。因此，迫切需要一种高效、准确的铁路道岔场景识别和道岔间距检测方法。

目前，对道岔的检测方法主要分为两种：

(1)监测道岔及其转换设备在运行过程中的各种信号参数和环境参数，为道岔的维护和检修提供参考。国外已有相应的系统应用于实际[5]，例如，德国的Roamaster 2002道岔检测系统，法国的Track and Turnout Monitoring System道岔检测系统和俄罗斯的无接触道岔自动控制器。这些检测系统通过监测道岔设备的电流、电压、各牵引点转换力、钢轨纵向力等一系列数据，确保道岔间距在安全标准范围内。国内经过多年发展，也研发出了相应的技术。曹均平等[6]研制的高速铁路道岔监测系统，采用物理、化学、信息处理等手段，对高速铁路道岔设备运行过程中的各种状态参数和环境参数进行实时监测，而且监测设备自身对道岔不会产生影响。道岔的监测主要通过采集并分析铁路设备电信号来判断其是否正常工作，然而由于易受通信带宽限制和其他线缆干扰，电信号在采集、传输过程中，其数据的准确性和实时性会降低，不能真实反映道岔的实际状况。

(2)利用采集的铁路轨道数据，通过相应的处理技术提取需要的铁路结构特征信息，计算铁路轨道相关参数并判断是否符合安全标准。张宇宁[7]运用机器视觉技术对铁路道岔图像进行处理并提取特征，监测尖轨与基本轨的密贴度，根据计算结果判断道岔换位过程是否正常，然而该方法只针对道岔图像，泛用性低，而且对铁路图像的质量要求较高；徐凡[8]利用铁路轨道图像的特点，分别采用直线检测(Line Segment Detector, LSD)算法和霍夫变换得到钢轨边缘直线的数量；QI等[9]提出基于定向梯度直方图(Histogram of Oriented Gradient, HOG)特征的铁路轨道检测与道岔识别方法，该方法用HOG特征向量表示原始图像，用区域生长算法寻找铁路基本轨和尖轨，根据尖轨与基本轨的特点判断列车转向，然而该方法在光照条件恶劣的情况下会出现误检，而且区域增长算法本身存在可能只检测到部分图像的缺陷。上述基于二维图像的铁路道岔检测虽然已经形成了相应的体系结构，而且检测精度高，但是二维图像质量受光照影响大，质量差的铁路图像难以用于铁路检测；另外，各类铁路场景的数据量很不均衡，普通轨道的数量远远大于道岔数量，且道岔图像混杂在普通轨道图像中，上述检测方法需要预先人工将铁路数据分类，因此降低了检测效率。

为了避免二维图像受光照影响，部分学者提出采用铁路三维点云进行检测。董飞飞等[10]以高速铁路18号道岔为例，通过标准公式计算出钢轨圆弧半径和相切线段的端点，生成高精度的变截面道岔表面模型；CUI等[11]提出根据扣件系统的原始设计，从商业结构光传感器获取的高速铁路紧固件3D点云数据中提取用于扣件几何参数测量的关键区域的点云数据，然后根据布局计算紧固件的几何参数。目前在铁路方面利用三维点云的研究大多是重建轨道模型，研究点云轨道模型与实际轨道的误差，缺少对道岔间距检测方面的研究；另外，大部分的铁路三维数据均由固定在铁路巡检车上的线扫描相机采集，数据包括钢轨、扣件、枕木等整个铁路信息，无法单独对道岔结构进行检测。因此，道岔检测研究的难点之一就是如何自动识别道岔结构。

深度学习是近年来发展的一个研究方向，其在语音识别、图像处理等方面取得了突破性进展[12]。深度学习能够从输入数据中提取泛化能力强的特征，识别数据并分类，模型表达能力强、处理速度快。OLGA等[13]采用卷积神经网络实现了对铁路特征的自动提取；刘文祺[14]以铁路场景图像为数据样本，采用基于深度神经网络的学习算法实现了对铁路场景图像的识别预测。上述研究证明了深度学习在铁路检测方面具有可行性和推广前景，然而道岔样本数量与普通轨道样本数量不均衡的问题仍未解决。

基于以上分析，本文提出一种新的铁路道岔检测方法，利用线阵工业相机采集铁路点云信息，采用本文设计的道岔场景识别网络，采用树结构Parzen估计(Tree-structured Parzen Estimator, TPE)算法搜索最优超参数和FocalLoss作为损失函数，快速识别道岔场景；开发了一种道岔钢轨边缘特征提取方法计算道岔间距，完成铁路道岔场景识别和道岔间距检测，解决了道岔场景识别困难、铁路样本数

量不均衡、间距计算效率低和精度不足的问题，使道岔识别准确度达到97.5%，道岔间距测量误差小于0.2 mm，铁路场景的分类时间在0.02 s以内，满足道岔检测高效精确的需求。

2 铁路道岔场景识别

为了解决铁路数据分类效率低的问题，本文采用残差连接的道岔场景识别网络，从铁路数据中学习道岔场景特征，结合FocalLoss解决铁路正负样本不均衡的问题，同时定制搜索空间，运用TPE算法搜寻最优超参数，完成铁路道岔场景的快速识别。

2.1 道岔场景识别网络结构

道岔场景识别网络基于卷积神经网络建立，包括18个网络层、17个卷积层和1个全连接层，最后一层全连接层输出一个二维向量，表示分类评分结果，结构如图2所示，其中弧线表示残差连接。

卷积神经网络通过卷积层提取输入信息的特征，更深层的网络能提取到更复杂的特征，网络的深度对模型的性能至关重要。然而在实验中，随着网络的加深，网络性能出现退化，网络准确度出现饱和，甚至下降。HE等[15]提出的ResNet利用残差连接解决了网络加深出现的退化问题，原理如图3所示。

H(x)=F(x)+x。

(1)

残差连接将网络学习输出H(x)转换为学习残差F(x)=H(x)-x，残差F(x)相比输出H(x)更容易学习。当F(x)=0时，当前网络层仅做恒等映射，将前层提取的特征输送给后层网络，网络性能至少不会下降，解决了随网络加深网络性能退化的问题。而实际上，残差F(x)不会为0，当前网络层会在输出特征的基础上学习到新的特征，网络性能得到增强。本文提出的道岔场景识别网络层数较多，采用残差连接可以将前层网络提取的有效特征通过捷径连接到深层，充分保留有效特征，避免网络退化问题，同时在网络层数加深的情况下提高网络性能。

在用道岔场景识别网络进行道岔识别时，将铁路数据大小调整为128×128×3作为输入数据，用ReLU激活函数，利用卷积和池化不断提取铁路场景特征。最后经过输出层，即两个滤波器的全连接层，输出2×1的预测结果，每一行的值表示该分类的评估分数，分数高的一类即为输入数据的分类结果。将铁路数据输入道岔场景识别网络，输出每个数据的标签，即是否为道岔。

2.2 Focal Loss损失函数

铁路道岔场景识别问题属于二分类问题，在神经网络分类问题中，一般采用交叉熵作为损失函数。交叉熵能量化模型预测样本分布与真实样本分布之间的差距，指导神经网络的优化方向，表示网络区分样本的能力。本文采集的铁路数据中，普通轨道占绝大部分，道岔场景仅占一小部分，神经网络在训练过程中的损失主要源自普通轨道数据，道岔场景数据带来的损失远小于普通轨道，可忽略不计，因此网络着重学习普通轨道特征，忽略对道岔场景的学习。为了解决铁路正负样本数量不均衡的问题，增加网络对道岔场景小样本的学习能力，本文创新性地使用Focal Loss(以下简称FL)作为损失函数。

FL在交叉熵的基础上[16]增加了权重因子，用于控制正负样本对总损失的贡献和对难易样本的学习权重。二分类的交叉熵损失函数

(2)

(3)

2.3 超参数搜索

超参数是深度学习的外部配置，影响训练得到的模型参数，超参数的值需要手动设置，以便优化训练模型的性能。相同种类的模型需要不同的超参数来适应不同的数据，本文将神经网络应用在铁路道岔场景识别上，需要设置相应的超参数匹配铁路数据，使模型的效果达到最优，其中超参数包括batchsize，learningrate，imagesize。由于超参数的设置需要人工手动设置，在没有先验知识的情况下只能随机试错，效率低下。

本文采用TPE算法搜索最优超参数。BERGSTRA等[17]提出的TPE是一种基于序列模型优化的方法，其可根据历史指标数据按顺序构造模型，估算超参数的性能，然后基于该模型选择新的超参数。

TPE算法通过对P(θ/γ)和P(γ)建模来搜索超参数，其中θ表示超参数，γ在本文表示评估模型性能的分类准确率。P(θ|γ)用非参数密度代替配置的先验分布，通过变换超参数的生成过程来建模，在P(θ|γ)最大的条件下选取新的超参数进行实验验证，用实验结果更新模型，然后继续选取超参数，重复上述步骤，直至满足停止条件。

在进行超参数搜索之前，需要给优化算法指定搜索范围，即定制搜索空间。超参数优化算法会根据搜索空间取样生成超参数x，再按超参数配置神经网络模型进行训练验证，得到评估结果y。大的搜索空间一般可以得到更优的超参数，但搜索时间较长；小的搜索空间搜索时间短，但容易得到局部最优解。搜索空间的范围由先验知识决定。本文建立的道岔场景识别网络以铁路数据为输入对道岔场景进行分类，取learningrate=0.01，0.001，0.000 1，0.000 01；由于铁路数据较少，取batchsize=4，8，16；设imagesize=[64,1 024]。

铁路道岔场景识别通过道岔场景识别网络实现，其采用FL损失函数缓解铁路样本不均衡问题，采用TPE算法搜索超参数，确保神经网络能够匹配输入数据而达到性能最优。

3 道岔间距检测

根据道岔场景识别网络的分类结果，本文针对道岔数据进行区域分割、平滑处理、边缘检测、直线提取和拟合，得到道岔尖轨和基本轨的边缘直线解析式，再利用测量比计算出道岔实际间距。

3.1 基于Canny算子的边缘检测

根据第2章道岔场景识别网络的分类结果，可以从大量铁路数据中快速找出道岔数据。准确定位钢轨位置是自动检测道岔钢轨间距的关键，从铁路轨道数据的采集特点(如图4a)可知，相机与钢轨的相对距离在采集过程中基本保持不变，钢轨轨面的深度是一个固定值，本文设定相应的深度阈值，对道岔的深度数据进行区域分割，获得钢轨轨面点云，如图4b所示。

钢轨轨面大部分点云数据的分布是连续且均匀的，然而由于线阵工业相机的安装位置和采集时的扰动等因素影响，钢轨点云数据边缘出现缺陷和噪点，在二值化图像中尤其明显，如图5a所示。图5为对钢轨轨面点云降维并二值化的结果，其中黑色部分为背景，白色部分为钢轨轨面。钢轨边缘点云数据的噪点会严重影响边缘检测的准确率，必须采用滤波算法进行平滑处理，本文采用中值滤波[18]。中值滤波是一种非线性滤波算法，其能通过将目标像素点的像素值变为该点某个大小邻域内所有像素值中值的方法减弱噪声。相比其他滤波算法，中值滤波在滤除噪声的同时，能够很好地保护图像边缘信息不丢失，符合本文利用边缘信息提取直线的目的。图6所示为处理后的图像，可见中值滤波算法的效果极好，处理后的图像满足检测条件。

边缘检测[19]通过设置一定条件，检测图像中的所有边缘像素点，并合并为一个集合，用于区分图像中的不同物体。Canny算子[20]是边缘检测中最常用的一种检测算子，其采用非最大值抑制算法和双阈值算法，提高了检测边缘的准确性，降低了边缘的漏检率。采用Canny算子检测经过平滑处理的铁路轨面边缘数据点，图6所示为检测结果，其中白色部分为边缘点，可见经Canny算子处理后，边缘点的分布呈直线，与实际铁路钢轨状况相同，证明该方法准确有效。

3.2 基于霍夫变换的边缘直线提取

霍夫变换通过将直角坐标系空间中的曲线转换为参数空间中的一个点，将检测目标形状的问题转化为统计参数空间中聚集点的峰值问题[21-22]。本文对图6钢轨轨面边缘点用霍夫变换提取钢轨轨面的边缘直线。

图7所示为钢轨轨面边缘直线的提取结果，其中加粗线段为霍夫变换从钢轨轨面边缘点中检测得到的多个边缘直线段，这些直线段表示经过边缘点最多的直线。从图7中的白黑分界面，即钢轨轨面边缘，可以看出直线段很好地贴合了钢轨轨面的边缘，证明了运用Canny算子和霍夫变换提取钢轨轨面边缘直线方法的正确性。

然而钢轨轨面边缘是直线，经过Canny算子和霍夫变换得到的边缘为短直线段，其完整性与本文需要的钢轨轨面边缘直线还有一定差距。因此，采用最小二乘法拟合直线段得到完整的钢轨轨面边缘直线。

将霍夫变换检测得到的直线段数据作为输入，采用最小二乘法计算直线解析式，得到4条拟合边缘直线，而检测道岔的间距只需要道岔中间的两条边缘直线。由于4条直线在参数空间与原点的距离不同，本文将这4条直线按距离从小到大排序，得出道岔中间的边缘直线在4条直线中与原点的距离排在第2和第3。因此，对于直线拟合结果，只需保留中间两条直线，如图8中的加粗直线所示，对比白色部分轨面和灰色拟合边缘直线，可以明显看出拟合边缘直线贴合钢轨轨面边缘，与钢轨轨面边缘基本重合，而且与图7相比，拟合直线的完整度和准确度更高。钢轨轨面边缘拟合直线的表达式为yn=knxn+bn，其中：n=1,2，分别表示基本轨与尖轨；kn,bn为直线解析式的系数；xn,yn为直线上点的坐标。

3.3 道岔间距计算

观察道岔场景图像可知，道岔间距随检测位置的变化变动很大。为了增加间距检测的灵活性，满足不同检测的需求，本文提出一种交互式间距计算方法，可以根据所选择位置的不同而测量不同位置的道岔间距，具体算法流程如下：

如图9所示，手动选择间距计算位置P(xi,yi)，设基本轨为直线L1，尖轨为直线L2，根据3.2节可知，基本轨表达式为L1:y1=k1x1+b1，尖轨表达式为L2:y2=k2x2+b2。将纵坐标yi代入基本轨L1，得到对应点O1(xi1,yi)。以O1点做L1的垂线L(其解析式如式(4))，交于尖轨L2上一点O2(xi2,yi2)，O1O2的距离d即为当前选择位置的道岔间距信息。

(4)

(5)

式中：k1,b1为基本轨的直线解析式系数；k2,b2为尖轨的直线解析式系数；yL,xL为垂线L上的点坐标；d为计算的道岔间距。

直接通过图像信息计算道岔间距，结果的单位是像素数，而实际道岔安全检测需要的数据长度单位是mm，需将计算结果转换为实际长度。

本文通过测量比将像素数转换为实际长度。测量比指在机器视觉中标定物体的实际尺寸与其在图像中像素尺寸的比值，标定物体与被测物体到摄像机的距离要求相同。

同一条铁路的轨面宽度是一个确定值，同时轨面所在平面与道岔边缘直线构成的平面是同一个平面，轨面与道岔边缘到摄像机的距离相同，符合测量比中标定物体的要求。因此本文将钢轨轨面作为该实验的标定物体，计算测量比，利用该测量比计算道岔间距的实际距离。另外，相机安装位置等外界因素对铁路图像中轨面和道岔边缘的影响程度相同，因此用其他采集设备或从其他角度获取铁路数据，计算的道岔间距结果均相同，该方法对输入数据的鲁棒性较强。本文以50 kg/m钢轨为研究对象，其轨面的实际宽度为70 mm，以此计算测量比。

道岔间距检测通过区域分割和平滑处理提取轨面信息并减小干扰信息的影响，通过Canny算子、霍夫变换和最小二乘直线拟合提取轨面边缘直线，最后用测量比将像素数转换为毫米来计算道岔间距。

4 实验结果及分析

4.1 采集设备

铁路数据采集系统以检测车为搭载平台，对铁路进行拍摄，如图10所示。其主要设备包括工业相机、辅助光源等各类硬件设备。工业相机作为前端的成像器件是整个系统的核心，辅助光源通过补强环境光照保证图像的清晰度。电气系统、传输总线、相关控制部分用于驱动工业相机进行拍摄，并将图像数据转存到工业计算机。检测车以固定速度在测试铁路段行驶，对现场进行动态采集。

本文使用的工业相机是由SICK公司生产的Ranger3 3D相机，该相机能捕获整个铁路场景的深度信息和强度信息，包括钢轨、扣件和枕木3部分，如图11所示。深度信息包含更多的轨道位置信息，用于钢轨轨面分割和边缘提取；强度信息包含更多的语义信息，用于神经网络分类识别道岔场景。本文用铁路的强度信息识别铁路道岔场景，用深度信息计算道岔间距。

4.2 检测流程

本文提出的铁路道岔场景识别与间距检测方法流程如图12所示。

(1)采集铁路图像用图像采集系统采集铁路场景图像，包括深度信息和强度信息。

(2)增强图像特征图13a所示为所采集的铁路轨道强度信息，可以看出钢轨轨面灰度较高，铁轨各结构特征信息明显，但是整体对比度接近，局部特征信息之间的区分度不明显，不同结构之间的分界面不易区分。因此，利用直方图均衡化增强图像中各类特征之间的对比度，结果如图13b和图13c所示。

(3)神经网络分类将经过处理的铁路场景图像输送给道岔场景识别网络，得到分类结果。图14所示为对示例图像的分类结果。对于普通铁路场景图像，直接输出分类结果，结束检测；对于道岔场景图像，输出分类结果后进行进一步检测。

(4)分割轨面提取道岔场景图像的深度数据，进行轨面分割，获得钢轨轨面点云。

(5)提取直线用Canny算子、霍夫变换和最小二乘法对钢轨轨面点云进行拟合，计算得到钢轨边缘直线。

(6)计算间距用测量比计算道岔基本轨与尖轨任意位置处的间距，输出间距计算结果，如图15所示。

为了从大量铁路样本中快速识别道岔场景，本文提出道岔场景识别网络用于识别铁路样本并分类。在本文采集的铁路样本中，基本轨150张，道岔50张，总计200张。由于本文铁路样本较少，本文采用数据增强技术扩充样本，对原始数据进行翻转、放缩、旋转、中心裁剪、正则化、添加噪声等操作，将样本数量增加到1 600张，提升了神经网络的泛化性和鲁棒性，然后按照60%，20%，20%的比例将数据集划分为训练样本、验证样本和测试样本输入网络，训练流程如图16所示。

4.3 实验结果及分析

本文设计的铁路道岔场景识别与间距检测系统均在个人计算机上完成，操作系统为Windows，采用MATLAB和Python为编程语言，MATLAB和Pycharm为开发工具，同时采用MATLAB图像处理工具箱、Pytorch机器学习库和Visdom可视化工具作为辅助工具，辅助系统开发。整个实验的开发环境如表1所示。

表1 系统环境及硬件设备配置

以设定的搜索空间为基础，本文采用TPE算法搜索最优超参数，以测试集准确率作为输出结果，向最大值方向搜索，耗时72 h，共得到130组搜索结果，其中有8组参数的准确率均达到97.5%，结果如表2所示。本文最终选择训练时间最短的第8组超参数为learningrate=0.01，batchsize=8，imagesize=128，将其作为网络初始参数配置进行训练。

表2 各组超参数及其实验结果

图17所示分别为模型训练过程中的损失和准确率。可以看出，随着训练次数的增加，损失不断减小，准确率不断上升。在训练后期，训练次数达到64次左右以后，损失与准确率变化不大，说明模型已经训练完成，准确率为0.975，损失为9.8×10-6。

对道岔识别网络使用精确率、召回率、F1值、准确率、受试者工作特征(Receiver Operating Characteristic, ROC)曲线和曲线下面积(Area Under Curve, AUC)值进行性能评估，ROC曲线越接近左上角，AUC值越接近1，网络性能越好。所得结果如表3所示。

表3 道岔识别网络性能评估结果

如表3所示，道岔识别网络的精确率、召回率、F1分数和准确率均在96%以上，其中准确率达到97.5%。图18所示为ROC曲线和AUC值，可见ROC曲线主要集中在区域的左上角，AUC为0.98，表明该模型的分类性能很好，预测结果准确。

经过实验验证，道岔场景识别网络对一批次8张铁路样本的识别分类时间不超过0.02 s，对每个道岔样本间距的检测计算时间不超过0.55 s。

本文在道岔转辙部分区域采集铁路场景图片(如图19)，验证本文方法的测量精度。在该区域任选20个测量点(如图20)，采用本文方法在每个测量点重复测量至少5次，其中虚线表示测量的道岔间距。同时，采用法如的QuantumSV2测量臂(系统精度为0.085 mm)对每个测量点进行间距测量，作为真值(如图21)，从而计算得到20组测量点间距的均值、方差和绝对误差(|真值-均值|)，如表4所示，绝对误差直方图如图22所示。实验验证，本文方法在图像中的不同位置均能准确计算道岔间距，测量误差为0.2 mm。在实际道岔检测中，通常采用人工方法，允许的误差范围为1 mm～2 mm，因此本文检测方法符合铁路安全标准中道岔检测规定的范围[23]，能满足道岔检测的需求。