基于文本挖掘的轨道电路细粒度故障致因分析方法

侯 通，郑启明，姚新文，陈光武，王小敏

(1.西南交通大学 信息科学与技术学院，四川 成都 611756；2.兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070)

轨道电路作为信号设备的重要组成部分，在我国轨道交通运营线路中得到了广泛应用。由于轨道电路设备结构组成复杂，分布范围较广等特点，其工作状态容易受多部门作业检修、设备器材质量及天气环境等因素影响，导致轨道电路故障原因复杂多样，故障诊断处理耗时较长，对铁路运输影响较大[1]。轨道电路故障文本记录包含大量有价值故障信息，其中的故障原因直接反映了故障问题所在。目前，针对轨道电路故障文本数据主要依赖人工处理分析，容易受主观因素影响，存在故障归类不准确、效率低等问题；此外，由于缺乏对故障类型的细粒度统计分析，造成大量有价值故障数据资源的浪费。在大数据背景下，应用故障文本智能挖掘分析，提高故障文本数据利用率，已成为亟待解决的问题。

文本挖掘主要包含文本分类、文本聚类、信息抽取等任务，关注于在非结构化文本中通过模式发现来描述文本内容[2]。文本数据在使用前须经过文本预处理、特征提取及文本表示等工作，常用算法有信息增益[3]、词频(Term Frequency，TF)、词频-逆文档频率(Term Frequency-Inverse Document Frequency，TF-IDF)、隐含狄利克留分布(Latent Dirichlet Allocation，LDA)、Word2vec[4]等，其中TF-IDF、LDA及Word2vec在文本挖掘任务中应用较为广泛。

文献[5]采用TF-IDF对铁路信号设备故障文本进行特征提取，结合多分类器集成学习方式，从信号设备类型角度提出不平衡故障文本数据分类模型。文献[6]利用Word2vec训练词向量，通过多池化层卷积神经网络模型实现铁路信号设备故障文本分类。由于铁路信号设备故障原因复杂多样，以上研究从系统设备类型角度划分故障类型，无法直观有效的分析故障原因。文本聚类是实现从大量文本信息中高效获取有价值信息的一种重要方法，常用算法有基于距离的K-Means、无监督学习主题模型等。文献[7]针对地铁信号设备故障记录，融合了从词项层和语义层聚类得到的特征词，采用KNN算法实现故障文本自动预处理，但由于两种聚类均基于词袋方法，丢失了词序特征，对于文本特征的学习仍然不足。文献[8-9]针对列控车载设备日志数据，利用主题模型得到故障语义特征，并基于支持向量机建立了车载设备故障诊断模型。

目前，对于轨道电路故障的研究，多以信号系统电气设备故障为研究对象，基于监测量数据实现故障诊断[10]，基于历史故障文本记录的研究较少。随着我国铁路综合维修生产一体化体系的不断推进[11]，综合考虑不同故障致因类型中的影响因素，有利于提高现场多部门综合养护维修效率。轨道电路与电务、工务设备维护管理密切相关，因此参照相关规程，从故障致因类型角度划分轨道电路故障，有助于现场工作人员进行轨道电路故障统计分析和管理工作。此外，针对电务、工务致因类型故障文本进一步聚类挖掘，获取细粒度故障主题类型及故障致因，对后续轨道电路故障分析、制定工电综合检修措施等具有重要意义。

对此，提出一种基于文本挖掘的轨道电路细粒度故障致因分析方法。首先，利用改进的TF-IDF算法对不同致因类型故障文本进行特征提取及向量表示，引入合成少数类过采样技术(Synthetic Minority Oversampling Technique，SMOTE)算法对少数类数据进行自动生成，采用SVM算法实现均衡后的故障文本数据自动分类，并对不同分词模式下的分类模型效果进行分析；其次，采用K-means聚类算法对基于Word2vec向量表示的电务、工务致因故障文本数据进行聚类挖掘分析，基于聚类结果通过统计分析获取细粒度故障主题类型及易发多发性故障致因，实现细粒度轨道电路故障致因分析。考虑故障文本记录的叙述共性，本文提出的方法对于其他信号设备同样具有借鉴意义。选取某铁路局集团公司2015—2018年轨道电路故障文本数据进行分析，实验结果表明本方法的有效性，对设备维护具有较好的辅助指导作用。

1 轨道电路故障文本特点

在铁路现场工作中积累的大量轨道电路故障文本数据，主要通过现场工作人员以自然语言形式记录。根据不同故障致因，轨道电路故障可分为6类故障，即电务致因C0、工务致因C1、供电致因C2、设备器材质量C3、自然灾害C4及其他外部致因C5。故障文本记录中通常包含故障现象、故障原因、处置过程、设备信息等内容，部分故障记录如表1所示。

表1 轨道电路故障文本记录(部分)

作为专业领域文本数据，轨道电路故障文本存在以下特点：

(1)不同故障致因类型间故障文本数据不均衡。故障文本记录存在口语化、不规范化问题；并且故障文本记录长度不一，故障现象描述较短，故障原因描述详细程度不同。

(2)轨道电路故障文本含有大量铁路信号专业词汇，但由于不同人员记录方式不同，存在多词一义的现象。例如“451AG冗余衰耗器材质不好”“11331G室内衰耗盘不良”“中继3站22039G室内衰耗盒底座接触不良”，故障原因都涉及衰耗冗余控制器同一种设备，但记录形式完全不同。

(3)故障记录文本为短文本，且特征词汇在不同故障类型文本中的分布情况具有差异性，存在一些特征词可作为具有类别特征的关键词，但在特定类别中出现频次较高，而在其他类别出现频次较低。

(4)故障文本中包含有时间、车次号、区段名称、器材编号等内容，作为噪声数据不利于后续提取有效文本特征，因此需要对故障文本数据进行清洗。

由于不同人员对故障的理解和叙述习惯不同，对故障管理规程认识水平不一，存在人工处理故障文本归类不准确、效率低的问题；此外，对不同故障致因类型缺乏细粒度故障分析，有价值的故障数据信息尚未在现场综合检修工作中得到充分利用。

2 轨道电路故障文本挖掘总体方案

针对轨道电路故障日志的特殊性，提出轨道电路故障文本的细粒度故障致因挖掘方案见图1，用于提取轨道电路的细粒度故障主题类型及故障致因，为现场故障分析及预防提供决策支持。

图1 轨道电路细粒度故障致因挖掘方案

首先，对故障文本数据进行预处理，结合构建的铁路信号专业词典，通过分词初步去除无意义词项，得到分词后的故障文本数据。其次，对不同分词模式下的故障文本数据，基于改进TF-IDF算法进行文本特征提取，转换为词项文本矩阵；利用SMOTE[12]算法对少数类故障数据进行自动生成，基于SVM分类器模型实现均衡后故障样本数据的自动分类。最后，选取分类结果中与电务、工务部门维检工作密切相关且包含故障因素较多的C0及C1致因类型故障文本数据，采用Word2vec模型获取故障文本向量表示，基于K-Means算法分别进行聚类挖掘分析，获取细粒度故障主题类型及故障致因。

2.1 故障文本预处理

针对轨道电路故障文本特点，主要进行以下预处理工作：

(1)文本清洗。通过分析故障文本中包含的故障时间、车次号、区段名称、数字编号等文本记录形式，人工编写正则表达式对其进行清理，例如车次号的提取范式如下

[KZTXGDC]d{1,5}[次]‖d{1,5}[次]

(2) 文本分词及去停用词。考虑到故障文本包含大量铁路专业词汇，为实现对专业词汇的准确切分，减小文本噪声项对后续文本特征提取干扰，构建铁路专业词库及停用词词库见图2，其中铁路专业词库主要包含各专业部门设备名称及专业术语。利用Jieba分词工具获取词项级分词结果，并过滤文本中标点符号和无实际意义的词汇。字符级分词基于词项级分词结果对词汇进一步切分为单字。

图2 铁路专业词库构建

2.2 基于改进TF-IDF算法的文本特征表示及分类模型

传统TF-IDF是一种加权的词频统计方法，用于表征文本中每个词的重要程度，TF-IDF值越大，说明词项携带的信息量越大，对于所在文本可认为此词越关键。TF-IDF包含两部分，即

tf-idf(i,j)=tf(i,j)×idf(i)

( 1 )

式中：tf为词频；tf(i,j)为文本j中第i个词的词频；逆文档频率idf(i)表示经平滑处理后第i个词的idf权值，即

( 2 )

其中，n为文本集中文本总数；df(i)为文本集中包含词i的文本数。

传统TF-IDF应用于短文本数据时，由于每条文本中词汇出现频次均较少，其词频特征接近于One-hot特征表示，并且忽略了特征词在类别间的分布情况，对于短文本中高频词特征提取效果不佳。而轨道电路故障文本数据中，由于不同故障致因类型区别，类别特征的特征词在相应类别中出现频次较高。因此，提出一种改进的TF-IDF算法，考虑类别间特征词分布情况，将tf表示为词i在不同类别中的词频，结合idf权值，提升类别间关键词特征提取效果，改进后TF-IDF表达式为

tf-idf(ik,Ck)={tf(ik,Ck):ik∈Ck}×idf(i)

( 3 )

式中：{tf(ik,Ck):ik∈Ck}为类别Ck中词i的词频tf(ik,Ck)；k为文本类别个数。

通过式( 3 )计算得到文本j的结构化向量表示，为提高泛化能力，对每一文本向量进行规范化，向量维度与文本总词汇量m大小一致，得到最终文本的稀疏向量表示，即

( 4 )

式中：wj为文本j的向量表示；q为文本j中特征词的个数。

以C2供电致因故障类别为例，经过改进TF-IDF算法得到某文本分词后的各词项权值如表2所示，可以得知文本中与C2类别特征相关的外电网、电源等特征词权值均有所提升。

表2 故障文本特征提取

由于轨道电路故障文本中存在多词一义问题，不仅需要人工维护专业词典，而且经分词后会造成词袋总量增加。因此基于词项级分词结果进一步按字切分，减少因故障文本记录不规范及多词一义现象对特征提取的影响，降低文本表示后的特征向量维度。

故障文本表示及分类模型流程见图3。SVM算法在文本分类任务中应用较为广泛，基于结构风险最小理论构建一个超平面，根据间隔最大化准则使任何类之间最近的训练数据点有最大的距离。轨道电路故障文本分类为多分类问题，为解决类别间数据不均衡问题，采用SMOTE算法对改进TF-IDF特征提取及向量表示的少数类故障文本向量进行自动生成，将均衡后的样本数据输入到SVM分类器模型中进行训练，实现对故障文本致因类型自动分类。

图3 故障文本表示及分类模型流程

2.3 基于Word2vec的故障文本聚类模型

由于轨道电路故障多样性，不同故障致因类型中又包含多种故障影响因素，因此在2.1节故障文本分类处理基础上，进一步选取与现场轨道电路设备维检工作密切相关的C0及C1故障致因类型文本数据进行聚类分析，提取相应细粒度故障主题类型及故障致因。

因TF-IDF无法解释文本词汇间相似性[13]，而随着数据及词汇量的增加，其文本向量维度也随之增加，存在维度灾难问题。Word2vec基于词与词之间的上下文关系，通过双层浅神经网络对大量文本语料库的学习，将每个词映射为向量表示，依据相似位置的词具有相似含义的分布假设推断词的含义。由于词向量维度可以通过训练设定，相对于词袋模型中的TF-IDF方法，Word2vec训练得到的词向量维度更低。因此，本文在文本聚类中采用基于Word2vec 的文本分布式表示方法来挖掘更多的文本特征信息。

Word2vec采用Skip-gram词向量训练模型，利用目标词预测上下文词，其训练速度较慢但学习效果更好[14]，其模型结构见图4，图4中的ω(i)表示第i个词的向量表示。

图4 Skip-gram网络模型图

以大量经过文本预处理的轨道电路故障文本作为语料库，通过神经网络学习隐含层中的权重系数，训练出每个词的词向量表示。将每条文本j中所有词的平均词向量vj作为此条文本向量表示，即

( 5 )

式中：ωij为经过训练后文本j中第i个词的词向量。

聚类模型中K-means算法是一种典型的基于距离的聚类算法，在处理大规模数据时快速且高效。采用欧式距离[15]作为故障文本向量距离dist(X,Y)。

( 6 )

式中：X，Y为广义上两个多维向量(x1x2x3…xn),(y1y2y3…yn)，此处X，Y表示两个128维的文本向量，即n=128。

由于故障类型数K不确定，本文采用轮廓系数评估聚类效果并确定最优K值。轮廓系数[7]综合考虑了聚类的紧密性和分离程度，轮廓系数值处于[-1,1]之间，值越接近1表示聚类效果越好，计算式为

( 7 )

对聚类结果中每一类故障文本数据统计分析，基于提取的关键词信息归纳细粒度故障主题类型描述，同时根据专家人工标记的类别信息评估聚类方法有效性，对每一故障主题类型中故障原因词项进行词频统计及排序，获取每种故障主题类型中的多发性故障致因。并根据故障主题类型占比及故障致因的频次排序，将故障占比高的故障主题类型及多发性故障致因作为辅助轨道电路维护及故障分析的有效信息，作为现场检修及维护工作中的检查重点，采取相应预防措施，提高轨道电路工作稳定性。

3 实验分析

实验数据选取某铁路局集团有限公司2015—2018年轨道电路故障文本，去除文本字符长度过少的故障文本记录，共计1 988条，各类别样本分布如表3所示。实验模型采用Python3.6语言及Scikit-learn库实现。

表3 轨道电路故障类别分布情况

由表3可知轨道电路故障文本数据长度较短，属于短文本数据，且各故障类型数据不均衡，大类别故障数据反映出轨道电路故障的主要致因来源。

3.1 故障文本分类实验

选取传统TF-IDF和改进TF-IDF文本特征提取方法，分别基于原始文本数据及经SMOTE算法生成的数据，通过SVM分类器模型进行实验分析，并对不同分词级别模式下的分类模型效果进行实验分析。在故障文本分类实验中，从随机打乱的样本数据中选取75%作为训练集，25%作为测试集。

3.1.1 评价指标

对于多分类问题，常采用混淆矩阵评估每个类别的分类效果，矩阵中每行表示样本真实类别，每列表示样本预测类别，从而表示出真实类别被正确分类及错误划分到其他类别的样本数量。因原始文本数据存在不均衡特征，本文采用精确率Precision、召回率Recall及F1值作为故障文本分类模型的评估指标，计算式分别为

( 8 )

( 9 )

(10)

式中：TPi为类别之真实正类被预测为正类的个数；FPi为类别之真实负类被预测为正类的个数；FNi为类别之真实正类被预测为负类的个数；Pi、Ri及F1i分别为类别i的精确率、召回率及F1值；K为类别总数，此处K取值为6。

3.1.2 故障文本数据均衡处理分类实验

为检验本文引入SMOTE算法对轨道电路故障文本分类效果，选取传统TF-IDF算法分别对故障文本数据均衡处理前后进行SVM故障文本分类对比实验，图5和图6为两种分类模型混淆矩阵。

图5 TF-IDF+SVM分类模型混淆矩阵

图6 TF-IDF+SMOTE+SVM分类模型混淆矩阵

由图5及图6可以看出，分类模型倾向于将少数类别C3及C4样本预测为多数类别，经过SMOTE处理后少数类别C3及C4样本被正确分类的比率得到大幅提升，验证了文中引入SMOTE算法处理不均衡样本数据的有效性。

3.1.3 基于改进TF-IDF算法的分类实验

为进一步验证提出的改进TF-IDF算法在轨道电路故障文本分类中的有效性，将其与传统TF-IDF及Word2vec两种文本特征提取表示方法进行对比实验，分析不同文本特征提取表示方法对于故障文本分类效果的影响。

图7为不同特征提取算法下的轨道电路故障文本分类F1值，其中Word2vec文本向量维度设定为128维，训练参数窗口长度为8。为实现同等条件下对比分析，采用奇异值分解(Singular Value Decomposition，SVD)算法分别对传统TF-IDF及改进TF-IDF文本特征表示向量降维至128维。由图7可知，在轨道电路故障短文本分类问题中，同一SVM分类器条件下，改进TF-IDF文本特征提取后分类效果优于传统TF-IDF及Word2vec，说明改进TF-IDF算法对不同故障致因类型文本特征提取效果最优；从整体上看，基于改进TF-IDF+SMOTE算法的分类模型对不同故障致因类型文本数据分类效果比其他组合模型更优。

图7 三种文本特征下的轨道电路故障文本分类F1值

3.1.4 不同分词模式下分类模型实验

为分析不同分词模式对故障文本分类模型的影响，本文在词项级和字符级对Word2vec、传统TF-IDF及改进TF-IDF三种文本特征提取表示方法及经SMOTE处理后的三种方法分别在SVM分类器下进行实验分析，其中为验证专业词库对故障文本分类的影响，选取未使用专业词库分词处理的传统TF-IDF+SMOTE及改进TF-IDF+SMOTE方法作对比分析。此外，采用文献[5-6]中的文本分类模型方法进行对比实验，其中文献[5]在词项级对TF-IDF文本表示向量进行归一化及SVM-SMOTE均衡化处理，采用Voting多分类器集成学习算法，其最优分类器组合模型为Multinomial NB+Random Forest+SVM，需说明的是该方法未对TF-IDF文本表示向量进行降维处理，因此本文在两种分词模式下采用该集成学习方法仅对文本特征表示向量进行归一化处理，而文本表示向量维度与词袋总量一致；文献[6]在词项级采用Word2vec+MCNN文本分类模型，在卷积神经网络池化层采用两个最大池化及平均池化的混合池化方法。

将Precision、Recall、F1及运行时间Time作为评估指标，不同分词模式下故障文本分类模型的分类性能对比如表4所示，实验结果取10次实验平均值。

由表4可知，字符级分词模式下，各分类方法分类效果相比词项级分词模式均有提升，改进TF-IDF+SMOTE+SVM方法在三个指标上均优于其他方法模型，说明在降维前字符级分词模式下故障文本特征表示向量维度缩减有利于分类性能的提升。

表4 不同分词模式下轨道电路故障文本分类结果

词项级分词模式下，文献[5]方法与本文采用改进TF-IDF+SMOTE方法的分类效果接近，但由于文献[5]方法未经过降维处理，当词袋总量随文本数据量增加时，词向量维度增大导致分类模型运算时间增加，而本文方法文本表示向量经降维处理后维度更低，在文本分类模型计算过程中保证较高精确率的前提下速度更快。对比三种基于Word2vec向量表示的分类模型，在两种分词模式下文本分类效果均低于本文方法，其效果依赖于语料库训练的Word2vec模型质量且易受类别间数据不均衡影响，表明在轨道电路故障文本分类问题中，词项统计特征较语义特征在分类模型中表现更优。

专业词库的应用可以实现专业词汇准确切分，减少噪声词项的产生，表4在两种分词模式下，使用专业词库的分类模型效果较未使用专业词库有较明显的提升。而字符级分词模式下，由于字符级分词本质上以字为基本单位，最终均以字符切分，受专业词库的影响较小，因此对于分类模型效果影响较小。

3.2 基于Word2vec故障文本主题聚类实验

选取与现场检修维护工作密切相关的故障致因类别C0及C1故障文本数据，进一步聚类挖掘细粒度故障主题类型及故障致因。为获取故障文本语义特征，采用Word2vec训练得到故障文本向量表示，训练参数如上节设定。通过式( 7 )对类别C0、C1分别计算轮廓系数与聚类数目K的关系以确定最优聚类个数，见图8。分别选取轮廓系数最大值时的聚类数目K0=5和K1=4，作为类别C0及C1的最优聚类个数，采用K-means聚类算法进行故障文本聚类。

图8 不同K值下轮廓系数

针对聚类结果中每一类故障文本数据，采用改进TF-IDF算法进行关键词提取并排序，依据权重值由高到低排序的特征词归纳故障主题类型描述。结合最优K值由专家对故障文本类别信息进行人工标注，采用准确率(Acc)[16]作为细粒度故障主题类型聚类结果的评估标准。表5列举出C0及C1聚类结果中故障主题类型的所占比例以及准确率，通过10次聚类实验计算其平均值。

表5 C0和C1故障致因类别下的故障主题及准确率 /%

由表5可知，基于Word2vec文本表示的两种致因类型故障文本主题聚类性能较好。聚类结果具有不平衡特征，其中电务致因C0类型器材不良相关故障主题类型占比最高，工务致因C1类型钢轨绝缘处相关故障主题类型占比最高，可作为电务及工务部门故障分析及维护检修工作的重点方向。通过对聚类后故障文本数据分析发现，由于轨道电路故障文本记录中对器材不良相关故障主题类型描述方式相近，基于Word2vec语义特征提取后，导致器材不良故障主题类型相似文本数据被聚类为同一簇，而聚类结果中仍包含了多种不同故障致因。

为进一步获取细粒度故障致因，将聚类得到的故障主题类型作为一级故障主题类型，采用词频统计方法，分别统计排序各故障主题类型文本中的故障原因词项，作为二级故障致因并过滤其他类型词项。词频信息可表征各故障主题类别中二级故障致因的发生概率，这些信息可以突出现场轨道电路运行过程中的潜在风险及可能的故障致因，可指导现场维护人员进行故障分析及预防，避免遗漏潜在故障风险因素，如故障器件及故障区域。表6中列出了C0及C1部分二级故障致因及其词频。

表6 不同故障主题下二级故障因素(部分)

由表6可知，通过对轨道电路不同故障主题类型进一步统计分析，得到了电务及工务致因类型下的细粒度故障致因。如器材不良相关故障类型中，最容易导致轨道电路故障的是接收盒；钢轨绝缘处相关故障类型中，铁屑是最可能影响轨道电路故障的致因。在轨道电路现场运行维护中应将它们作为重点关注对象，有利于现场维护人员掌握轨道电路在运行过程中的薄弱点，并在日常检修工作中将其作为重点检查对象，可提高维护作业质量；辅助现场人员制定预防性维护措施，消除潜在风险减少故障发生，提高轨道电路工作稳定性。

3.3 实验结果分析

(1)针对轨道电路故障文本数据不均衡问题，经SMOTE算法对样本数据均衡处理后，分类模型对小类别故障文本数据分类效果有较高提升，有利于分类模型对小类别样本数据的识别。

(2)基于轨道电路故障文本数据量及数据特点，在故障文本分类问题中，改进TF-IDF文本特征表示方法优于传统TF-IDF及Word2vec；改进TF-IDF算法对于不同故障类别中具有类别特征的高频词有较好的提取效果，结合数据均衡处理提升了故障文本分类模型效果。

(3)针对故障文本叙述不规范以及分词处理问题，虽然词项级分词更有利于人们直观理解，但采用字符级分词模式，不仅有利于减少对专业词典的人工维护，也有利于解决多词一义现象造成分词后特征向量维度增加问题。本文结合词项级和字符级分词获得总词频特征，不涉及语义及词序特征，因此在故障文本分类时不受人工记录的语法结构和语序表述的影响。

(4)由聚类结果可知，基于Word2vec的文本表示对相似词汇以及故障文本语义特征有较好的学习效果，对于同义词及相似语义文本识别效果较好。以最优K值实现聚类能够得到各轨道电路故障致因类别下的故障主题类型及发生比例，进一步依据词频特征统计分析，可获取每种故障主题类型中的易发高发性故障致因。但受故障文本记录时专业用词不规范化和笔误影响，可导致故障致因的提取存在一定误差。因此，现场工作人员应尽可能按铁路专业术语或缩略词进行记录，减少笔误，保证故障文本记录的规范度便于挖掘利用。

4 结论

提出一种轨道电路细粒度故障致因文本挖掘分析方法，基于改进TF-IDF实现故障文本向量表示，采用SVM算法实现SMOTE均衡后的不同故障致因类型文本数据自动分类；针对电务及工务致因故障类型文本数据，基于Word2vec实现文本向量表示，采用K-means算法进一步聚类挖掘分析，提取关键词归纳细粒度故障主题类型，并通过词频统计获取易发多发性二级故障致因。通过对某铁路局集团有限公司轨道电路故障文本记录实验，验证了故障文本分类模型的有效性及准确性；故障文本聚类实现了轨道电路故障类型的进一步细分挖掘，不同故障主题类型间具有较高区分度，借助文本挖掘分析方法，为现场细粒度统计分析轨道电路故障致因及制定预防性维护措施提供了新思路。