基于大数据的动车组运维 数据服务平台研究

李超旭，张惟皎，李 燕

（1.中国铁道科学研究院 研究生部，北京 100081；2.中国铁道科学研究院集团有限公司 电子计算 技术研究所，北京 100081）

0 引言

随着动车组运力不断增加、管理逐步深入，动车组管理信息系统及相应配套系统的建设和应用，配属、计划、履历、故障、大部件等关键业务的流程已逐渐标准化、日常化，高效稳定的信息化生产管理方式在动车组运用检修工作中发挥着举足轻重的作用。在铁路加快信息化发展的新形势下[1]，动车组信息系统体量的不断增加，其相应产生的数据也在呈指数形式增长，由于目前还没有针对动车组运维数据服务平台建设方面的研究成果，传统数据处理方式应对大体量多类型数据的不足造成了现有系统应用查询响应慢，跨业务域综合应用支撑差，基础字典表及关键业务表数据不标准、不规范，系统间接口管理不统一等一系列亟待解决的问题。

大数据技术的快速崛起为海量多源异构数据的处理提供了一种快速高效机制[2]。针对各动车组信息系统各自建设，独立工作，数据资源共享程度低，数据集成度弱所造成的基础数据多头维护，缺乏统一管理的现状[3]，动车组运维数据服务平台应用大数据、流式计算、云计算等技术，进行数据资源整合，结合数据规范和接口规范实现对外统一提供数据服务。从而保障全路各类动车组运用检修数据一致性和完备性，实现动车组运维过程的全面掌控，为动车组故障预测与健康管理(PHM)、运行状态监控、运维效率提高、大部件维修保养提供辅助决策支持[4]。

1 动车组运维数据服务平台架构研究

1.1 总体架构

动车组运维数据服务平台通过整合相关系统数据，规范数据内容，提高数据质量，为监管类和统计、分析类应用提供数据支持。总体架构设计依据可重用性、安全性、高可用性、可管理性、可扩展性的设计原则，采取总体规划分级实现的方式完成。动车运维数据服务平台分中国国家铁路集团有限公司(以下简称“国铁集团”)级与铁路局集团公司级两级平台，通过相同数据架构统一搭建，依托铁路内部服务网进行数据传输，汇集动车组相关信息系统中配属、履历、检修作业计划、故障等内部系统数据和动车组高级修作业设备数据等外部系统数据，支撑铁路系统内各层级动车组运维数据全面应用，实现动车组运维数据共享最大化。动车组运维数据服务平台总体架构如图1所示。

图1 动车组运维数据服务平台总体架构Fig.1 Overall architecture of EMU operation and maintenance data service platform

1.2 逻辑架构

结合动车组运维数据服务平台总体架构，动车组运维数据服务平台逻辑架构分为数据源层、数据采集层、数据管理层、数据分析层、数据应用层、标准规范体系及安全体系[5]。各层之间以数据流为驱动，密切联系，相互协作，实现动车组运维数据服务平台数据的采集、加工、分析与应用。动车组运维数据服务平台逻辑架构如图2所示。

（1）数据源层。数据源层确定了动车组运维数据服务平台中的数据范围，主要包括由动车运用所、检修基地、主机厂、配件供应商4个数据落地区内部系统与第三方系统产生的动车组运维相关数据。

（2）数据采集层。数据采集层为贴源数据层，即数据采集层内数据格式与内容均与数据源层系统数据保持一致，利用ETL (Extract-Transform-Load)工具，根据数据更新特点制定抽取策略，将数据源层系统中结构化与非结构化数据抽取至数据采集层[6]。同时数据采集层中架设数据缓冲区，保证数据抽取效率与可靠性。

（3）数据管理层。数据管理层包含数据处理与数据治理2部分，数据处理主要完成实时数据的查询、计算与离线数据的清洗、转换、整合、汇总。通过数据处理消除数据冗余，纠正数据错误，结合数据治理实现数据的规范、稽核与管理。

（4）数据分析层。通过利用Hadoop分析组件结合相关分析算法实现大数据分析功能，运用神经网络、深度学习等机器学习技术，研究动车组相关模型，并将已有的数据作为模型训练样本，通过大量训练学习不断优化模型，为数据应用提供分析服务。

（5）数据应用层。结合用户应用需求，将平台功能通过封装以接口服务形式发布，为用户提供基于大数据的数据处理、分析服务，还可支撑动车组PHM、统计分析、数据可视化、动车组综合监控、智能运维等相关数据需求。

（6）标准规范体系。标准规范体系作为数据规范化的前提，数据处理的标准依据，贯穿动车组运维数据服务平台构建全流程，保证动车组相关业务系统间数据的一致性和标准性，打通不同业务系统间的数据壁垒，实现不同系统间数据共享。

（7）安全体系。构建健全的数据传输、用户认证、权限认证等安全体系保障动车组运维数据服务平台的安全平稳运行。

1.3 功能架构

结合动车组运维数据服务平台总体架构与逻辑架构，动车组运维数据服务平台功能架构应该满足数据处理功能与特定需求，分为系统管理、安全管理、元数据管理、数据处理、数据存储、数据分析、功能应用7个模块。动车组运维数据服务平台功能架构如图3所示。

（1）系统管理。合理的权限分配与系统状态的实时监控是动车组运维数据服务平台平稳运行的前提，系统管理提供完整的用户权限管理与任务调度机制。通过系统管理可实现系统运行状态的实时监控、系统配置与日志管理等系统功能。

（2）安全管控。安全管控模块是动车组运维数据服务平台的安全保障体系，主要通过身份验证控制接口与用户的接入、访问，实现平台内外接口安全管控，数据加密、数据校验等安全措施保证数据传输的安全性。

（3）元数据管理。元数据管理是数据治理的基础，通过元数据管理帮助完成动车组运维数据信息、服务信息与业务信息的采集，实现海量数据的高效管理与数据资源可视化，帮助管理人员随时掌握数据资产状况，同时支持接口服务的生成与ETL接入功能[7]。

（4）数据处理。数据处理模块主要完成对结构化与非结构化数据的抽取、加载、检测、转换、汇总、整合等功能，通过一系列完整的数据处理流程实现数据标准化，为后续各类应用服务、基础数据管理及数据分析服务提供数据基础。

（5）数据存储。针对源数据不同类型，利用大数据分布式存储技术，融合现有数据存储方式实现多源异构数据的快速高效存储。

（6）数据分析。充分利用成熟算法与数据处理技术实现动车组运维数据服务平台中流式数据与离线数据的处理与分析，结合具体业务需求，如故障预测、故障诊断、故障模型等，完成数据分析与模型生成功能。

（7）功能应用。功能应用模块包含定制查询与查询结果展现、需求报表的定制与展现等平台公共基础功能，通过统一接口申请功能管理平台接口，对其他业务系统提供数据共享、展示服务、统计分析等功能。

2 动车组运维数据服务平台关键技术及应用

2.1 流式数据处理技术

源数据系统中包含流式加密数据，动车组相关系统使用此类数据时往往需要单独架设服务器用来接收、解码，这就意味着其他系统应用此类数据会导致运用系统运营成本的提高，针对这些流式数据动车组运维数据服务平台提供了相应的数据处理策略。

以动车组车载信息无线传输系统(WTDS)数据为例，WTDS数据为动车组车载传感器回传数据，动车组运行过程中车载传感器将数据实时回传至WTDS系统服务器，WTDS系统服务器接收传感器回传数据后将数据通过ActiveMQ (消息中间件)同步至动车组运维数据服务平台Kafka服务器。利用基于内存的大数据并行计算分析组件spark对WTDS加密数据进行解析，解析后的数据通过实时采集工具streamsets存入分布式数据库HBase。为实现数据快速查询，根据一定规则将解析后的数据进行分割，分割的数据头存入基于Key-value的非关系型数据库Redis中，当有查询需求时首先查询Redis，实现查询快速响应。其他系统需要WTDS数据时，用户可通过提交数据接口申请实现数据共享。

2.2 统一编码技术

在系统设计时，各数据源系统多数采取独立设计，较少考虑共存系统的标准化。即使存在数据交互的系统，也只是定义了数据接口，且接口内定义的参数代码有时与各系统中的参数代码存在差异，如车组、车次、车型等参数，在各系统中的定义表示不尽相同。如果不对这些代码进行统一标准转换，则在数据集中存储时很难实现统一，这也给数据整合带来了难度。

代码标准化转换是ETL过程的步骤之一。按照标准编码规则，将各系统的编码与标准编码之间定制映射，并在源数据进入数据管理层时，进行转换处理。具体的标准编码可考虑国际或国家标准，或采用铁道部专用系统标准代码。

对于具有各种标准编码的数据项，应该尽可能使用标准编码作为系统的统一编码标准；对于没有标准编码的数据，应首选关键数据源系统(如核心业务模块系统)的编码规则作为编码标准，以保证关键数据的一致性；对于关键数据源系统中没有编码的数据项，可采用其他多数数据源系统所采用的编码规则作为编码标准，以保证多数数据的一致性，降低转换负担。

2.3 数据预处理技术

各源数据系统运行多年，基础数据和各类业务数据大量积累，由于缺乏有效的管理与治理，造成数据杂乱、重复与模糊，对数据进行有效的预处理操作不仅可以保障数据的一致性与有效性，而且对后期数据分析与数据挖掘具有重要意义。

源数据系统将数据抽取至采集层后，针对所采集的不同类型数据采取对应的数据预处理方法。例如：对于重复冗余数据，若数据格式为字符串型则可通过对比去重，若数据格式为数值型则可通过基本紧邻排序算法进行去重；对于缺失数据，采取寻找临近值方法进行插值填充，若数据实例较多则直接忽略缺失数据；对于噪声数据，利用IPF与EF算法进行噪声过滤处理，滤除干扰数据[8]。

2.4 数据服务平台应用

（1）系统数据源优化。动车组履历系统主要针对新造和检修动车组以及动车组所有关键配件进行管理的信息系统，记录了车组级履历信息、配件级履历信息和关键配件组成信息。其中车组级履历信息包括：车组号、车组批次、车组名称、车型、制造厂商、车长、车宽、车高等车组基本信息；配件级履历信息包括：部件产品表示代码、产品序列号、配件生产日期、配件状态等配件信息；关键配件组成信息包括：关键配件结构、子配件安装位置、关键配件安装车组、安装时间等关键配件信息。

目前，动车组履历系统数据分别来源于主机厂、检修基地、各动车段及下属动车运用所、设备供应商和配件供应商等。不同数据源通过接口将数据推送至动车组履历系统。在系统使用过程中出现了由于通信接口不断增多导致接口管理工作复杂化，同时存在部分人工检修复核数据不准确造成的数据质量差以及数据更新不及时等诸多问题。

动车组运维数据服务平台的构建能够有效解决以上问题。动车组运维数据服务平台所管理的数据覆盖了动车组全生命周期内的所有相关数据，因此，其可以作为动车组履历系统的惟一数据来源。通过统一接口，动车组运维数据服务平台为动车组履历系统提供可靠有效的数据，从而解决动车组履历系统接口和数据质量问题。

（2）故障预测与健康管理(PHM)建设。目前铁路投入运营的动车组已经超过3 000组，动车组在运用、高级修期间产生了大量的运维数据，但缺乏对数据的综合分析与利用，缺少对关键部件全寿命周期内性能演变规律的研究。动车组PHM是指动车组的故障预测与健康管理，是综合利用现代信息技术，为实现铁路设施全寿命周期的管理、动车组从“计划修”向“状态修”的转变、同时提高动车组检修质量与效率、降低运维成本的有效方案。

动车组PHM在建设与投入运用过程中，需要大量动车组相关运维数据用于状态分析与模型计算。动车组运维数据服务平台集成了动车组“1车1档”信息，包含从动车组新造到投入运营生产及检修产生的所有静态履历和动态履历信息，为动车组PHM建立覆盖动车组全生命周期的数据资源目录提供了完整的数据支撑。利用动车组运维数据服务平台，有利于确立动车组PHM数据采集机制、数据分级管理、开放共享模式和数据标准规范。同时，使用平台接口申请功能，获取动车组开行、运行故障、WTDS、TEDS等数据，可作为动车故障预测及健康管理模型的标准输入。动车组运维数据服务平台在动车组PHM建设过程中起到了不可或缺的数据支撑作用。

3 结束语

随着大数据热潮与铁路信息化建设的全面开展，信息化管理在生产中成效显著。动车组运维数据服务平台面向动车段配属、计划、履历、故障、大部件等系统业务，迎合多种业务需求，与现有的动车组信息系统建立联系。通过数据规范制定、大数据平台搭建、数据仓库建设、元数据管理等一系列流程建设，该平台具备数据规范治理、数据共享、数据挖掘、数据接口管理等功能，同时实现了动车组主数据统一管理、同步维护、集中发布和全路共享，对动车组PHM建设，动车组智能运维，保障动车组安全运输，提高经营效益与运输质量，提升服务能力，具有重要的现实意义。