高速铁路牵引供电系统大数据平台及应用

2018-09-11

电气化铁道 2018年4期

0 引言

信息交换技术、信息处理技术及信息存储技术的快速发展，使得海量数据得以汇聚。超大规模数据隐含更真实的事物本质和规律，其呈现出来的巨大价值正推动着各行各业的深刻变革。

顺应大数据技术的发展趋势，铁路行业在信息化建设取得长足发展的基础上，积极开展大数据技术的应用研究。近几年，在高速铁路牵引供电领域，已开始逐步整合各类信息平台数据，研制基于大数据技术的跨平台多源信息整合与分析系统，构建多维信息共享、多元信息一体化的管理系统，在大数据的应用上做出了诸多有效尝试，力求将高速铁路牵引供电系统打造成高效、节能、环保、智能化的系统。本文主要介绍大数据技术在高速铁路牵引供电系统中的应用。

1 数据源

高速铁路牵引供电系统的数据具有来源广、类别多的特征。

按照数据来源划分，数据源可以分为牵引供电系统内部数据、铁路内部其他系统数据及铁路外部数据。数据来源构成和分类如图1所示。牵引供电系统内部数据主要来自供电SCADA系统、供电6C系统、供电调度运行管理系统及供电运维管理系统等；铁路内部其他系统数据主要来自高速铁路自然灾害监测系统、铁路运输调度管理系统、高速铁路综合视频监控系统等；铁路外部数据主要来自地方气象预报公共服务系统。

按照数据类别划分，数据源一般可分为结构化数据、半结构化数据以及非结构化数据。结构化数据包括预定义的数据类型、数据格式和数据结构，如关系数据库数据、电子表格文件等；半结构化数据主要有识别模式和自描述定义，支持语法分析的文本数据文件；非结构化数据没有固定的结构，如文本文件、图纸、图像和视频等。

图1 高铁牵引供电大数据来源及分类

2 大数据管理

通过建立统一的具备高扩展性的高铁牵引供电大数据管理平台，可实现数据的采集、存储和处理，并提供面向高铁供电领域多场景应用的客户端服务接口。高铁牵引供电大数据管理平台总体技术架构如图2所示。

图2 高铁牵引供电大数据管理平台架构

2.1 数据采集

高铁牵引供电大数据管理平台提供流式数据采集、数据库数据采集和文件数据采集3种数据采集方式。

流式数据采集用于采集高铁牵引供电各类接口系统提供的流式数据，包括设备状态监控数据、各类实时检测监测数据等，提供数据来源配置、传输通道配置、传输目的配置等功能。

数据库数据采集用于从各类牵引供电接口系统关系型历史数据库中抽取数据到大数据管理平台，提供抽取源、路径、目标、抽取规则、转换规则等配置功能。

文件数据采集用于采集图片、视频、文本以及电子表格等文件中数据信息，提供文件校验规则、预处理规则等配置功能。

2.2 数据存储

高铁牵引供电大数据管理平台采用分布式文件系统、分布式数据库、关系型数据库及内存式数据库等多种存储引擎，构建易于扩展的分布式大数据存储系统，可随数据规模的扩大动态增加存储节点，具有较强适应性。

2.3 数据处理

高铁牵引供电大数据管理平台可根据不同业务场景需求，处理不同规模、复杂多样的数据，提供批处理、流处理、交互式处理等多种数据处理方式，并提供基于大规模数据的聚类、关联、回归、分类等多种大数据分析算法。

批处理方式用于复杂的批量数据处理，其时间跨度在几分钟到数小时之间。

流处理方式用于实时数据流的处理，其时间跨度在数百毫秒到数秒之间。

交互式处理用于基于历史数据的交互式查询处理，其时间跨度在数十秒到数分钟之间。

3 大数据应用

大数据应用的目的在于发现知识、洞察规律并实现预测。高铁牵引供电大数据的应用能够为高铁牵引供电系统的运行、维护带来高效、便捷和精准的服务。目前，高铁牵引供电大数据的应用形式大致可分为数据可视化、多维数据融合、业备深度挖掘3种。

3.1 数据可视化

数据关联可视化是大数据最基础的应用形式。简单的数据展示已无法满足高铁牵引供电系统的业务需求。数据可视化技术能够充分利用统计学、计算机图形学和图像处理技术，将海量数据信息直观、生动、高效地展示给相关人员，使其及时准确地了解各种信息。同时，通过可视化展示可将错综复杂、看起来无法解释及关联的数据建立联系和关联，发现规律和特征。

例如，高铁牵引供电大数据管理平台可抽取供电6C系统数据，采用区域着色图、折线图（图3）、饼图（图4）、数值与曲线综合展示图（图5）等多种方式进行可视化展示。