基于大数据平台的铁路通信网络管理系统优化设计与实现

2016-04-25任俊桦刘峰

中国科技博览 2016年7期

任俊桦++刘峰

[摘要]针对目前铁路通信网络管理各系统各自独立，集中存储数据缺乏，无法进行全面检测、统计和管理的现状，提出了铁路通信综合网络平台建设的目标，设计了建设优化的系统架构，并针对某铁路局级综合网络管理中心的需求，进行了方案实现，为满足未来多系统共用大数据平台的需要提供了前期基础。

[关键词]铁路通信网络大数据平台数据分析

中图分类号：U291-39 文献标识码：A 文章编号：1009-914X（2016）07-0029-01

随着中国铁路的高速发展，铁路通信网正迅速发展成为一个集光纤传输、无线传输、自动管理等高度数字化的大型网络[1]。然就目前而言，铁路通信网各个系统相对独立，无法进行全面监测、统计和管理，更无法为各个系统和系统间的建设和优化提供数据分析[2]。特别在当前大数据背景下，迫切需要通过综合自动管理技术，对各个系统信息进行综合呈现、综合分析，以便整合铁路资源和业务，为故障预测、预警提供数据基础，为管理决策提供依据，从而实现铁路运营管理方式的现代化。

1.现状铁路通信网络管理存在的问题

受建设历史原因及设备提供商限制，目前铁路网管中心存在二十多套系统，除通信组外，其它系统基本都是相互独立，每套系统只针对各自的传输、设备等进行管理。在我国信息化建设起步晚的大环境下，台账报表的生成、辅助资源的分配、环境动力的布防、撤防及故障处理等很多工作是手工进行，且不能根据故障告警自动生成派工单，技术人员整日忙于电话接打中；告警定位没有直观形象的可视化界面显示，只是给出数字指导，在有限的故障处理时间内，在如驻波的告警处理、光功率的故障处理中不能迅速定位故障，存在匆忙中出错的可能；由于有些系统建设较新，还没有形成丰富的专家知识库及典型案例。大数据技术是当前前沿技术，也是未来信息化发展的方向。但目前通信网管系统缺乏集中存储数据，数据存在散、乱状态，不能为将来的大数据分析提供数据积累，也不能为未来信息化的发展做数据沉淀[3-4]。

2.铁路通信网管系统建设目标

通过对现有铁路网管系统的整治，完善系统。对目前处于散、乱的数据进行集中存储管理，为将来的大数据分析积累基础数据，并在大数据平台上（Cloudera）进行数据挖掘、关联分析、预测性分析和统计。通过对告警历史数据的回归、关联性分析，预测未来系统可能发生的故障，并定位故障点，提出故障处理意见，在故障处理规定的时间内（如5分钟内上报，10分钟处理完毕）指导技术人员快速定位和处理故障。

3.系统架构

3.1 设计概要

为满足大数据平台下的业务需求，设计一种新的硬件架构，以满足多系统共用大数据平台的需求。为此，以某局级铁路用户为例，考虑需新增x86服务器，作为ROSS系统数据采集解析的服务集群；在Cloudera大数据平台上，完成数据汇总及数据分析功能。数据存储共用大数据平台的分布式文件系统（HDFS），数据分析在Cloudera大数据平台上进行。

3.2 设备选型及业务逻辑

系统服务器采用多台x86虚拟机服务器作为采集服务器集群，使其具备横向扩展能力强、增减容方便、易于管理和监控、可以快速部署上线等特点。

3.3 整体技术方案

该技术方案的核心是Cloudera大数据平台。图3是大数据平台集群的架构示意。针对本系统，采集/接口服务器、各系统的上层应用服务器均作为Cline存在；通过TCP/IP网络与大数据平台通信。大数据平台采用1个NameNode和多个DataNode的部署方式，并用Sqoop方式作为数据接收接口。

3.3.1 数据采集服务器

数据采集服务器负责历史数据采集，采用CentOS Linux操作系统，部署专用的采集及解析软件，其工作模式与传统网管应用采集、解析、入库的方式类似，区别在于传统方式解析文件后写入数据库，而本系统完成文件解析后直接写入Cloudera Hadoop中。

3.3.2 大数据平台

（1）软件设计方案

数据存储采用HDFS保存解析后的原始数据文件；数据分析采用MapReduce作为分析工具；MapReduce用于大规模数据集（大于1TB）的并行运算，可以极大地方便编程人员将程序运行在分布式系统上。软件实现可以指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数用来保证所有映射的键值对中每一个共享相同的键组。

（2）硬件设计方案

大数据平台存储空间计算见表2。

即保存到大数据平台的单文件大小为0.3MB，如需要保留9天的数据，如表2经计算大数据平台共需要3.2TB空间。

（3）部署方案

依据上述情况，大数据平台应共用x86服务器3台，采用1+2方式部署，其中，1台服务器作为NameNode，用于元数据管理，采用双机互备方式保证NameNode的高可用性；2台服务器组成DataNode集群，用于元数据存储，元数据存储采用标准的1+2方式。单服务器硬件配置为8核CPU，32GB内存、2TB硬盘。

3.3.3 应用服务器

应用服务器主要功能是针对汇总后的数据提供显示功能。应用服务器可以采用Linux服务器+Apache Tomcat方式提供服务。其与Hadoop集群通信主要有如下内容：读取汇总数据，将Hadoop处理后的汇总数据读出，用于上层应用的数据计算；读取详情数据，从Hadoop中直接读取小时级别数据。

3.3.4 各服务器推荐配置

基于上述配置，各服务器最终配置见表3。

3.3.5 扩展性

按照以上配置，当整个大数据平台确实由于资源不足导致应用系统受到影响时，大数据平台可以很容易地完成硬件扩容，即只要将新的服务器加入大数据平台集群即可，新加入服务器的数据文件重分配工作会由大数据平台自动完成。

4.功能实现

以上对某局级铁路网管中心提出的需求做了较为全面的方案实现。从实现效果看，前期先解决了目前关心的问题，即通过大数据基础平台的建设，实现了业务数据的全面留存，为相关设备老化更换提供数据基础；实现了业务数据的趋势分析，为设备超预警提供预判基础；为数据多元化分析提供了平台。完成的主要功能有：

4.1 数据管理

对现有通讯系统中的某些端口实时业务数据进行抓取，并对其进行统计分析。包括数据采集和数据分析两个子功能模块。

4.2 故障管理

4.2.1 故障登记