铁路局大数据分析平台研究
2016-02-16宋锦平
宋锦平
(太原铁路局 信息技术所,太原 030013)
铁路局大数据分析平台研究
宋锦平
(太原铁路局 信息技术所,太原 030013)
近年来,随着大数据技术的产生、发展及应用,数据上升成为国家战略性资源,也是企业提高竞争力、抢占市场先机的制高点。文章分析太原铁路局既有信息系统应用现状,梳理数据共享、业务协同和挖掘分析的需求,提出太原铁路局大数据分析平台的总体方案和技术方案,明确太原铁路局大数据平台数据来源,设计了资源配置、生产组织、专业管理、安全预警、过程监控及综合分析等6个功能。对于太原铁路局大数据分析平台的建设具有一定的指导意义,也为大数据技术在铁路的推广应用提供了一个可借鉴的模板。
铁路;大数据;数据分析
随着铁路信息化的逐步深入,信息系统建设覆盖了运输生产、经营管理、客货营销等各个领域,强有力地支撑了各领域业务的开展,为增强太原铁路局核心竞争力、提高经济效益提供了重要的保障。然而,由于铁路业务系统长期处于分散建设状态,导致应用系统壁垒严重、信息孤岛众多、信息共享困难、信息资源综合利用水平不高,难以获得跨专业的整体视图,难以开展部门间的业务协同等诸多问题。特别是经过多年积累,各业务领域都积累了海量的历史数据,由于缺乏有效的技术手段及方法,大量有价值的信息难以挖掘。在大数据时代来临之际,企业运行和决策越来越依赖于数据分析[1],而数据来源的维度和深度直接影响了数据分析的结果。
在此背景下,开展太原铁路局大数据分析平台建设,有助于促进信息资源的共享共用[2],最大限度提升大数据分析决策效能,助推铁路局转型升级,为决策科学化和生产分析智能化提供有力保障,最终达到优化运输组织效率,提高企业经营效益,提升客户服务水平的目的。
1 需求分析
1.1 实现数据资源的自动、准确获取,充分提升数据质量
在各业务系统开发数据接口,实现所需数据的自动化获取。建立跨业务领域的统一数据模型,实现数据的清洗、转换。强化数据治理能力,提升数据质量。
1.2 全面整合生产经营数据,促进信息资源综合利用
全面梳理铁路局既有信息资源现状及数据交换、共享及公开需求,打破铁路业务系统数据壁垒,将各系统间需要共享的数据抽取出来,包括车、机、工、电、辆各专业的设备资产信息、日常工作信息、客货运生产信息、交接班报表等,在铁路局级形成集中统一的共享库,为各业务系统及用户提供信息共享服务,促进信息资源在铁路局的综合利用。
1.3 跨系统信息综合展现,形成铁路局级完整、统一的数据视图
目前,铁路信息资源被分割在各个业务部门,难以对企业的生产、运营、设备状态、安全事故等进行综合查看及分析。通过大数据分析平台的建设,实现太原铁路局各专业信息的统一、集中展现,针对某一具体的主题,如设备状态、安全事故等,形成铁路局级完整、统一的视图,从而获得对业务的宏观、整体洞察。
1.4 深度挖掘数据价值,有效支撑经营管理决策
全面收集与铁路运输生产、市场营销、设备状态、运输安全及企业经营等相关的数据资源,通过统计分析、数据挖掘等大数据分析技术,深度挖掘数据价值,发现隐藏在数据背后的规律,洞察“发生了什么、为什么会发生、将要发生什么”,从而为制定和调整经营管理决策提供可靠的数据依据。
2 总体方案
太原铁路局大数据分析平台的建设采取“1+6+N”的模式,即:1个公共的大数据分析平台,6个业务功能,接入N个系统资源。其中,6个业务功能包括:资源配置、生产组织、专业管理、安全预警、过程监控和综合分析。标准规范体系及信息安全保障体系用于确保平台建设的规范化及数据的安全可靠。
太原铁路局大数据分析平台总体方案如图1所示。
该主要用户包括:铁路局领导决策人员、调度指挥与业务管理人员、站段管理层人员、系统管理及基层信息维护人员。根据不同用户角色分成四级权限,各种权限具有访问信息资源的不同范围。铁路局领导决策人员拥有最高权限,可以查看浏览所有信息;调度指挥与业务管理人员可查看处室管辖范围内所有信息资源;站段管理层人员可查看本单位涉及的信息;系统管理人员可增加、删除用户,并为每个用户分配相应的使用权限,但不能修改删除信息。基层信息维护员可以维护录入基础信息、查看指定信息。
图1 太原铁路局大数据分析平台总体方案
3 技术方案
太原铁路局大数据分析平台技术架构如图2所示。采用开源、成熟的技术方案搭建基础的云平台资源池,根据需要再逐步扩展服务器和存储的数量。大数据分析平台技术组件在成熟的Hadoop开源生态圈的基础上进行优化提升、集成改造,同时利用统一目录、统一权限实现完善的安全控制和数据管理功能。
3.1 数据整合层
融合实时数据分布式消息队列、数据/服务总线、数据抽取、数据库实时同步、日志文件汇聚、文件上传等技术,实现异构数据的快速接入和分布式数据整合,具备定时/实时数据的采集处理能力,实现从数据源到平台存储的配置开发、过程监控。
3.2 数据存储层
采用关系型数据库、分布式文件系统、分布式在线数据库等存储技术,提供关系型数据存储、非关系型数据存储、分布式文件存储等数据存储能力,同时提供统一存储访问接口,提高数据存储低成本的横向扩展能力,提高在高并发条件下的快速数据访问响应能力,满足海量数据实时与准实时存储需求。
3.3 数据计算层
图2 太原铁路局大数据分析平台技术架构
提供批量计算、流计算、内存计算等数据处理技术,并支撑结构化查询语言(SQL)查询,满足不同时效性计算需求。批量计算支持大批量数据离线分析,如历史数据报表分析;流计算支持实时处理,内存计算支持交互性分析,同时提供类似SQL的查询分析技术,将查询语句翻译为并行的分布式计算任务。
3.4 数据分析层
集成R语言和Mahout,形成分布式数据挖掘算法库,提供挖掘建模设计工具,构建统一的分析建模能力和运行引擎。完善分析建模、模型运行、模型发布等能力,满足实时、离线应用的分析挖掘需求,为太原铁路局分析决策应用提供基础平台支撑。
3.5 平台服务层
构建统一的平台服务中心,统一封装并提供存储服务、计算服务、分析服务、展现服务等各类服务。同时,基于平台改造非结构数据管理平台、地理信息平台,对外提供非结构文件服务、地理信息服务。
3.6 数据管理
实现铁路局基础数据管理、数据质量管理,以及数据流程转换和数据运维管理等,为铁路局实现数据共享提供技术保障。
3.7 配置管理
侧重于大数据分析平台软、硬件环境的运维及监控,包括集群运维、服务监控、资源监控、异常告警等模块。通过对集群状态,包括服务器CPU、内存、网络、磁盘利用率和健康状态的监控,管理员可以在Web可视化界面上进行日常的管理和维护。
3.8 安全管理
针对大数据存在的隐私保护、存储安全、权限控制、防泄漏等安全风险,研发、集成隐私保护机制,增强分布式存储安全等功能。
4 数据来源
该平台涉及的数据来源主要分为以下3个部分。
4.1 既有的综合报表及统计数据
该部分数据涉及的业务系统包括十八点统计系统、客货精密统计系统、铁路货运列车编组信息系统、车流监测系统、铁路局机车统计通用系统、分界口统计复示系统、铁路行车事故分析(安监报一)、领导干部绩效考核平台、铁路局人力资源系统、物资管理系统、合同管理电子信息系统及投资计划管理信息系统。
4.2 各专业分散系统的采集数据
该部分数据涉及的业务系统包括运输信息集成平台、车站综合管理信息系统、铁路集装箱运输管理系统、货运电子商务系统、三晋快运系统、保价及货运事故处理系统、动车组管理信息系统、客运营销辅助决策系统、剧毒品追踪系统、危险货物运输安全监控系统、机车整备走行公里及乘务员超劳实时报告预警系统等。
4.3 视频及控制系统的数据
该部分数据涉及的业务系统包括客运视频监控、货运视频监控、综合视频监控、机务视频监控、事故救援视频监控系统、车辆发电车视频监控系统、高速铁路防灾系统、供电远动系统、铁路客户服务系统(旅客服务、自动售票)、铁路车号自动识别系统(ATIS)、货运计量安全检测监控系统、供电安全检测监测系统[3]、机车车载安全防护系统、调度集中(CTC)系统[4]、动车组司机操控分析系统(EOAS)、机车监控运用安全管理(LKJ)系统[5]。
5 功能设计
太原铁路局大数据分析平台利用所采集的大量数据资源,开展各种大数据分析挖掘,以支撑各业务领域工作的开展。具体来说,该平台可提供如图3所示的6项功能。
图3 太原铁路局大数据分析平台功能模块
5.1 资源配置
实现机构设置、移动设备、固定设备、自管设备、监控设备等五类资源的查询和统计分析,为资源的合理配置提供决策建议。机构设置是指人员、机构的配备。通过该功能可查询了解运输、机务、工务、车辆、供电等各机构人员配备情况,包括年龄、学历、性别的构成和分布。移动设备主要包括:客车、货车、动车、机车、作业车、轨道车、救援车、检衡车等。固定设备主要包括:线路、接触网、电务等。自管设备主要包括:列尾、轨道衡、超偏载等。监控设备主要包括:供电安全检测监测系统(6C)、机车车载安全防护系统(6A)、车辆监控系统(5T)[6]、视频监控设备等。
5.2 生产组织
生产组织分为客运和货运两方面,功能模块如图4所示。
图4 生产组织功能模块
(1)客运组织
依托大数据分析平台,通过采集统计站售、互联网售票、代售点售票、自动售票机等数据,显示客运生产信息情况,主要内容包括:售票张数、售票站、旅客发送人数、直通人数、管内人员、各站代售点分布情况及售票量查询分析、客票发售方式统计等。
(2)货运组织
依托大数据分析平台的货运大数据处理,可显示运行图、生产计划、施工计划、运用情况、任务完成情况等。开展铁路货运量变化关键影响因素辨识与分类,在此基础上构建货运营销分析数据集,挖掘货运量与影响因素变化之间关联规则,发现联动规律,有效的提高货运量预测的准确性。
5.3 专业管理
专业管理涉及机务、车辆、车务、电务、供电、工务等系统的管理及施工管理。
机务系统显示各段机车状态、机车使用情况、当日机车使用台数、检修机车情况等信息;显示出乘司机信息、机车乘务人员超劳情况等。
车辆系统显示本铁路局车辆总数、运行图、车辆状态、扣修数、关门车数。
车务系统显示调车机运行情况、状态、运行图。
电务系统显示信号机、列车调度指挥系统(TDCS)、调度集中(CTC)设备状态信息。
供电系统显示接触网、供电臂、供电所等设备信息,即检测车视频监测数据、检测车拍照系统数据、接触网曲线数据。
工务系统显示工务轨道车、作业车及工务基础信息内容,内容包括:线路设备、桥隧设备、路基设备、线路检修管理、桥隧检修管理、路基检修管理、工务调度管理、防洪水害管理、综合图绘制管理、速度图管理、配线图绘制管理、大桥略图绘制管理、采石管理、钢轨伤损管理、工务雨量、晃车信息。
施工管理显示施工计划、执行情况、兑现情况及每日的施工计划信息,内容包括:月计划号、日计划号、等级、流程跟踪、线别、地点、行别、施工类型、施工里程、施工项目、时间、施工内容及影响范围、限速及行车方式、行车限制卡路用列车信息、设备变化、施工单位及负责人。
5.4 安全预警
安全预警功能如图5所示。
图5 安全预警功能模块
安全预警模块可显示安全问题通知书发放情况、表扬通知书情况、路外安全隐患情况、挂牌督办情况;显示安全风险预警风险图、安全风险预警统计风险表、各单位安全风险问题统计表;显示每日安全通报、每周安全通报、每月安全通报。
通过综合分析统计报表,可进一步开展铁路事故致因分析、行车安全风险预警、安全风险因素关联分析。
5.5 过程监控
实现车辆监控、供电安全检测监测、机车安全监控、CTC和TDCS监控、货检站安全监控、动车组司机操控分析等。
(1)车辆监控系统(5T)
车辆监控系统(5T)相关系统包括:货车滚动轴承早期故障轨边声学诊断系统(TADS);货车运行故障动态检测系统(TFDS);红外线轴温探测系统(THDS);货车运行状态地面安全监测系统(TPDS);客车安全监控系统(TCDS)。实时显示5T 预报的各种故障信息,统计分析5T、红外线、货车技术管理信息系统(HMIS)及车辆的故障,实时显示列检作业场通过的列车编组信息和通过时间,对每一列车中的过期车、重点车和故障信息进行预警。
(2)供电安全检测监测系统(6C )
供电安全检测监测系统(6C )相关装置包括:高速弓网综合检测装置(CPC),接触网安全巡检装置(CCV),车载接触网运行状态检测装置(CCL),接触网悬挂状态检测监测装置(CCH),受电弓滑板监测装置(CPV),接触网及供电设备地面检测装置(CCG)。显示接触网、供电设备监测、检测信息。
(3)机车车载安全防护系统(6A)
机车安全监控系统(6A)相关系统包括:机车空气制动安全监测系统(ABDR)、机车防火监控系统(AFDR)、机车高压绝缘检测系统(AGDR)、列车供电监测系统(APDR)、机车走行部故障监测系统(ATDR)、机车自动视频监控及记录系统(AVDR)(非直供电机车不安装供电监测)[7]。显示机车动态情况监测、检测信息。
(4)货检站安全监控与管理系统
查询货检集中监控设备检测信息、现场货检作业信息。对设备检测的报警信息进行自动提示,结合现场检查情况进行综合判断。在货检作业过程中,对作业组织和过程进行监控。可根据需求查询相关货检站完成的货检作业安全信息。主要内容包括日期、相关货检站、车次、车种、车号、发站、到站、品名、报警信息、处理记录等。
(5)动车组司机操控分析系统(EOAS)
查询动车组司机操控信息,防止违章操作、杜绝事故发生,即图形化实时跟踪、查询动车运行信息;速度、常用制动、紧急制动、司机操作、列车自动防护(ATP)状态、分相信息等;根据车次、司机号或动车号实时统计各事件记录数量。
(6)列车运行状态信息系统(LAIS)
查询列车运行情况实时信息[8]。实时查询管辖区内在途列车的运行情况和安全信息。具体信息包括:担当机务段、列车车次、机车型号编号、值乘司机、副司机姓名、担当任务类别、机车总重、列车计长、列车辆数、列车位置、运行速度、当前限速、制动主管压力、机车运行工况、机车信号显示、公里标等信息。
5.6 综合分析
根据资源配置、运输组织、调度指挥、客货营销、安全管理的需要,太原铁路局大数据分析平台提供对分散的数据进行关联,搭建分析模型,深层次挖掘分析,为决策提供智能的依据。
(1)铁路局车辆状态实时分析
铁路局现在车信息的动态实时数据分析,了解掌握铁路局空车分布情况、重车去向情况,结合机车整备、线路施工、天窗计划等信息资源,为铁路局领导和调度指挥人员提供决策依据。
(2)营销数据分析
通过对请车、批车、装车、品类、发货单位、装车去向的数据分析,铁路局领导和营销部门可及时了解掌握铁路局各站、装车点、货主的发运变化情况,有利于提前调整营销策略,加大货源组织,提高运输效率。
(3)设备故障分析
根据各设备单位的监测、检测及故障检修数据,了解掌握铁路信号、道岔、车辆、机车、供电、工务、电务等设备故障发生的概率、对运输生产影响的程度,以便针对故障种类和故障原因,制定相应措施,预防故障发生。
(4)客运数据分析
通过对客运信息进行比对分析,掌握客流变化情况,预测客流高峰发生的时段和所需的设备、人员,提前做好应对预案,保证运输组织及旅客乘降安全。
(5)客票发售数据分析
各站客票发售信息的分析,可合理配备各售票站、售票点的工作人员和设备,既能够满足需求,又可以节约投资。
(6)安监信息分析
通过对安全监督信息及管内事故的大数据分析,了解掌握不同事故发生的数量和原因,铁路局相关部门可根据分析结果制定相应措施,预防同类事故发生。
(7)决策及措施应用效果对比分析
图形化显示决策前后对运输效率的影响,措施制定前后对设备故障的影响,以及营销决策前后对运量的影响。
6 结束语
大数据技术对于提升当前我国铁路信息化水平具有非常重要的作用。本文针对太原铁路局对信息资源共享和数据分析的需求,研究了太原铁路局大数据分析平台方案。提出了“1+6+N”的总体建设方案和开源成熟、逐步扩展的技术方案。分析了该平台所需接入的三类数据来源。详细讨论了平台的6个功能模块,指出了各功能模块涉及的铁路业务系统与提供的具体数据处理、分析、查询和展示功能。该方案对太原铁路局大数据分析平台的应用实施具有重要的参考价值。
[1]何建华.大数据对企业战略决策的影响分析[J].当代经济管理,2014,36(10):13-17.
[2]胡卫平.大数据助推铁路创新发展的思考[J].理论学习与探索,2016(1).
[3]祁柳生,吴云锋.高速铁路牵引供电安全检测监测系统(6C系统)的应用与管理[C].世界轨道交通发展研究会年会暨2014中国轨道车辆技术与装备交流大会,2014.
[4]黄 康,张辉东.CTC系统整体设计的研究[J].铁道通信信号,2003,39(4):21-23.
[5]周志辉.LKJ车载数据检测预警系统应用的研究[J].铁道通信信号,2010,46(2):13-15.
[6]赵 颖,蒋 荟.基于数据同步技术的5T系统架构优化方案研究[J].铁路计算机应用,2016,25(6):9-12.
[7]张启安,刘 峰.机车车载安全防护系统(6A系统)数据的应用[J].中国铁路,2012(12):7-10.
[8]唐国平,李国华,王小方.LAIS列车运行状态信息系统[J].机车电传动,2007(4):52-56.
责任编辑 杨琍明
Big data analysis platform of railway administration
SONG Jinping
( Institute of Information Technology,Taiyuan Railway Administration,Taiyuan 030013,China)
With the development and application of big data technologies,data become the national strategic source,are also the commanding point to improve the competition and control the market.This article mainly analyzed the current situation of the Information System for Taiyuan Railway Administration,carded the requirements on data sharing,business collaboration and data mining,proposed the mainframe and key technologies on big data analysis platform in Taiyuan Railway Administration,cleared the data source of the big data analysis platform,designed the corresponding main functions which consisted of resource allocation,production organization,service management,safety precaution and data analysis,etc.The above-mentioned works played an important role on the construction on big data platform in China railway.
railway;big data;data analysis
U29-39
A
1005-8451(2016)10-0021-06
2016-07-03
宋锦平,工程师。