基于云的轨道交通大数据管理平台设计仿真测试研究
2022-07-12赵起文吴越方如胜
赵起文,吴越,方如胜
(1.东软集团股份有限公司,辽宁沈阳 110179;2.温州市铁路与轨道交通投资集团有限公司,浙江温州 325000)
0 引言
在“互联网+”时代背景下,轨道交通各信息系统日益发展,数字化运营的理念逐步成型,传统轨道交通行业采用的IT 架构设计模式将难以适应新的业务要求。信息化系统通过全面的信息收集和快速分析,为运营与建设管理层提供经营决策和风险控制的依据。未来的大规模线网建设与运营工作的开展需求,以及其他多元化发展业务的目标制定,都对信息化建设提出了越来越高的要求[1-2]。
另一方面,在轨道交通信息化过程中,原始数据得到了大量积累,且这些动态的数据体系往往具有传播快、周期性强及多源异构等大数据化的特点。轨道交通大数据拥有强大的开发和应用价值,例如工程造价[3]、客流预测[4-6]等。目前,轨道交通大数据的相关技术应用已在轨道交通行业中得到一定的发展,并能显著提升管理效率。在城市轨道交通线网化进程[7]和海量数据的累积过程中,挖掘能效数据的潜在价值以提升地铁能效管理水平、实现节能降耗,对地铁的经济运行具有重要意义。陈莉莉等[8]基于Hadoop平台实现轨道交通能效管理系统的建设方案进行了研究,并分别以历史数据和实时流数据的数据流和功能框图,具体说明了系统的实现方式。
基于上述现状,结合我国正在大力推动智慧城市建设的宏观政策,本文以试点城市之一的温州市为例,阐述温州市智慧轨道交通建设新方向,即研究建设基于云的轨道交通大数据管理平台。
1 轨道交通大数据云管理平台现状分析
随着轨道交通运营里程的不断增长,运营客流量、行车量和设备数量也有爆炸式增长,原有的数据管理方式在新形势下遇到了问题。如大型数据的存储和管理、实时数据分析、客流精准化分析、设备库存和维修管理等,采用传统的OLAP 分析很难达到运营服务的要求。
基于上述问题,目前国内均采用大数据平台来解决上述问题,各地轨道交通企业达成了空前的共识——Hadoop。但目前轨道行业对基于Hadoop 的整体大数据解决方案还不足以支撑后续业务的开展,主要表现为:Hadoop 是一个庞大的生态圈,对圈内的各个软件了解不足;没有实际的测试环境支持研发和测试;对基于Hadoop 平台的性能和功能特性理解不足;传统的产品都是基于TD 等数据仓库实现,无法移植到Hadoop平台上。
面对后续轨道交通云解决方案实施后大量的基于Hadoop 的大数据平台建设需求,期望建立一个新的平台,可以基于Hadoop 建立大数据云管平台,对Hadoop生态圈内的软件产品进行识别、评估、适配,形成基于Hadoop 具有轨道交通特色的大数据平台,该平台将为轨道交通业务提供大数据平台支撑。
2 轨道交通大数据云管理平台搭建
大数据云管平台硬件由hadoop 集群、应用服务器、实时/内存数据库、非结构化数据存储、接口服务器构成。部署图见图1。
图1 大数据云管平台硬件部署图
Hadoop 集群:由一主一备NameNode 服务器、接口服务器及10 个datenode 构成,集群组成了整个数据中心数据存储基础,负责存储从ACC、ACC 灾备中心及线路ISCS、信号、能源管理、主变电所等业务系统采集到的数据,并对数据进行分析加工,形成汇总层数据,最终形成集市层数据,为上层应用服务提供数据支撑。
应用服务器:两台数据库服务器,存储数据集市层数据,通过jdbc 数据接口,为上层应用提供数据服务。
内存数据库:为指挥中心提供客流、线网行车图、票种票卡量,整点速报、能耗等实时数据服务。
非结构化数据存储:存储非结构化数据,并通过FileNet接口对外提供数据服务。
Hadoop 对外接口服务器:hadoop 集群对外接口,接收采集到的外部应用数据(近线、离线数据文件),执行程序,进行任务调度。
3 大数据应用研究
3.1 客流大数据分析研究
客流分析系统提供对客流数据的深入分析挖掘功能,通过数据分析挖掘工具软件实现数据的多维查询、分析、展示需要,为统计分析、信息管理、信息服务提供应用服务。
客流分析功能是根据城市轨道交通系统实际的运营需求,建立能够反映列车运营、客流分布实际情况,支持运营辅助决策的客流指标体系,结合原始客流刷卡信息、列车运行信息、客流清分计算结果信息、车站设施分布、出入口等信息,设计各个客流指标的计算方法、标准和流程。
客流指标分为基础指标和衍生指标。其中,基础指标分为进站交易、出站交易、OD 匹配和清分等;衍生指标分为进出量、周转量、换乘量、去路/乘距、强度负荷、客流不均衡度等。客流分析功能还包括乘客画像、车站画像、列车画像、区间画像、电扶梯画像等画像功能,以进一步实现和保证客流指标计算的适用性和准确性。
3.2 设备大数据分析研究
3.2.1 多维分析
综合监控相关系统中的大量设备,产生大量预警信息以及各种级别的故障信息,对历史预警和故障的内容、分布等的分析对于设备管理至关重要。定期对各子系统的运行工况、设备能耗、工作环境稳定性等指标进行多维统计分析,不仅有助于了解各设备的健康状况,也有助于了解每条线路和站点的设备运行状况,对设备使用和维保工作的改进起重要的指导作用。
3.2.2 故障次数分析
通过不同维度对设备故障次数进行统计分析,如线路、车站、专业类型等维度的分析。
3.2.3 设备完好率分析通过对各车站设备完好情况的统计,分析各车站设备状态情况。
3.2.4 智能运维(1)设备关联分析
各类设备故障之间可能存在不易发现的关系。例如照明系统故障,可能导致其他类别设备也出问题,由于不存在直接关系,所以不会被发现。通过对各设备故障情况进行聚类分析,得到故障情况有关联的设备,再结合实际分析导致原因,还可以根据其之前的关联,当某设备类别发生故障时,与其关联的类别也可能发生故障,提前预警。
(2)故障趋势预测
基于设备的运行数据,在设备的运行过程中对数据进行时序趋势分析,由于客流等各种原因可能导致某些特定设备故障增多,而定时检修等维护又会减少近期设备故障次数,所以对设备故障趋势预测可以起到一定的预警作用。例如,对下个月设备类别的故障是上升趋势的类别,则是下个月的重点关注对象,可提前安排检修等事宜,检查该设备类别的库存是否充足。
3.2.5 监控分析
(1)车站监控
综合监控包括设备状态、子系统状态的监控、设备运行指标(KPI)的实时显示、故障实时报警预警等功能。可以选择通过站点一览的方式管理设备,也可以选择使用GIS(地理信息系统)清晰地显示设备的地理位置,对站点和设备的分布进行更直接的管理和监控。
实时监控从海量传感器接收到的数据,支持所有传感器的实时监控,可自定义实时监控的包括折线图和仪表盘等展示方式,监控频率可达到秒级或亚秒级。
(2)健康评分
设备性能衰减、寿命降低是由量变到质变的动态过程,设备健康管理着眼于量变管理,即健康管理和亚健康状态的监视与评估。注重机械微观和动态损伤过程的演变、特点、规律、事前预防、过程监控、动态养护维修,其特点是全生命周期健康评估和减免维修。
(3)重点设备监控
通过设备一览的方式管理设备,监控重点设备的基本信息、运行状态、KPI值等。
(4)重点设备管理
重点设备管理模块罗列了当前各线路综合监控系统所有的设备,可通过选择设备,将设备列为重点设备,并在重点设备监控中实现设备监控。
3.3 能耗大数据分析研究
进行城市轨道交通能耗大数据分析,希望通过大数据的方法来研究和发现轨道交通能耗(包括建筑能耗和牵引能耗)构成特征和影响因素。在此基础上,形成针对不同气候区和不同类型轨道交通车站等多种不同类型轨道交通的能耗技术指标体系,为节能设计、系统改造、运营方案优化等提供技术支撑,也为形成轨道交通运行能耗监管机制提供基础数据。
4 管理平台实施效果
基于云的轨道交通大数据管理平台已在温州市城市轨道交通中运行使用,根据实施情况,认为该平台的应用达到了理想的效果,体现如下。
4.1 运营数据采集
通过网络和特定的接口与各线路控制中心连接,按照设定的采样周期,采集各线路机电系统运行状态及告警信息,从线网ACC 清分中心、PIDS 编播中心分别获取线网客流信息和线网各列车信息,进行多维信息特征提取,为统计分析奠定基础。
4.2 异构数据的融合
根据指挥中心决策人员的综合业务要求,将数据按照相应的主题集成在数据仓库中,供上层的商业智能和数据挖掘来使用。
4.3 信息交换和共享
线网综合监控及应用系统与各线路中央级系统接口,完成客流、行车、设备类信息的获取,接口以文件或数据接口方式实现。
4.4 交通线网快速查询
由于城市轨道交通线网运营每天产生大量数据,经过数年累积后将形成海量数据,对快速查询、报表生成将是一个严峻的考验。为实现线网信息的快速查询,系统拟采用大数据分析技术。
4.5 运营信息精确投放技术
城市轨道交通线网运营综合调度系统,利用高度整合的无线和有线通信技术,可以实现运营信息的精准投放,乘客可以通过多种终端查看到这些信息,从而引导乘客更高效的出行,保证轨道交通运营工作更顺利地进行和资源的合理调配。
5 结语
综上所述,云平台的使用能够对企业的资源进行良好的整合,在一定程度上还可以节约成本,提高经济效益,利用大数据的优良特性可以将云计算以及相关的服务引入城市轨道交通管理、决策和服务中去。因此,将云平台相关技术与轨道交通大数据进行结合应用具有重要意义。
在温州市城市轨道交通信息化建设项目中,为构建智慧运营体系、降低运营人工成本、提升工作效率,积极研究生产云、管理云和服务云的建设方案,结合轨道交通大数据平台的研究需要,统一建立计算资源池、存储资源池、数据资源池,为后续在地铁范围内推广基于云平台的轨道交通大数据管理平台积累经验。实践证明,基于云的轨道交通大数据管理平台可以加速轨道交通行业的信息化水平,有效收集利用行业数据资源,从而实现绿色节能,创造更好的社会效益。