APP下载

铁路调度系统中虚拟共用信息平台研究

2013-11-29赵宏涛

铁路计算机应用 2013年10期
关键词:数据服务调度信息

赵宏涛,王 涛,张 琦

(1. 中国铁道科学研究院,北京 100081;2. 中国铁道科学研究院 通信信号研究所, 北京 100081)

铁路调度系统是在铁路运输生产过程中,为了保证完成运输计划、实现列车运行图而综合运用计算机技术、网络通信技术和现代控制技术等先进技术手段,以列车运行调整为中心,兼顾列车与调车作业的高度自动化和智能化的调度指挥和控制系统[1]。我国现有调度系统正在向着信息密集化系统转变:各子系统陆续建成并投入使用,包括全路TDMS/CTC、ATIS、现车系统等;海量数据在日常调度指挥和行车运营中产生,包括列车实际运行图、基本图、日班计划、车辆编组信息及信号设备状态等;大量设备终端皆需要与后台数据库进行信息交互。新技术的应用不可避免地伴随着新问题的产生:各模块间信息交流量少,资源共享利用率低、实时性差且易产生信息孤岛;海量数据必然引入效率、安全与可靠性等方面的问题;各应用终端直接访问数据库,大量频繁并发的短连接极易造成数据读写效率的低下。因此设计一套虚拟共用安全信息平台,为系统提供公共的、可靠安全且高效的数据服务,成为了调度系统的迫切需要。

1 平台设计

虚拟共用信息平台是一套整合调度系统各逻辑子系统、子模块信息资源,按一定标准规范和协议格式完成多元异构数据的接入、存储、分发、整理和挖掘等功能,并面向外部应用提供安全可靠和高效的数据服务的完整物理系统。平台采用集中控制管理与分布存储相结合的体系结构,通过用户身份认证、权限隔离、数据加密等安全保障技术,依靠负载均衡模块来协调众多逻辑读写单元连接物理存储数据层。研究建立虚拟共用信息平台是调度系统进行信息整合的技术保障,是实现我国铁路调度系统高速发展的关键。

虚拟,意味着透明、异构和分布。从逻辑层面来说,平台内部结构对外部应用是透明的,用户不需要关心数据存储位置、系统调用关系等信息,只需要按照约定连接方式和协议读写数据即可;而从物理层面来讲,平台本身的各模块、数据源可能分布在不同的地理位置,由不同厂商产品以不同格式和协议组成,例如:数据信息可能存储在Oracle的关系数据库中,也可能以XML格式保存在文件系统当中。对各数据源形式的高兼容特性,为已部署系统平顺过渡和融合到新的平台提供了可能。透明保证了平台的完整和统一;异构可以使现有系统以较少代价融合进新的平台;而分布则提供了数据安全和系统性能。

共用,意味着平台提供统一的接入代理以实现数据格式的统一和子系统的接入。平台的服务对象为特定外部应用,采集信息以通用格式进行融合,并提供信息安全服务。

1.1 平台设计原则

本文对平台的总体设计原则总结为通用、安全和高效。

通用原则不仅表明平台对少量修饰后的已有系统和未来技术扩展的极大兼容,更表明平台在数据格式、业务流程、系统架构和接口定义等方面标准的统一。统一标准可以扩大平台的应用领域和适用范围,也为平台的推广奠定基础。

调度系统是铁路日常运输组织的指挥中枢,确保调度系统安全,首要任务是确保系统中数据的安全。安全设计理念应该从平台设计初期就考虑进去,并贯穿产品开发的整个周期。

平台的高效性指平台并发处理数据的能力。调度算法、参数设置、异常处理和安全级别等因素均对处理效率产生影响。

1.2 平台架构

根据平台设计总体原则及已有类似系统实现经验[2],设计虚拟共用信息平台由4层结构组成。如图1所示。

图1 虚拟通用信息平台系统架构

安全应用层:负责完成外部应用接入、对外连接代理、数据挖掘和威胁屏蔽隔离4项功能。具体主业务逻辑(前两项)由应用层实现,包括:登录连接、查询操作、读写操作等需要与外部应用沟通的处理步骤。数据挖掘功能由挖掘模块提供,借助于人工智能和机器学习等技术,通过关联分析、规律寻找和表示,挖掘模块从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息,为日后的行车调度优化调整提供依据。应用层被安全层完整包裹以保障数据安全和平台安全,用户认证鉴权等安全操作在安全层实现。本逻辑层不关心数据的具体表示形式,只要各类应用遵循信息集成的接口规范,即可有效地、透明地操作底层各类数据源。具体数据服务发布形式将在下章详述。

负载均衡层:依据调度策略将上层接入的工作任务(负载)进行平衡、分摊到多个读写操作单元上进行实施从而共同完成工作任务,提高系统的整体处理能力。具体策略可以参考多重负载策略进行任务调度,包括随机策略、公约轮循策略、最少活跃调度策略和一致性哈希策略等。数据整理优化模块是对日常采集的数据进行检验、归类编码和结构调整的单元,是数据统计分析的基础,可以减少存储空间、提升查询效率。因为其需要从语义层面查找数据的内在联系,而非原数据(Raw Data)级别的操作,故设置在负载均衡层实现,在资源占用率较低时运行。

逻辑读写:层包含大量针对不同数据源的读写单元和一套协议转换模块。借助于协议转换层在各类原始协议与平台存储统一协议间的转换,分布、并行读写单元直接且有针对性地操作对应的底层数据源,实现直连功能。读写单元的数量以最大限度挖掘系统潜能为依据。

物理存储层:是平台内部以及外部应用系统中数据流的最终静态存储单元。数据以原铁道部部标或特定统一协议存储,存储介质可以为关系数据库,也可以是XML格式数据源或文件系统,依赖于平台应用环境及被融合系统原始状态。高速缓存用以保存频繁被读取且变化较少的数据集合,提升查询速度。

平台数据流按图1所示协议和方向流动。

2 关键问题研究

2.1 平台数据的获取、存储及计算

平台数据来源于外置的信息采集单元和各外部应用系统的输入。随着平台应用范围的扩大,其所采用的通用协议将被更多外部系统所采纳,信息的表达和数据的传输也将更加直接和高效。

在平台数据量超过单机承载能力时,一般会采用分布式存储,其在扩展性和可用性上会面临较大挑战:如何保证各点间数据的同步、如何快速索引数据存储的物理位置等问题皆是平台设计者需要考虑的。

作为一套完整的数据提供平台,而非简单的数据堆积,其核心区别在于是否提供基于存储的计算能力。计算一般分为离线计算和在线计算(流式计算、即时计算)两种。平台发展后期,将能智能处理用户需求,针对模糊输入给出关联输出。典型应用为数据挖掘模块:依据一个运行在分布式计算集群上的公用算法平台来进行各种海量数据处理,建立数据关系及数据模型,给出内在规律,在准确输出的基础上给出指导意见。

2.2 平台及数据安全

平台安全包括平台整体的安全和数据安全。

平台的保密性、完整性和可用性是保证行车调度安全的一个重要组成部分,根据国家等级保护防御区域划分原则以及信息系统的功能性、安全价值和面临威胁的相似性,客运专线CTC系统应具有四级信息系统安全保护能力[3]。包括:防火墙、入侵检测、用户鉴权认证、数据加密等措施多应用于铁路调度系统。这些措施的引入必然导致计算性能的下降和用户体验的降低,需站在数据和用户的角度统筹考虑。

2.3 数据服务发布方式

(1)网络Socket连接;

(2)B/S(Brower/Server)结构方式;

(3)中间件连接方式;

(4)Web Service连接。

4种方式各有利弊,适用于不同开发环境。方式1实现灵活,但开发周期长,编程代价高,适用于小范围的特殊环境应用;方式2虽然交互性稍差,但其在可视化方面的优势,适合用于展示海量数据的多样性、多角度、多层次特性;消息传输中间件为应用系统互联互通提供了可靠的消息通信手段,能够实现不同操作平台、数据库和硬件系统平台间的数据通信,易于调试;方式4作为一项较新技术,可使运行在不同机器上的不同应用无需借助附加的、专门的第3方软件或硬件,就可相互交换数据或集成。采用哪几种方式的组合,需要因地制宜,适当扩展。

2.4 平台及数据维护

平台在演进,数据在源源不断地增长,它们的保有和维护成本也在随之提高。以FZy-CTC系统为例,调度命令、行车计划、操作日志、各路局和子系统间接口数据等信息皆需由数据服务单元永久存储或中转。因此,需要从大数据[4]处理的全局角度来考虑如何从存储、计算上尽可能地降低成本,让平台可以持续。

业界通常用Volume、Variety、Value和Velocity(简称为“4V”,即数据体量巨大、数据类型繁多、价值密度低和处理速度快)4个特征来显著区分大数据与传统数据。借鉴大数据领域处理方法,对虚拟共用信息平台的维护进行优化设计:对数据采用冷热分离(冷数据存储到磁带上等)、按业务特征进行分层压缩(按列存储、存储数据差异等)、计算资源细粒度错峰化(资源进行细粒度分配或预估、按照业务时间进行波峰与波谷整合)、数据生命周期管理(比如进行过期垃圾数据清除)等手段来节省成本。

3 调度系统及信息平台发展趋势

整个调度系统中,上层应用将专注于用户交互和具体业务逻辑,信息平台则侧重于提供底层数据服务功能。借助于平台灵活的组织架构,通过数据采集、转换、集成分析,将数据进行深度整合与关联,建立一整套包括数据传输、存储、计算、挖掘、可视化呈现的技术服务体系,并在此基础上提供一个统一的数据开发平台完成用户认证、数据鉴权、工作流、监控告警、数据管理、数据开发等工作,实现一套完整数据服务虚拟平台。

4 结束语

本文在对我国现有调度系统现状分析的基础上,设计了一套虚拟共用安全信息平台用以提供完整数据服务。通过对平台四层逻辑结构的详细描述以及对平台实施过程中的关键问题进行探讨,分析得出信息平台在统一接口、整合服务、优化数据等方面,具有较为显著的改善作用;且其实现方式灵活,部署迁移简单,易扩展,适合应用于铁路调度系统,有着较好的发展前景。

[1]王 涛,徐 伟,黄 康. 京九线FZy—CTC分散自律调度集中系统的研究[J]. 铁道通信信号,2010, 6 (1):11-14.

[2]关积珍. ITS共用信息平台系统结构及集成[J]. 交通运输系统工程与信息, 2002,11 (4):11-16.

[3]戴启元. 客运专线CTC系统网络安全设计[J]. 铁道通信信号,2010,46(4):66-68.

[4]高毅龙,侯成刚. 大数据块的存储与访问方案[J]. 计算机工程,1999(11):88-89.

猜你喜欢

数据服务调度信息
地理空间大数据服务自然资源调查监测的方向分析
《调度集中系统(CTC)/列车调度指挥系统(TDCS)维护手册》正式出版
一种基于负载均衡的Kubernetes调度改进算法
虚拟机实时迁移调度算法
订阅信息
如何运用税收大数据服务供给侧结构性改革
基于频繁子图挖掘的数据服务Mashup推荐
展会信息
一种基于数据服务超链进行情景数据集成的方法*
SVC的RTP封装及其在NS2包调度中的应用研究