关于提高城市轨道交通清分中心处理能力的设计研究

2012-04-01朱嘉斌

城市轨道交通研究 2012年3期

关键词：批处理分中心数据处理

朱嘉斌

（苏州轨道交通有限公司建设分公司，215006，苏州∥工程师）

城市轨道交通清分中心是实现轨道交通网络化、提高服务水平的重要基础。它具有连接各个线路售检票系统，处理线网内所有交易数据的功能。随着城市轨道交通线路的增多，提高清分中心数据处理能力的需求越益迫切。

本文从清分中心系统性能的设计需求分析出发，分别对清分中心的软件、硬件、数据库3个方面进行设计，以整体提升系统的数据处理和线路接入能力。

1 清分中心系统处理性能的设计要求

为能满足城市轨道交通实际客流交易数据的处理要求，又能够合理部署、减小过高配置带来的资源浪费，以降低投资，各个城市应根据自身轨道交通的预测客流，对清分中心系统的软硬件进行针对性设计。本文以一般性城市远期处理需求为例，按每日处理300万人次的客流数据（750万笔交易数据）、2h内完成清算批处理、在4h内完成累计2天的最大客流量的交易数据清算等几项重要指标，对系统软件、硬件和数据库进行针对性的设计研究。

2 硬件设备的设计

2.1 服务器选型

根据关键性能要求，即2h完成750万笔交易数据（300万人次客流）清分、4h内完成累计2天的交易数据清算，进行分析、配置相应硬件设备。按经验，每笔实际清分交易相当于2笔标准TPCC（整体性能计算单位）交易的处理量。

满足2h内完成对最大次数交易量处理的清分系统主机性能要求为：

（750万笔交易数据×2）／（2×60min）＝125 000 TPCC／min

满足4h内完成累计2天的交易数据清算处理的清分系统主机性能要求为：

（750万笔交易数据×2×2）／（4×60min）＝125 000TPCC／min

另外，系统还将预留70%的处理余量，因此选择相应服务器设备需达到125 000TPCC／min的要求。

2.2 硬件资源分配

对清分计算机主机资源进行合理的应用分配，以期达到负载均衡、充分发挥2台服务器的处理能力。

为了预防单点故障，需要有配置互为备份的2台主机。为了充分利用硬件资源，使用2台主机同时参与应用处理。在系统繁忙时，可能出现因负载不均衡导致的系统阻塞和颠簸。为了避免这种情况发生，随时检测资源的忙闲状况，将任务交给相对空闲的主机去做，以均衡负载，达到最优化的处理性能。

2.3 硬件的扩展性设计

考虑后期数据处理需求的增长，清分中心系统只需通过对硬件设备的扩充，即达到所需要的性能指标处理要求。为保证清分中心系统的可扩展性和处理能力，清分中心系统使用了多机处理方式，以便于实现对分布于不同主机上的同类子系统、进程的监控。这样既能从业务系统的高度，又能从具体主机上的某个进程的深度来完成具体的管理任务，并可实现扩展相应硬件提高处理能力的目标。

3 软件系统的设计

3.1 优先级设计

清分中心系统按业务的实时性要求，进行区分优先级的业务处理。

对于实时性要求高的数据处理，如事件（状态）、命令、模式切换、参数同步等，赋予较高的处理优先级；而对于实时性要求低的数据处理，如交易数据上传、寄存器数据上传等，赋予较低的处理优先级。

后台应用服务处理进程在其任务队列中取出优先级最高的任务进行处理。优先级高的任务总是能被很快地优先处理掉，而不会被大量的优先级低的任务所阻塞。这样，就不会发生因通信故障恢复后产生的大量交易数据上传阻塞而导致命令、查询等得不到及时响应的情况，以满足快速的响应要求。

3.2 并行处理

启动多组应用，采用并行数据处理技术以提高应用处理能力。

在一项任务的处理过程中，主机内部各种硬件资源的使用率是不同的，而每种任务的硬件资源使用方式又各不相同。所以，同时进行多项任务处理，可以充分发挥硬件的处理能力，从而增加数据处理的吞吐量。

3.3 缓存技术应用与设计

大量使用内存数据表和缓存，减少对硬盘的访问量，可以提升交易的处理速度。

内存中处理的速度往往比硬盘访问快一个数量级以上，因此将频繁使用的数据强制放在内存中，比每次用时都要从硬盘中读出来要高效得多。在操作系统和数据库层面，有很多内存缓存的设计。在应用层面，强制某些常用的数据表放在内存中，以达到高效的处理效果。

3.4 多批次的批处理

为了提高硬件使用效率，采用每日分多批次进行交易批处理的方式，充分利用在白天运营时的处理能力，而不是将所有批处理都放在晚上运营结束后进行。这样的设计在国内轨道交通票务清分应急系统中，曾经可以达到在日终1h内处理最大1 630万人次客流／日（4 000万笔交易／日），完全可以满足一般地铁清分系统的要求。

清分中心系统在软件结构、存储空间设计等方面，能够保证在2倍的时间里，处理2倍的交易量。

3.5 断点续做

在清分中心系统运行初期，可能会因某些异常数据导致批处理异常中断。若每次异常中断后都要重做，将会花费大量时间。由于晚间停运时间有限，如果直到第二天早晨仍不能完成日终批处理，将会产生较大影响。为了避免该类情况发生，可以对日终批处理过程设计断点续做功能，使得成功完成的每个步骤（或若干笔交易）保存，当发生异常中断后，可在人工干预、排除异常数据后，在断点开始重做，避免了每次都从头重做的问题。上述的断点续做的特性，也保证了清分中心系统能在2倍的时间里，处理2倍的交易量。