客票系统数据核查策略的设计与实现
2015-06-28初志强
江 琳,王 芳,贾 静,初志强
(1.中国铁道科学研究院 电子计算技术研究所,北京 100081 ;2.上海铁路局 信息技术所,上海 200071)
客票系统数据核查策略的设计与实现
江 琳1,王 芳1,贾 静1,初志强2
(1.中国铁道科学研究院 电子计算技术研究所,北京 100081 ;2.上海铁路局 信息技术所,上海 200071)
通过对客票系统的路网基础数据、列车数据、售票管理数据等应用数据进行分类识别,建立一套合理的数据核查策略和处理管理方案,依托可定制的工作流平台定时轮询核查任务,及时准确地将错误数据定位并智能告警,根据核查策略对有问题的数据进行诊断处理和自动修正,最终通过定时核查、告警监控、自动化处理等手段实现对客票系统应用数据进行全面质量监控。
数据核查策略;工作流平台;智能预警
中国铁路客票发售和预订系统(简称:客票系统)是覆盖全国铁路的大规模计算机网络应用系统,由中国铁路总公司、地区客票中心和车站售票系统三级联网构成,客票系统各种数据涉及业务繁多,数据关系错综复杂,需要在分布式数据库间实现数据同步。当铁路总公司应用系统数据发生变化,通过数据库复制关系同步到全路各个分布式数据库中,供各类客票业务使用。
客票系统应用数据的及时性、完整性、准确性、可靠性是铁路总公司、铁路局和车站客运业务正常开展的前提,是客票系统的生命线。数据的错误可能会导致全路、某个铁路局、某个车站、某趟车、某个窗口等出现不同程度的业务故障甚至会导致系统中断,同时业务复杂的系统也需要给各级的客票系统维护人员提供检验数据的核查策略和核查管理工具,根据客票系统现状,设计了客票系统数据核查策略,建立以提高日常维护的工作效率和客户服务质量。
1 数据核查策略的设计
1.1 核查策略整体设计
根据客票系统数据的特征和客运售票组织业务流程,制定了如图1所示的客票系统数据核查策略。
中国铁路总公司、铁路局和车站业务人员按客票业务维护生成基础数据,之后由技术支持人员、数据质量管理人员和专家组进行数据核查策略管理。
数据通过数据分类和识别,按照不同的业务性质和要求制定多种客票业务的核查规则,得到核查规则和方案管理。数据再通过核查任务管理即根据工作流定义对核查任务进行用户自定义,支持核查任务定时自动执行,手工启动任务、核查周期、核查范围、可配置一条或多条核查规则。对有安全隐患或有问题的数据进行智能预警监控;实现对各类应用系统数据进行规划、筛查、核查,发现问题数据进行前台告警监控,保证应用系统数据实时性、正确性、有效性的全面管理。同时对有安全隐患或有问题的数据进行依据业务需求定制核查结果的自动化处理方案,对已发现的数据不准确、数据不一致、数据重复、数据二义性等问题数据进行自动化处理修正。
图1 数据核查的流程
1.2 数据分类识别
用户可定制核查规则,需要把数据进行分类管理和识别。客票系统数据是全路售票工作开展的基础,为售票业务提供了结构性或者功能性的数据支撑,按照业务分为3类数据:铁路网基础数据、列车数据和售票管理数据。
(1)铁路网基础数据:在客票系统数据管理中相对稳定的客运业务基础数据,主要包括:铁路局、担当企业、车站、区段、线路、线路里程、分界口、里程票价表等重要客运管理数据,也包括联网车站定义、同城通售定义、同城车站定义、互联网售票车站定义、实名制车站定义、车站所属城市定义等与客运站相关属性的定义。这类数据出现问题会影响到全路、某个铁路局、某个车站无法正常办理业务或出现问题或故障。例如:当线路里程公里数错误,会导致相关国铁线路的列车票价计价错误;如果里程票价表各个分项错误,如座席、加快、空调、卧铺票价错误,会导致全路列车票价计价错误。当互联网车站漏定义会导致某个车站无法在12306网站购票。
(2)列车数据:与列车运行图相关,不断随运营需求变化的数据,主要包括:车次信息、列车类型、列车等级、开行日期、开行规律、担当企业、停靠站、运行时间、运行径路、编组、经由、计价方式、票价等列车管理数据。这类数据出现问题会影响多趟或一趟列车的业务问题。例如:当某趟列车停靠站的时刻错误,可能导致该列车跨天后席位重票。
(3)售票管理数据:包括列车车次售票时间定义、取消限售、改点和晚点调令、封站和解站、停售和恢复售票,不可售到和恢复不可售到共用定义、复用定义、余票等与票额发售有关的业务数据。这类数据出现问题会导致某个站、某些车次的业务出现业务问题导致旅客投诉。例如:当余票数据不正确,会导致旅客查到有剩余席位但是无法购票,或导致查不到剩余席位而席位无法售出。
不管是任何一类的数据错误和问题都会影响到铁路客运业务的正常运行,因此把客票系统数据进行数据分类识别,能区分对业务数据影响的范围和大小,是核查策略制定的重要参考和指导性标准。
1.3 核查规则定制
核查规则是客票数据核查的具体标准。根据不同的路网基础数据、列车数据和售票管理数据3类数据分类和识别用户制定不同的核查规则:
(1)对路网基础数据设置完整性、一致性规则。完整性规则规可避分布数据库的数据缺失造成对业务产生的影响。即按铁路总公司客票中心、地区客票中心和车站三级所使用的各类路网数据表统计总数相同。一致性规则规避分布数据库数据的二义性。即通过对各类路网数据表的唯一键值字段进行核查规则定义,以保证客票系统业务稳健正常运行。
(2)对列车数据设置计算规则、条件规则。计算规则描述计算关系,例如:列车票价不能出现倒挂,即同一趟列车里程长的票价要高于里程短的票价,且票价不能出现零值或负值。条件规则描述当条件成立时,触发相关的事件或业务。例如:列车的停靠某站的到点时间大于发点时间,触发前台预警,且每趟列车的历时不超过3天。
(3)对售票管理数据设置及时生效规则、合法性规则。及时生效规则描述数据实时性,例如:余票数据不准确导致无法正常售票时,需要进行业务数据比对和实施处置。合法性规则,规避错误数据造成对业务产生的影响。对于列车的基本计划、临时计划、调度命令、车次售票时间控制等数据应该进行数据格式合法性检测。
2 数据核查策略的实现
2.1 创建核查规则
核查规则是数据核查策略实现的重要依据,如何方便快捷地创建核查规则是其中的关键,可以按如下传统方法创建核查流程:(1)前台程序展示需要核查的数据窗体,单击要核查窗体,右键单击要更改的控件;(2)单击“属性”打开该控件的属性表,再单击“全部”选项卡;(3)在“有效性规则”属性框中输入有效性规则,启动表达式生成器并创建表达式。在“有效性文本”属性框中输入消息,最后保存所做的更改。
由于客票系统业务种类繁多,应用数据错综复杂,因此数据核查策略可以通过系统默认的Excle模板进行核查规则录入和创建,通过系统工具把Excle导入到客票系统核查规则表中,系统也可以对核查规则表进行删除、新增等变更操作。客票系统核查规则表在维护人员操作客票系统应用模块的数据表窗体的时触发并起核查作用。触发规律可在核查规则中按照不同需求进行定制,既能在保存记录中的新数据或修改后的数据之前和在删除记录之前触发,又能在保存控件上的新数据或修改后的数据之前和离开控件之前触发。在某些情况下,当有效性规则含有复杂的条件,并且需根据条件执行不同的操作时,很难写出核查规则,这时可以通过对事件过程编写代码来代替核查规则进行检查。
2.2 工作流定制核查任务
当创建了核查规则之后,需要对客票系统数据按照不同的业务需求在不同规律时间段进行实时、定时、定期滚动执行核查任务。通过客票系统工作流可实现这个核查任务,工作流通过服务器上的工作调度程序,实现数据核查业务的的灵活配置、自动管理和及时调度。工作调度程序根据用户对核查任务的定义,对各类型核查业务进行统一规划和处理,保证每个流程及时顺畅处理,主要执行的任务有:
(1)循环定时任务,扫描客票系统中已提交各类数据的服务请求,按铁路总公司客票中心、地区客票中心和车站三级结构,通过从点数据和主点数据的比对发现有问题隐患的数据,基于预先定义的严重性级别排列服务请求的优先级(严重性级别根据问题对业务的影响性来确定),根据优先级进行前台报警提示和追踪。
(2)定制在每日、每周、每月或某个指定时间核查客票的某类数据,如每天凌晨核查互联网的余票数据是否同步,为12306网站的运营提供有效准确的余票数据。
(3)平台对铁路总公司及各个地区客票中心的操作系统、数据库、复制、后台应用的实时监控,对现场的性能和业务进行跟踪。
2.3 智能预警监控
通过工作流的各个任务根据已经制定的数据校验规则,对数据进行筛查和校验,展示数据,确定存在异常的结果数据,在前台通过业务模块进行展示。例如:实现对停靠站数据的汇总展示,当维护人员维护的某个车站的到点为6:45,而发点错误维护为05:55,导致列车站台停留时间、运行天数、历时都出现错误。
前台数据预警能及时提醒维护人员发现和错误的数据并及时进行处置,避免由于数据维护的错误导致铁路客运生产系统的损失。
2.4 自动化处理修正
针对筛查出的异常结果数据按照不同的错误类型系统制定相对应的处理修正办法。对铁路网基础数据,由于复制服务器导致的中国铁路总公司客票中心、地区客票中心和车站三级数据不同步,根据工作流定时修正任务,按不同业务模式对从点数据删除后从主点重新复制。对列车数据和售票管理数据,由于业务逻辑导致的数据异常,例如:余票数据不同步,根据业务规则自动进行后台程序同步。对于人为造成的业务数据错误,例如:出现零票价等等,以前台工作台轮训报警的方式提醒现场工作人员,对发现核查的数据存在问题及时开展数据修正工作,以弥补数据的缺陷和损失。在数据修正的后续流程中需要对数据修正的影响范围进行评估。在数据修正过程中记录相关的变更日志,以及影响数据的范围。
3 结束语
客票系统中的铁路网基础数据、列车数据、售票管理数据是客票系统的第一生命线,数据核查策略以客票系统用户需求为主要服务方向,对系统数据进行识别,制定多模式的核查规则,保证生产数据在可定制、多模式的工作流平台中得以筛查,在前台多功能报警提示并及时得到合理自动处置,从根本上保障了客票应用数据的及时性、完整性、准确性、可靠性,提高了客票系统业务支持的服务质量。目前,客票系统的新增业务数据仍需要进行核查规则创建、工作流指定核查任务等一系列的流程处置。
[1]麦吉利夫雷.数据质量工程实践[M].北京:电子工业出版社,2010.
[2]程开明.统计数据质量诊断与管理研究[M].杭州:浙江工商大学出版社,2010.
[3]中国铁路总公司.铁路售票管理办法[M]. 北京:中国铁道出版社,2014.
责任编辑 徐侃春
Data verif i cation strategy in Railway Ticketing and Reservation System
JIANG Lin1, WANG Fang1, JIA Jing1, CHU Zhiqiang2
( 1.Institute of Computing Technologies, China Academy of Railway Sciences, Beijing 100081, China; 2. Institute of Information Technology, Shanghai Railway Administration, Shanghai 200071, China )
Through the classif i cation and recognition to the application datas which included railway base data, train data, sale data in Railway Ticketing and Reservation System(TRS), it was established a set of data verif i cation strategy and treatment scheme to roll polling the verif i cation task at regular time based on the customizable workf l ow platform, positioned error data timely and accurately, alarmed it intelligently, made diagnosis treatment and self-correcting on the error data according to the verif i cation strategy. The total quality control to the application data of TRS was implemented by the timing verif i cation, alarm monitoring, automatic processing and other means.
data verif i cation strategy; workf l ow platform; intelligent alarm
U293.22∶TP39
A
1005-8451(2015)11-0055-04
2015-04-10
江 琳,副研究员;王 芳,副研究员。