金山铁路上海市交通卡数据处理方案的研究

巢小俊 上海铁路局计划统计处（同济大学）

2012年9月28日，长三角首条采用公交化运营的市域铁路—金山铁路（上海市称轨交22号线）开通，金山铁路全长56 km，图定每天开行旅客列车36对，采用一站直达和站站停两种模式运行，列车运行最高时速160 km。列车全线运行时间最短32 min。金山铁路的建成和开通运营，在沿线城区构建了一条方便快捷的运输通道，在完善上海市交通网络、推动地方经济发展和进一步促进城乡一体化等方面发挥了重要的作用。金山铁路是原铁道部和上海市共同出资建设，按铁路控股合资公司方式运营的。按照《铁路旅客运输统计规则》相关规定，需要对该线路的运输情况进行统计。

1 概况

金山铁路采用的是铁路售票系统售票和上海市公共交通卡刷卡进站两种运作方式。铁路售票系统的车票信息，因为沿用原有的统计数据接口，产生的原始数据能满足铁路旅客运输统计的要求。而上海市公共交通卡刷卡方式，因其没有直接满足铁路旅客运输统计要求的数据接口，需要对数据进行一定的处理以达到铁路旅客运输统计的需要。

1.1 铁路旅客运输统计的相关要求

根据《铁路旅客运输统计规则》统计项目和统计指标相关规定，需对发站、到站、旅客列车车次、旅客列车席别、旅客列车担当企业等项目进行统计。

1.2 上海市公共交通卡系统接口数据结构

上海市公共交通卡系统只能按以下数据结构提供信息：

①交易事件码；②交通卡号；③设备节点号；④流水号；⑤刷卡日期；⑥刷卡时间；⑦卡原金额；⑧本次刷卡金额

其中，交易事件码为2位16进制码，是在交通卡相关设备上产生交易的事件的代码，比如进站，出站扣款等。

设备节点号为8位的字符串，第1、2位为线路码，第3、4位为车站码，第5、6位为设备类型，第7、8位为设备码（为16进制）。根据设备节点号前4位，可以确定交易产生的车站，例如在金山铁路代表金山卫站的代码前四位为2229。前四位2221的代表上海南站。5、6位设备类型表示该设备承担的作用，为16进制码，比如1A代表进站闸机，15代表出站闸机等。

显然，对照《铁路旅客运输统计规则》，上海市公共交通卡系统并不能直接提供发到站、车次、席别等铁路旅客运输统计需要的信息。

2 对数据接口的分析

仅从数据结构来看，经过简单处理还是应该能得到相关数据的，但现实中数据远比理想状态下复杂。

2.1 理想状态下的数据处理

理想状态下，所有旅客均正常进出站，闸机依次留下每位旅客的进出站信息，交通卡系统提供的信息应为一进一出成对出现，而且按时间先后可以按先进后出配对分组。这种情况下，通过设备节点可以确定刷卡车站，通过相应的交易事件码，可以确定是进站还是出站信息；通过交通卡号，以及刷卡日期、刷卡时间，将同一交通卡按刷卡的时间顺序排序后，就可以生成相应的发到信息对；通过信息对进出闸机的时间（HHMMSS格式），只要建立详细的车次字典，通过匹配车次在发到站停靠的时间，按一定的规则就可以匹配到相关的车次，车次的担当也可以确定；而席别，因为该线路采用单一席别售票方式也可以解决。

2.2 现实状态下的数据处理

然而，现实情况是交通卡数据每日进站数与出站数就有不小的差距，而同一交通卡，由于旅客主观逃票、旅客进出闸机间隔太小、闸机设备偶发故障等原因，有时只有进站信息没有出站信息，有时只有出站信息而没有进站信息，还有些数据对的进出时间差远远大于正常列车的运行时间。进一步匹配后还发现有发到站相同的记录。这些问题的解决，对数据处理提出了很大的挑战。

3 数据处理的设想

如何解决以上问题，确保数据实现铁路旅客运输统计的要求。经过调查、讨论，提出以下设想：

3.1 对每日进出站总量进行控制

在线路中心建立进出站统计报表用于每日进出站闸机刷卡的总量控制，结构如表1所示。

表1 每日进出站闸机刷卡总量控制表

其中设备/车站ID对应的是设备节点号第7、8位设备码。

总量控制具体流程如下：

（1）读取数据文件全信息加载到原始数据表。

（2）读取进出站统计报表全信息加载到控制文件数据表。

（3）按日汇总原始数据表中设备节点号第 5，6位为 15（进站）和 1A（出站）的记录，并与控制表文件中交通卡进站和出站数量核对，数据发生不一致时报错提示。

（4）按照流水号进行连号，每个车站的每个设备每月产生的数据顺序号都应该是连续的，且每月首日重置。因此，从每月2日起即可与上一日数据进行连号检查，以避免数据缺失。

3.2 数据匹配成对的相关处理

（1）按乘车日期从“原始数据表”中读取每张交通卡的交易记录，按进(出)闸机的时分逐一匹配，并将匹配结果存放于“原始匹配表”中。一天内同一交通卡数据一进一出成对，且按时间先后必须为先进后出的，对于这类数据，认定为成功匹配的记录 设置相应状态码字段例如：“00”（代码为临时表达，实际处理时另定义，下同）；

对有进无出或者只出不进等未能配对的非正常情况数据，设置相应的状态码。例如：

有发站没有到站的记录，状态码字段置为“11”；有到站没有发站的记录，状态码字段置为“22”；

（2）对于能匹配成对，但发站和到站相同的记录，状态码字段置为“33”；

（3）通过了解，有进无出或者只出不进等未能配对的非正常情况数据，在下一次进站的时候都需要到BOM窗口进行进、出站更新操作。为此在月末需要对按日匹配状态码为“11”和“22”的数据在全月范围内的BOM窗口数据进行再次匹配；

①有发站没有到站的记录（状态码为“11”），如匹配成功，则状态码更新为“44”，更新相关的到站信息；

②同时与之对应的有到无发站记录（状态码为“22”），如匹配成功，状态码更新为“55”，更新相关的发站信息；

③接着检查状态码为“55”的记录发到站是否一致，如一致则修改状态码为“66”；

（4）异常数据的处理：

通过以上步骤的处理，仍有部分数据由于交通卡未再次在金山线各站再次使用，没有匹配到相关的“进出站更新”数据，因此必须做异常处理：

①对于有发站没有到站的记录（状态码为“11”）的按照该发站最远的到站匹配；

②对于有到站没有发站的记录（状态码为“22”）的按照到站和票价匹配满足到站和票价的最远发站匹配；

（5）根据《铁路金山线上海市公共交通使用规则》的相关规定，对于发到站相同的记录（状态码为“33”和“66”的），如果进出站时间间隔小于15 min，可以认定为未发生实际运输，则状态码为“33”的更新为“88”，状态码为“66”的更新为“99”。进出站间隔大于15 min但在1 h内的数据以该站3元最远往返一次生成数据，超过1 h的，按最远距离数据往返一次生成数据，状态码设定为“77”。

3.3 车次匹配过程

（1）建立按日详细车次停靠字典。

（2）根据对旅客出行习惯的分析，旅客在出发时在车站滞留时间相对旅客到达时在车站滞留的时间更具不规律性，因此对于数据的处理，在有到站时间情况下，以出闸机时分为准，选取列车停靠到站的时间在旅客出闸机时分之前，且离出闸机时分最近的车次进行匹配。

（3）对于有发无到的数据匹配，则以进闸时分为准，列车停靠出发站的时间在旅客进闸机时分之后，且离进闸机时分最近的车次进行匹配。

3.4 生成最终的处理结果

将车次匹配完毕的有效数据（根据上述处理过程，状态码为“00”、“11”、“22”、“55”、“77”的为有效数据）传输到最终结果表中，在月末汇总至用于报表生产的数据接口。

4 结束语

根据以上设想，用相当天数的数据进行试验，对得到的最终结果进行了相关分析，分时段运输量的变化曲线与金山线运行各车次的实际运输峰谷波动的规律基本吻合。根据试验情况，按以上设计思想优化，组织软件人员细化流程，建立相关字典（如金山线站名字典、按日车次停靠字典、票价字典等），编制软件并投入正式生产，还建立了一系列数据控制表以确保数据在铁路旅客运输统计各工序间流转时的质量。通过对该软件在投入运行后半年时间的数据跟踪分析，分时段运输量的变化曲线基本呈稳定状态，因此，可以认为该设计思想是成功的。