库外剔重技术在铁通网间结算系统中的研究应用

摘 要：为了适应当前市场日益激烈竞争的需要，满足用户不断提出的各种结算需求，常德铁通公司需要对现行的网间结算系统进行改造。本文利用库外剔重技术对原网间结算系统进行改造建设，有效地缓解了系统的压力，缩短了话单滞留时间，提高了系统的灵活性和稳定性，进而提升铁通核心竞争力。

关键词：库外剔重；铁通；网间结算

DOI：10.16640/j.cnki.37-1222/t.2016.13.001

0 引言

库外剔重技术是指不依赖于数据库的唯一索引，在磁盘文件中将相同关键字的话单记录剔重，这样做的目的是为了在批量入库之前就保证记录唯一，从而可以不用为详单表建唯一索引，以加快入库速度。

1 背景

为了适应当前市场日益激烈竞争的需要，满足用户不断提出的各种结算需求以及结算系统的易维护性和易扩展性，常德铁通公司需要对现行的网间结算系统进行改造。原有结算系统话单滞留时间在6-8分钟，此滞留时间长度已经是系统的极限，在无硬件增加的情况下，如果还需缩短滞留时间只能通过调整营帐接口的生成频度来解决，但是会给营帐系统的数据处理带来更大的压力。基于此背景，为了更大程度的缩短话单滞留时间，提出单独建立传送营帐流程的方案。但营帐尚未做剔重处理，所以需要搭建库外剔重系统实现。

2 实施目标

库外剔重系统搭建后，由于从采集到营帐接口全部为实时处理，各模块间再无等待情况，唯一滞留的时间是营帐接口处的文件生成批次时间。因此话单的滞留时间在此情况下应控制在2分钟以内，如果缩短传送营帐系统的时间则可将时间继续缩短。

3 系统结构设计

剔重系统由索引文件初始化子系统、文件剔重子系统、索引分析子系统三部分构成。具体如下：

（1）索引文件初始化子系统根据系统预定义的配置方案完成索引信息存储数据文件的初始化工作，形成各相应业务对应的特定结构的预留索引信息存储空间的索引信息存储数据文件。

（2）文件剔重子系统根据系统预定义的剔重索引字段，在详单索引信息存储数据文件中记录索引信息未进行记录的详单的索引信息，剔除详单文件中与已记录详单索引信息一致的详单记录，生成不包含重单的详单文件，提供给批价系统进行批价处理。

（3）索引文件分析子系统，分析某一段时间内的索引信息存储数据文件，获取各时间段内索引信息的分布状态、占用空间和索引文件扩展频率。以便根据分析结果，调整索引配置方案，提升系统处理效率。

以索引文件初始化子系统为例，程序运行从调用主控函数开始。主控函数（main）调用运行指令分析函数（GetRunCmd）和控制信息初始化函数（GetCtrlInfo）获取系统运行的参数内容和索引信息。（GetCtrlInfo）函数分别调用（GetIndexCtrlInfo）函数和（GetBlockCtrlInfo） 函数来获取索引文件的定制信息和存储结构。索引文件初始化函数（InitIndexFile）分析索引文件，根据文件类型调用不同函数进行初始化：时间类型索引文件调用（InitTimeIndex）函数，用户类型索引文件调用 （InitUserIndex） 函数。初始化完毕后，返回主控函数，系统记录成功运行标志后退出。

4 改进后的网间结算系统流程

增加了库外剔重后的网间结算系统流程如图1所示。

原计费系统的流程不变，在新的主机上增加库外剔重流程。库外剔重流程使用的是批价后为经过合并模块的话单，通过传输程序将批价后话单传送新的主机，并且将批价后话单转移至合并入口。库外剔重进程实时处理传送到新主机的话单，剔重后的话单实时送给营帐接口模块。营帐接口模块按约定好的各批次生成时间生成传送营帐接口文件，在新的主机接口目录采集营帐接口数据。其中关键流程如下：

（1）传输：实时将批价后的话单文件传送新的主机上的剔重入口，处理方式实时处理。（2）剔重：实时对批价后的话单进行剔重，剔重期限为3个月内的话单，处理方式实时处理。（3）营帐接口：实时处理剔重后的文件，按与营帐约定的批次时间（目前为4分钟，拟调整为2分钟）生成文件。

5 实施后效果对比

铁通网间结算系统库外剔重流程实施后，通过统计话单文件从采集到融合计费系统到传送到营帐系统接口时间的差距，可以很明显看出系统滞留时间大幅缩短，从实施前的平均时间6分钟，最大时间8分钟已经可以控制在最大时间2分钟以内，效果非常明显，完全达到了预期的目标要求。

6 结论

利用库外剔重技术对铁通网间结算系统进行改造建设，有效的缓解了先前系统的压力，提高了业务管理、运营、服务能力，完全能够满足高性能、强稳定性的要求，具有大容量的处理能力，缩短话单滞留时间，大大提高了铁通网间结算系统的灵活性和响应速度，进而提升铁通核心竞争力。

作者简介：陈潇潇（1983-），女，湘潭人，助教，研究方向：计算机科学与技术。