论运营商增值业务数据一致性保障机制

摘  要： 分析运营商增值业务数据不一致的原因，针对每个原因制定对应的保障机制。同时从人和技术手段两方面对增值业务数据一致性进行保障，将管理办法、流程机制和技术手段有机结合，构建常态化的数据一致性保障机制。建立数据一致性管理平台，由系统对数据一致性进行自动比对和修复，同时自动比对要设置自动修复的差异阀值，达到一定差异需人工核对后再进行处理。实践表明：管理机制和技术机制相结合的保障机制，能将增值业务数据一致率由88.11%提高到99.96%，差异存续时间由5天降到一天以内。

关键词： 数据一致性;保障机制;增值业务;运营商

中图分类号： TP399    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2020.10.035

本文著录格式：李丽玲. 论运营商增值业务数据一致性保障机制[J]. 软件，2020，41（10）：141145

【Abstract】： This paper analyzed the reasons that the inconsistency of Operators' value-added service data， and formulated corresponding guarantee mechanism for each reason. the data consistency of value-added Services is guaranteed from both human and technical means， and organically combined management methods， process mechanisms and technical means to construct a normalized guarantee mechanism of data consistency.By establishing a data consistency management platform， the system can automatically compare and repair the data consistency. At the same time， the threshold of automatic repair was needed to set for the automatic comparison.If the inconsistency reached the certain threshold， it needed to be checked manually before processing. Practice showed that the guarantee mechanism that combined management and technical mechanisms could increase the Value-added Services of consistency rate from 88.11% to 99.96%， and the difference duration could be reduced from 5 days to less than one day.

【Key words】： Data consistency; Guarantee mechanism; Value-added service; Operator

0  引言

電信增值业务是相对于传统的电信语音业务而言，指的是凭借公用电信网的资源和其它通信设备而开发的附加通信业务，其实现的价值使原有网路的经济效益或功能价值增高，如电子邮箱、手机游戏、手机视频等。增值业务数据一致性可以认为是电信运营商增值业务支撑系统的“血液”，是保障系统正常运转、提供外部功能、满足客户感知的关键所在。但是伴随业务支撑系统功能和规模的逐渐扩大，NGBOSS建设中对于CRM、BOSS、经营分析、网管等子系统的解耦，从而在系统内产生了各种各样的数据质量问题，致“数据群”内的各数据之间不平衡、不一致的情况发生，最终导致用户无法办理业务或办理结果与预期不一致、业务无法使用、业务使用计费不正确或优惠未生效等各种问题[1]，有时甚至导致电信企业蒙受巨大损失等后果。

1  数据不一致原因

为了能够解决数据不一致问题，需要找到不一致的原因并“对症下药”。

1.1  系统的异步机制，不可避免产生了不一致的数据

增值业务，需要电信运营商运营支撑系统（以下简称BOSS系统）与各个业务平台之间进行交互[2]，因此系统建设时，为了考虑用户办理的时效性，基本上BOSS系统与各个业务平台之间使用的都是异步处理机制，即：在BOSS系统办理业务后，会上发相应指令给业务平台，业务平台立即回复“收到”，此时默认业务办理已成功，实际上会存在各种情况（如业务平台程序异常、用户为业务平台黑名单等）导致平台侧未受理成功，此时就会出现用户办理了业务但未能享受到对应的权益，会引发用户投诉，收费却不能享受服务。同理，也会存在用户在业务平台办理业务，在BOSS系统未落地受理成功的情况。

异步受理流程如下图所示。

增值业务BOSS发起异步流程如图1所示。

增值业务平台发起异步办理流程如图2所示。

1.2  对数据一致性未充分重视，业务开发上线前未将一致性纳入上线范围

开发人员在进行项目开发时，往往会受到业务需求要尽快上线的压力，首要任务就是尽快完成项目开发，满足业务需求，使得业务能够尽快开展，没有意识到需要对数据一致性进行保障[3]，就算意识到数据一致性的重要性，也由于需要赶项目进度以便尽快交维，而没有进行一致性模块的开发。系统建设完成后，出现投诉、出现损失后方才发现问题。

1.3  手工修复

由于前面两点原因：系统异步机制及系统初期建设的不完善，会出现办理增值业务后无法使用、多计费、不优惠、收费而不享受服务、享受服务而不收费等出现各种问题，产生了不一致性数据。用户会投诉，或者日常运维发现了由于数据不一致性导致了收入损失，此时需要运维人员介入核查修复，在手工修复处理过程中，由于运维人员技术及经验方面等因人而异，没有统一的手工修复标准规范，進行手工数据调整带有一定的片面性，造成数据管理出现问题，会造成二次差异。

同时，由于运营商业务类型多样化，业务复杂性不断出现，各个业务出现问题后，问题之间存在着紧密的联系。但是相关技术人员对这一方面思考并不紧密，在修复一个问题时容易引发另外的问题，从而也导致了数据不一致。

2  建立数据一致性保障机制

针对上述三大原因，解决问题需要同时从人和技术手段两方面进行改进，构建常态化的数据一致性保障机制。常态化的数据一致性保障机制是管理办法、流程机制和技术手段的有机结合[4]。

2.1  制定管理办法，将数据一致性纳入开发交维范围

管理办法可以约束涉及的各方按照规范进行执行，制定《外部数据一致性管理实施细则》、《新增外部接接口数据一致性保障功能要求》以及《数据一致性保障管理办法》[5]，BOSS系统开发时需遵循上述三个管理办法要求，从公司层面自上而下都重视数据一致性，，在业务上线前严格把关，需具备数据一致性保障的各项业务功能模块后才能上线。

2.2  建立数据修复流程机制，规范人工修复操作

对于需要人工介入修复的数据，制定修复流程机制，根据操作的数据量级对应相应的审批机制。比如：数据量小于等于1000条，则需要对应运维专业的B角色伙伴同时审核后再执行，对于数据量大于1000条小于等于10000条时，需要运维组长审核后方可执行。对于大于10000条数据，需要科室专家/领导审核。避免由于个人技术及经验方面等局限导致人工修复数据后产生不一致的数据，同时采取一人修复，一人复核的方法，避免修复出错导致数据更加错乱的情况。修复完成后需要对处理结果进行效果验证。

2.3  依靠技术手段进行保障

由于BOSS系统与业务平台的受理机制为异步机制，因此增值业务数据不一致性不可避免。但我们可以从技术手段进行保障，尽可能的减少差异，以及缩短差异时间，以尽量保证数据一致性一致率、实时率。基于此考虑，我们通过建立一个数据一致性管理平台（以下简称Opendmc系统）来进行对数据一致性进行处理。Opendmc系统，也就是建立自动化的一致性比对及修复机制，根据日增量及月全量进行比对修复。

日增量比对：以一天为周期，以BOSS系统中某业务发生变更的记录为基础，对与该记录相关平台上的用户数据和业务局数据进行对比。

在比对完成后，以BOSS数据为准的[6]，由平台根据比对结果进行数据修复[7]。此修复规范目的是尽可能的权衡收入损失和保护用户的权益：若用户在BOSS有订购，在业务平台无订购，则需业务平台为用户补充订购关系，避免收取了用户费用而用户却不能享受权益。若BOSS无订购，平台有订购，则平台侧清理订购关系，避免收入损失，若此时用户有投诉，可以引导用户正常办理。

月全量比对：以一个月为周期，以BOSS系统中所有的增值业务订购记录为基础，与相关平台上的用户数据和业务局数据进行全量对比。

需要进行全量比对的目的是为了核对及清理历史数据差异，同时为了避免日增量比对遗漏的情况。

由于增值业务种类纷繁多样，涉及5万个业务，60个业务平台，因此比对工作量非常大。只依靠技术人员就能做好日增量及月全量比对是不现实的，需要建立自动化的一致性比对及修复机制，通过技术手段进行保障。BOSS系统与各个业务平台建立一致性比对接口，各个业务平台每日将增量变更的记录传送至BOSS系统，BOSS系统根据业务平台传送过来的数据与BOSS系统中的增量变更记录做比对，比对完成后，将比对差异结果回传给业务平台，由业务平台对差异结果进行处理，处理完成后，将处理结果通过回执文件传输给BOSS系统。数据一致性比对流程如图3所示。

建立自动化的一致性比对及修复机制，即opendmc系统，此系统将比对工作自动化，程序固定化，将差异结果及修复结果做成报表进行展示，只需要人工看报表，观察差异处理结果，从而可以更好的对数据一致性进行管理。Opendmc系统主要功能如图4所示。

Opendmc系统功能简述：

（1）采集管理及业务流程管理：启动采集任务管理进程，通过采集管理模块对业务平台传过来的数据进行采集入库，将各个业务平台的数据进行入库，校验字段格式是否符合规范。其中文件命名规范如下：

BOSS系统文件名称 BOSS_YYYYMMDD HHMISS_ZZZZPPP.NNNNNNNNNN.gz

业务平台文件名称 FLAT_YYYYMMDDHHMISS_ ZZZZPPP.NNNNNNNNNN.gz

其中：

①YYYYMMDDHHMISS表示同步基准点时间，YYYY为四位年份，MMDD表示月日，HHMISS表示时分秒（24小时制）;

②ZZZZ表示业务平台代码缩写;

③PPP表示省代码（如天津填220，浙江填571）;

④NNNNNNNNNN表示文件中的记录总数，右对齐，左补零。

⑤gz，gzip为压缩后添加的压缩标志文件采用不定长记录的格式，每条记录的域之间以管道符（“|”）分隔。字段需要包含手机号码、操作类型、操作发起时间、计费类型、业务提供商企业代码、SP自定的业务代码、最近一次服务定购的时间。

一致性比对数据涉及5万个业务，60个业务平台，有几千万的订购数据，因此需要启用流程任务管理程序，对比对的业务设置节点及流量管控，避免数据过多积压导致系统缓慢、崩溃。

（2）数据稽核及监控管理：系统自动比对虽然极大程度上提升了数据管理质量，提升了维护效率，缩小差异存在时间。但是根据历史经验，由于系统割接等原因极少数情况下可能导致比对程序异常，从而出现了数据量突增或者突减的情况，这时候若仍按照错误的数据将进行自动比对，将会更大的错误，会“误伤”更多正确的数据。鉴于此，需要对差异量进行比对并将差异量通过系统下发监控告警。流程为：BOSS系统接收各个业务平台发送过来的日增量/月全量数据，接收完成后对各个业务平台的数据总量分别进行统计，并与BOSS系统的对应的业务订购数据进行数据总量比对。并对差异数据量进行监控，预先设置一个比对差异总量阀值，若差异量大于此阀值，则此次不做自动对比，并将差异量告警信息发送给相关维护人员，由维护人员核查差异大的原因后再进行手工比对或者再次手工发起一次自动比对。

（3）差异处理及报表管理：对已经采集好入库的数据进行比对，按业务类型析出比对结果，将差异结果生成报表并在系统前台进行展示，维护人员及相关业务人员可以通过报表一目了然的掌握差异情况。

3  数据一致性保障机制实践结果

建立了数据一致性保障机制，我们通过数据离散度模型来检验保障结果。

3.1  数据离散度模型

描述数据 离散度的数学方法主要有极差、方差和标准差[8]。

极差：其最大值与最小值之间的差距，即最大值减最小值后所得之数据， 它是标志值变动的最大范围，它是测定标志变动的最简单的指标。极差越大，离散程度越大，反之，离散程度越小。

方差：方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。是反映一组数据与其平均值离散程度的一个重要指标 ，反映整组数据的波动情况。方差越小，数据越稳定，离散程度越小。

标准差：标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。标准差越小，数据越稳定，离散程度越小。

增值业务数据一致性管理办法规定，客户信息和订购关系以BOSS为准，数据在系统间不一致性问题就可以转化为BOSS系统数据和业务平台侧系统离散度问题，可以使用离散数学公式进行计算。当离散度越大，代表数据一致性越差 ，离散度越小，一致性越好。

3.2  数据一致性保障机制实践结果验证

3.2.1  数据一致率验证

我们分别随机选取一致性保障机制建立前后的一组数据进行比对分析，如表1所示。

对于这组数据，我们计算得到极差为40.40%，差异率均值是11.89%，方差为1.36%，标准方差为11.66%，也就是该业务离散度为11.66%。

对于这组数据，我们计算得到极差为0.08%，差异率均值是0.04%，方差为9.91*10–12，标准方差为3.15*10–6，也就是该业务离散度为3.15*10–6，离散度非常小。

从以上两组数据对比发现，实施常态化的保障机制后，能将增值业务数据一致率由88.11%提高到99.96%。

3.2.2  数据差异存续时间验证

随机取一致性保障机制建立前后的一个月数据进行比对分析。发现在一致性保障机制建立之前，由于是更多的是靠人为手工介入，人为因素影响很大，产生的差异未能及时处理，平均累计5天才对差异数据进行比对清理，差异存续时间较长，用户感知强烈，若BOSS系统有而平台侧没有，则用户无法享受对应的权益，用户投诉，客户满意度低;若BOSS系统没有而平台侧有，则会存在收入损失，时间持续越久，损失越大。在建立常态化的一致性保障机制后，每天进行日增量比对，在比对后由系统自动修复，因此差异存续时间保持在一天之内。T日的差异在T+1日进行修复，用户几乎无感知，收入损失风险极小。

4  结论

增值业务数据一致性保障机制可归纳为两大部分，第一部分是从管理人员、开发维护人员的、管理制度的完善进行保障，提高增值业务数据一致性的重视程度，制定数据一致性管理办法，能够指导数据一致性管理工作从意识形态成为实际落地。第二部分也是最重要部分是要從技术手段、从系统完善性进行保障，而不需要依赖相关人员的能力、人员变更、人为操作，减少了人为介入，日增量比对能够快速的解决数据不一致的情况，在用户感知前就处理，能够提升用户满意度，同时避免运营商收入损失。而随着增值业务的复杂度增大及系统的庞大，数据一致性的保障工作难度也进一步加大，仍需不断优化数据一致性管理手段及管理平台，提升运营保障的效率和能力。

参考文献

[1]区晓江， 朱炜， 何锐彬. 移动互联网增值业务数据一致性保障工作的研究[C]. 广东通信青年论坛， 2012： 355-359.

[2]马潇. 宁夏电信增值业务订购关系管理平台的设计与实现[D]. 成都： 电子科技大学， 2015.

[3]张立成， 杨敬巍， 褚尧， 等. 论业务支撑系统数据一致性的保障机制[J]. 通信世界， 2015（23）： 2-4.

[4]徐灏， 吴迪. 运营商收入保障中专线数据一致性研究[J]. 数字通信世界， 2019， 5： 164-165.

[5]陆松， 王睿， 刘桂青. BOSS和外部平台常态化数据一致性保障机制探讨[J]. 电信工程技术与标准化， 2010（3）： 34-37.

[6]中国移动业务支撑系统部. 中国移动增值业务数据一致性管理办法[Z]. 2011.

[7]中国移动通信集团公司. 业务平台与业务支撑系统数据一致性管理接口规范总册[Z]. 20l0.

[8]顾怀恩. 业务支撑系统数据一致性研究[J]. 电信工程技术与标准化， 2009（8）： 67-70.