一种内存库与物理库用户资料一致性稽核方法

李彩萍，姜文平

（中国移动通信集团湖北有限公司业务支撑中心，湖北武汉，430023）

0 概述

在5G+AICDE 的移动互联网时代，用户资料的保密性和准确性，对任一公司的企业形象，都具有重大影响。特别是移动运营商，用户资料的准确性，直接影响用户的业务体验和客户感知。尽管用户资料的准确性非常重要，然而，我省仍然存在部分用户资料不全、不同数据库里的信息相互冲突等问题，由此而带来的用户投诉长期无法解决。经整理，维护人员发现如下的主要问题或现象：

（1）欠缺物理库和内存库产品数据的稽核，这项工作需要从无到有建设，用户产品数据是计费的基础，所以稽核工具必须有且准确性必须经过所有场景的校验，测试要非常准确。

（2）数量巨大，导致稽核过程非常慢，全省所有用户产品资料表稽核一次至少需要耗时1 个月。

（3）历史差异数据的原因定位难。需要针对几十万级的不一致数据，采用侦探断案的方法逆向一条条多资料比对核查原因，非常耗时且繁琐，需要极大的耐心和不断总结方法。

（4）大量的产品资料表历史数据清理风险非常高。需要非常细致的评估对用户的影响，并且由于存量数据差异量大，需要跨几个物理库和内存库，且营帐物理库的表结构不同无法直接比对。

（5）作为日常维护工具，必须性能要求高又不能影响生产，现网大部分产品资料表的数据量百亿级，几十个表需要在七十多个内存库之间和4 个物理库之间每个库核查比对，如何高效稽核至关重要。

（6）作为日常维护工具，必须是自动化而且人工尽可能少介入，所以维护方法和策略要尽可能的完善，要能支持定时自动化执行且在一定条件下支持人工核查。

在此背景下，特提出了一种BOSS 系统的内存库物理库用户资料一致性稽核方法，经多方实践证明，该方法切实有效，可有效解决数据冲突问题，极大提高用户资料的准确性。

1 基于BOSS 系统的内存库物理库用户资料一致性稽核方法

■1.1 内存库与物理库用户资料一致性稽核思路

基于BOSS 系统的内存库物理库用户资料一致性稽核方法，主要建设思路如下：

（1）相关日常维护清晰：用户资料清理规则清晰；解耦、刷新维护手册，职责分工，保存周期清晰。

（2）进程准确性验证：分表分地市与手工稽核结果比对，验证稽核差异和修复结果。

（3）差异稽核和差异原因系统化定位：采用统计法+案例法+重现法进行分析定位，定位解决3 个月后再次全量稽核，分析是否存在新增差异且未定位。

（4）改进日常运维：要求支持增量稽核，实现营帐资料解耦集群化，账务物理库刷新内存库增加自动重处理，提高各环节的冗余。

（5）关键流程梳理：形成解耦刷新业务流程图和关键环节流程说明，明确资料在各数据库流转过程。

（6）历史差异数据修复：用户产品表可进行分地市，分业务修复，修复后支持按照分类随机抽样进行抽查，同时修复后再次全量稽核看是否存在修复异常。

（7）稽核系统构建：形成自动化全量稽核，自动化增量稽核，自动化修复，紧密的组织保障，完备的监控体系。

■1.2 一致性稽核方案

基于BOSS 的内存库物理库用户资料一致性稽核方法，将全量稽核进程和修复进程放在TASKMON 的CBE 定时分组中（根据需要启动），全量稽核进程分表稽核，修复进程分四类：内存库物理库用户修复，内存库物理库账户修复，内存库物理库号码修复，内存库物理库用户群修复。其实施流程如图1 所示，增量稽核逻辑流程图如图2 所示，整个过程包括如下步骤：

图2 增量稽核逻辑流程图

（1）抽取用户，增量稽核从解耦进程输出用户信息入CUST_SYNC_LOG，全量稽核通过python 脚本提取物理库在用用户。

（2）根据接口表CUST_SYNC_LOG 数据，以物理库数据为基础，依据路由信息去每个内存库依据唯一信息进行比较。

（3）形成稽核差异结果AUDIT_RESULT，IS_REPAI RED=0。

（4）修复差异数据AUDIT_RESULT，IS_REPAI RED=1。

■1.3 方法创新性

结合实际中的使用，基于BOSS 的内存库物理库用户资料一致性稽核方法，具有如下创新点：

首次，实现基于用户路由快速跨库高效比对的能力，将分散的用户、号码、群、账号资料信息有效分类比对，通过使用python脚本结合TT 内存库语句、oracle 物理库语句、java 进程实现了接近80 个库的资料稽核。形成的稽核系统可根据需要灵活选择实时或定时稽核，自动或人工稽核，增量资料或全量资料等各维度稽核，效率高每分钟稽核数据量超过万条，可自动依据用户、客户、群等维度进行跨库资料比对和自动修复。同时在实际比对过程中支持多次稽核、基于稽核差异结果再稽核，修复支持基于账务物理库稽核也支持基于营业物理库的稽核，支持多资料表稽核，稽核灵活性好。

其次，针对资料解耦过程的关键进程采用了支持自动重处理，错误码高识别率及自动标识（出现新错误可以通过错误码标识且归类）、异常数据进程日志级别差异化（对于失败数据采用高日志级别进程处理及标识，便于问题核查和定位）等手段，有效提升了解耦过程中的问题处理效率及降低了失败率。

■1.4 效果说明

在实践中，基于BOSS 的内存库物理库一致性稽核方法，取得了如下效果：

（1）通过稽核湖北省所有用户资料数据，稽核出大量差异数据，完成相关数据修复后，到湖北移动业务支撑中心的物理库内存库不一致的用户投诉，由以前每周不低于5 件降低至0 件，大幅提升用户满意度感知，保障了用户计费的准确性。

（2）通过增加关键进程重处理功能，增加了系统健壮性，使得失败率降低到1/10，有效减少人工投入0.5 人/每天。如刷新失败量从平均每月超过6000 笔，降至不到10 笔。

（3）通过本文的研究使得稽核纳入常态化管控，有效实现了收入保障管理；通过本成果对历史数据和实时数据的监控自处理，主要用户产品表一致率>99.999%，新增异常<0.001%，有效落实了公司精益管理的发展战略要求和有效提升公司客户满意度和公司形象。

（4）用户资料是所有经营分析和智慧营销的前提，准确一致的资料有效保证了公司经营分析和大数据应用的准确性。

（5）稽核出的历史数据差异量大，分析特别困难，本成果形成规范化的分析脚本可用于后续日常分析。团队通过一定的批量分析，不断总结方法，采用统计法+案例法+重现法。首先分析出可能的差异及修复方式共6 种，然后从各维度统计角度看是否差异数据特征，比如subs_product 表是否差异的都是某一类产品、集中某个时间段、subscriber_attr 集中在某类属性、某类异常如生失效时间一样等，采用聚类分析法和排除法。然后通过分析相关的前后业务，中间过程判断可能产生的原因，并在bcv 模拟用户数据进行问题重现等。

2 结束语

本文提出的基于BOSS 的内存库物理库用户资料一致性稽核方法，解决了电信系统长期一直无法解决的疑难投诉，作为收入保障重要监控点，提供了一套内存库物理库用户资料稽核工具，且完成的不仅仅是新工具系统，是一套完整的一致性保障体系，包括完备的监控体系，一致性保障机制（自动化全量稽核和增量稽核能力，自动化修复能力），清晰的系统维护手册和系统流程图说明，紧密的组织保障（日常保障，技术支持流程）。同时本成果完成的不仅仅是存量清理和新稽核工具系统，更针对历史问题进行深挖细钻，从源头分析解决问题，从流程中进行所有过程分析把控减少问题，通过一个点解决一个面，清理掉了所有历史差异数据，大幅提升了关键进程的成功率。该项目在我省的资费及收入保障管理工作中，获得了大力支持与一致认可，取得了良好的效果。下一步将从两个方面开展工作，一方面，继续对现有的方案进行改善与优化，全面提升系统的稳定性、容错性和可持续使用性能。另一方面，面向兄弟公司进行推广，或在省内支援其他系统进行一致性稽核，全面攻关现有成绩，实现研究成果的利益价值最大化。