关于提升用户数据一致性的方法讨论
2021-11-03张彦满王兰王奇张力陈宝平
张彦满 王兰 王奇 张力 陈宝平
DOI：10.19850/j.cnki.2096-4706.2021.08.006
摘 要：文章针对业务支撑中心CRM中的用户数据和网络运营中心网元中的用户数据不一致或网元与网元间用户数据不一致的问题，介绍提升用户数据一致性的方法，重点讲解安全、精准、智能的用户数据一致性稽核、修复的系统流程：多源用户数据采集、根据配置解析入库、依据稽核规则开展批量稽核、差异数据进行二次实时稽核、按照实时稽核结果自动下发修复指令、修复后复测一致性结果、投诉关联智能化跟踪修复。
关键词：用户数据;数据解析;数据稽核;数据修复;投诉关联
中图分类号：TP274.2 文献标识码：A 文章编号：2096-4706（2021）08-0020-04
Discussion on Methods to Improve the Consistency of User Data
ZHANG Yanman，WANG Lan，WANG Qi，ZHANG Li，CHEN Baoping
（China Mobile Group Gansu Company Limited，Lanzhou 730070，China）
Abstract：In view of the inconsistency between the user data in CRM of the business support center and the user data in the network elements of the network operation center，or the inconsistency of the user data among the network elements，this paper introduces the methods to improve the consistency of the user data，and focuses on the system process of safe，accurate and intelligent user data consistency audit and repair：multi source user data collection，analysis and warehousing according to configuration，batch audit according to audit rules，secondary real-time audit of difference data，automatic issuance of repair instructions according to real-time audit results，retesting consistency results after repair，intelligent tracking and repair of complaint association.
Keywords：user data;data analysis;data audit;data repair;complaint association
0 引 言
根據日常用户投诉处理分析，CRM（Customer Relationship Management）和网元用户数据不一致或网元间用户数据不一致已经是影响用户使用和感知的重要因素，同时业务支撑中心、网络运营中心的数据一致性比对不足，部分业务功能数据不一致也会造成收入损失，对公司营业收入产生严重影响。因此业务支撑中心和网络运营中心组成虚拟团队，协同开展提升用户数据一致性的攻坚工作。
本文结合用户数据一致性提升专项优化工作，从细化稽核规则、严控稽核过程、复测修复结果、关联投诉处理等方面入手，安全、精准、智能的把控用户数据稽核、修复的全流程。
1 用户数据不一致产生的原因分析
现网CRM与网元间的数据是多对多的网状对应关系，各业务间依赖、关联、互斥关系繁杂，且系统间是异步交互的方式，随着相关业务数量的增多，CRM与网元之间的交互流程和逻辑越来越复杂，容易引起网业（网元与业务支撑系统）之间的数据不一致。
1.1 多原因引发网业数据不一致
1.1.1 机制缺陷
现网部分业务规则设计不合理，同时管理机制不健全：（1）业务规则不对称：如有些业务在支撑侧是立即生效，而在网元侧是下周期生效;（2）后台开通业务：从业务平台侧或从接口层手工开通业务;（3）操作异常：割接操作不规范或业务梳理不够彻底。
1.1.2 异步交互
业务平台烟囱林立，系统间采用异步交互的模式：（1）支撑系统异常：业务订购或退定时未给平台成功发送指令;（2）外围平台异常：外围平台未执行支撑系统发送的指令或未向支撑系统成功发送反向指令;（3）相关配置错误：系统参数、产品配置错误。
1.2 修复难度大
多方面原因导致网业数据一致性修复困难重重：（1）规则梳理、维护难度大：业务相互融通、关联，规则复杂，相应的稽核、修复规则梳理困难;产品频繁上、下线，需要调整对应的稽核、修复口径;（2）数据修复风险大：不同系统间数据抽取时间难以保证一致，以及数据抽取到稽核出结果期间用户可能发生业务变更，直接按批量稽核出的结果修复数据，有可能“把对的数据修错”;（3）难以手工处理：由于业务繁多、各系统提供的数据格式千差万别，若由人工处理，其效率低下且效果不佳。
2 总体架构搭建
虛拟团队以安全、精准、智能的开展用户数据一致性修复为目标，搭建了“面向异构网元的智能化数据管控平台”。平台整体架构如图1所示。
3 梳理用户数据稽核规则
根据用户在网元侧的全量数据备份文件和SOAP指令实时查询结果，梳理了用户四类基础数据（手机号码、IMSI、上网功能、停开机）、六类VoLTE网元数据、十六类业务数据（彩铃、来电显示、呼转、“呼死你”防护、呼叫保持、呼叫等待、高频骚扰电话防护、三方通话、国际直拨、国际漫游、欢乐家庭网、集团V网、5G签约、来电提醒、彩印、宽带）的解析规则。
4 通过平台实现手段智能化
4.1 数据采集
通过FTP、SFTP、数据表方式采集网元数据和业务数据。支持以固定分隔符分隔的文本文件，主要为业务平台数据（彩铃、宽带、来电提醒、专线、彩印、VPMN数据等）;支持华标HSS全量数据和VOLTEAS透明数据的.gz格式，采集后自动解压缩处理;支持跨库方式进行数据同步，设置源库和目标库，CRM多采用按月或按地市分表模式，平台表名支持通配模式，以减化配置复杂度。
平台可根据网元侧备份文件生成时间，灵活配置采集开始时间点、采集路径、用户名、密码、采集文件名等关键字，实现自动采集，并保存到相应的路径。
4.2 数据解析
文件采集到本地后根据配置自动进行解析入库。用固定分隔符方式采集的文件其解析的字段数、入库表名、分隔符均可根据需要进行配置;HSS全量文件和VOLTEAS透明文件通过配置提取所需业务数据进行解析入库，后台进程再对数据进行清洗、规整、格式化，降低批量稽核工作难度。举例如下：
VOLTEAS透明数据格式复杂，业务数据采用“键值对+XML报文”格式进行保存，平台采用键值解析，对XML报文通过XPATH方式进行匹配，提高配置的灵活性和准确性。
对用户152XXXX6523的VOLTEAS透明数据解析后的结果如图2所示。
4.3 批量稽核
数据解析入库后根据稽核规则进行批量稽核。批量稽核先按提取规则提取CRM和网元数据，再以稽核规则稽核出差异数据。
用户152XXXX6523在CRM中为双停状态，网元上语音和短信闭锁，2/3/4G上网功能没有闭锁，批量稽核后结果如图3所示。
4.4 二次稽核
数据采集时间一般在凌晨4点左右，网元数据提取时间点和CRM数据提取时间点之间会有误差，批量稽核的数据结果只能作为初步参考，不能以此数据直接进行修复，故平台会对差异数据进行二次稽核，确保修复的准确性。二次稽核以单条号码为索引，同时查询网元状态数据和CRM状态数据，确保将数据查询的时间点误差保持在毫秒级。
二次稽核是实时稽核，需配置CRM动态查询语句及网元动态查询指令，并对结果中的关键数据进行提取，然后通过实时稽核规则判断是否属于差异数据。
用户152XXXX6523实时解析结果如图4所示。
4.5 数据修复
修复前会再做一次实时稽核，稽核一条修复一条，按照稽核结果、匹配数据规则，发送相关修复指令。
用户152XXXX6523的稽核结果为语音停机但2/3/4G上网未停机，故发送2/3/4G上网停机指令：
SEND DIRECTIVE：
RECEIVE RESP：HTTP/1.1 200 OK
Server： Huawei web server
Content-Type： text/xml; charset="utf-8"
Content-Length： 418
<？xml version='1.0' ？>
PARSE RESAULT：9
4.6 修复后再次稽核
修复完成后，通过前台对CRM和网元上的数据再次进行查询，核查用户状态是否修复到一致，确保修复的正确率。用户152XXXX6523修复后前台查询结果如图5所示，可以看出修复之后锁状态全部变为TRUE，和CRM里面的状态2（双停）一致。
4.7 投诉关联
通过智能化的手段跟踪修复结果，保障用户使用。平台与一级客服系统对接，按小时获取在线公司受理的投诉工单，将修复过的用户与投诉用户进行自动匹配，投诉比例超过设定阈值时下发告警，人工核查确认数据修复是否正确。
5 本方法的先进性
安全、精准的修复保障：（1）修复数据通过多重验证。采用“批量稽核+二次实时稽核+修复验证”等全方位的控制模式，实现自动化的“能修复、能修对”目标，将对用户的影响减到最小;（2）根据差异数量判定是否自动修复。对稽核出来的差异数据根据不同的业务设置不同的阈值，差异数量超过阈值时暂停自动修复并下发告警，由人工确认是否需要修复，减少因业务规则改变导致稽核结果不准确引起的数据修复错误;（3）修复数据可恢复。根据修复前的备份数据和数据修复工单可将用户数据恢复至修复前的状态。
智能的數据关联：（1）用户数据纵横关联。现网CRM与网元间的数据是多对多的网状对应关系，平台将各网元的数据和业务平台的数据进行集成，通过业务逻辑、用户类型，归类用户业务正确的数据实现方式，将一个用户业务数据在网元和CRM上应该具备的业务要素进行统一展示，并采用“配置说明+动态帮助”模式进行辅助。同时修复业务时会连带稽核、修复与其有关联、依赖、互斥关系的业务;（2）设置白名单用户。稽核出的差异数据在自动修复时会智能过滤白名单用户并下发告警，人工判断是否修复，避免对特殊业务及号码进行常规修复;（3）启动流控功能避免数据查询、修复影响正常业务。一致性平台生成的每一条工单在插入统一开通接口表前，会查询接口表当前未处理的工单量，超过设定阈值时暂停操作，避免引起工单积压;（4）灵活的自适应性：平台可根据产品上下线自动调整稽核规则，适应业务产品的发展需要。
完善的跟踪处理：（1）投诉关联跟踪修复结果。数据修复完成后，可通过集中化平台数据关联用户投诉信息，检查修复用户是否有与修复操作相关的投诉，如有平台会自动上报告警。及时发现由于修复导致的用户投诉，迅速启用应急措施，避免批量用户投诉;（2）数据一致性工单可识别。数据一致性平台生成的查询和修复工单均进行备注，以便在数据统计、投诉、故障核查时进行区分。
6 用户数据一致性提升效果检查
6.1 百万级的修复数据
平台现已纳入11个地市23类业务、212个场景（配置了137条采集规则、1 260条批量稽核规则、219条实时稽核规则、190条实时解析规则、198条实时修复规则、123条业务关联规则、15条特殊过滤规则），全部实现按日自动稽核、自动修复。
截止目前累计修复存量数据约492万条，涉及约487万用户。
6.2 大幅下降的一致性投诉
平台有效运转，开始自动进行用户数据一致性稽核及修复后，涉及数据一致性的投诉从2021年2月开始出现明显下降，投诉占比降低了3.5%，极大提升了用户感知和满意度。
6.3 颗粒归仓的收入保障
通过用户数据一致性修复，截至2021年4月，计费错单量（流量业务为主）从去年同期的148万下降到23万，错单用户数从8 217户下降至1 619户，约挽回收入损失396万/年（（8 217-1 619）×50×12=3 958 800）。
7 结 论
用户数据在CRM和网元间及网元与网元之间必须是一致的，这是保障用户业务正常使用和业务正确计费的基础。本文的目的，就是想通过提升用户数据一致性，来减少用户投诉，稳定用户群，确保运营商正常的营业收入，同时提出了用户数据一致性稽核、修复的系统方法，供用户数据一致性的优化人员参考。
参考文献：
[1] 张立成，杨敬巍，褚尧，等.论业务支撑系统数据一致性的保障机制 [J].通讯世界，2015（23）：2-4.
[2] 李彬.一种智能网与BOSS数据一致性校对方法 [J].信息通信，2018（10）：237-238.
[3] 陆松，王睿，刘桂青.BOSS和外部平台常态化数据一致性保障机制探讨 [J].电信工程技术与标准化，2010，23（3）：34-37.
[4] 李丽玲.论运营商增值业务数据一致性保障机制 [J].软件，2020，41（10）：141-145.
[5] 黄淑冬.客户数据一致性管理系统的研究与应用 [J].计算机光盘软件与应用，2013，16（21）：291-292+294.
作者简介：张彦满（1984—），男，汉族，甘肃庆阳人，工程师，硕士研究生，研究方向：计算机应用;王兰（1980—），女，汉族，甘肃兰州人，高级工程师，本科，研究方向：通信网技术;王奇（1992—），男，汉族，甘肃张掖人，工程师，本科，研究方向：通信网技术;张力（1988—），男，汉族，甘肃平凉人，高级项目经理，硕士研究生，研究方向：电子与通信工程;陈宝平（1981—），男，汉族，甘肃白银人，工程师，硕士研究生，研究方向：大数据技术和应用。
收稿日期：2021-03-15
