基于数据治理之自动稽核修复方案设计

付克 于庆淼

随着中台建设的不断完善，全国政企用户资料的不断上收，实行数据一点管理、一点看全，在享受数据大集中带来的各种利好之外，也不可避免地带来了各个省分BSS系统的个性化数据以及存量的异常数据，在享受全国数据集中纳管带来的红利同时，也暴露出一些问题。如何治理31省个性化数据及存量的异常数据成了必须要关注的课题。

背景

随着政企用户一点管理的不断深入，我们在享受收据上收带来的各种好处之余，也带来了异常数据对系统健壮性、稳定性、可用性、时应性的考验，所以需要对省分系统存量的异常数据进行修复，但是各省之间的个性化配置给数据修复带来了极大挑战。由于每款产品在各省之间的配置均不相同，且产商品中心仅仅是一个基础配置，各个触点之间对数据的要求不相同。如此繁琐的规则在不统一的情况下如何能将数据的问题发掘出来，并提高修复效率，是需要面临的一个瓶颈和困难。。

设计

实现思路

本方案主要介绍根据商品配置，验证用户健康度并自动生成修复脚本，通过修复脚本极大减轻省分人工运维工作，降低运营门槛。

详细设计

实时生成稽核模型，通过接口从受理触点（新架构）、产商品中心、自有规则配置中获取规则，并对规则进行加工形成稽核模型。

通过稽核模型对用户数据进行稽核，通过分省、分产品进行多线程稽核，保障稽核的效率，同时保障系统的稽核性能。

稽核逻辑包括：迭代产品规则模型下产品、产品属性、产品属性组。

如果找不到该属性信息对应的信息，则先判断模型中属性信息字段是否必填，如必填，将自动生成insert脚本，取配置库中该属性的值进行插入，当无法在配置库中搜索到相应属性值时，提示“请填写确认后的属性值”。

如果找到该属性的配置信息，则根据取值范围或者配置验证数据合法性，如果不通过，生成update语句，如果配置库有该属性默认值则取该配置，否则默认提示“请填写确认后的属性值”。确认后在集合中删除该条用户属性。

最后循环用户属性，剩余的用户属性均为没有匹配的用户属性，定义为“未定义”。

根据配置库生成修复脚本，运维人员无需自行编写运维脚本，即可对数据进行修复。

评分：满分100分，每生成一条被验证出来需要修改的脚本扣0.5分，根据分值的大小（90～100，75～89，60～74，60以下）设置4个级别。将所有验证结果记录表中，并生成文件以邮件形式发送给省分运维人处理。

场景应用

在2022年1月15日系统新老架构迁转实施过程中，首次采用稽核模型对双线业务26款发起方、落地方产品进行稽核。通过自动化的稽核模型生成，从产商品中心，新架构共计拉取26万余条规则配置，进行迭代组装成稽核模型260套，对10省迁转139万余位用户，共计1.13亿数据进行稽核，共计稽核出问题数据600万条，自动修复200余万，提供修复脚本400万。

通过对数据的稽核发现了一些潜藏的问题，发现了老架构产品在新架构不支持，产品支撑校验规则不一致，产品属性码值收敛等问题。最终通过业务部门澄清，对应该支撑的码值予以支撑外，其余问题数据通过自动生成的运维修复脚本快速对数据进行修复，通过2周左右的重保期，问题数据修复90 %以上，大大提高了省分运营维护的壓力，提高了工作效率，得到了省分的一致好评。

规划扩展

目前稽核模型通过产商品中心、销售中心等触点进行规则的拉取跟生成，但是还存在一定的瓶颈。目前稽核模型并没有对整个订单流程上的所有系统进行规则拉取，还有大约1 %左右的规则沉淀在其他中心，例如政企订单中心、OSS开通系统等，后续计划在拉通订单中心、OSS的同时，完善本地稽核规则。

总体来看，通过自动化稽核工具对用户数据进行稽核、修复，可以大大减少运维工作量，针对异常数据只需确认即可修复，无需编写SQL脚本，在减少工作量的同时也降低了门槛。通过自动化生成稽核规则，可以实时根据产商品以及触点的最新配置进行稽核，保障了数据的准确性。通过自动化的手段对数据治理进行修复，极大地减轻了省分运维人员的压力，同时提升了处理准确性，大大提高了处理效率。