APP下载

企业业务域数据质量管控问题及解决措施

2020-04-23张帮君

电子技术与软件工程 2020年8期
关键词:精益管控质量

张帮君

(广东元韬企业管理咨询有限公司 广东省广州市 510000)

1 前言

根据美国德克萨斯大学针对数据有效性的一项研究表明,企业通过提升对自身数据的使用率和数据质量,能够显著提高企业的经营表现。以电力行业为例,根据研究提供的数据,如果企业数据使用率提升10%,电力行业中企业人均产出将能够提升18%左右;根据德州研究提供的数据,如果企业数据质量提升10%,电力行业净资产收益率提升幅度为218%[1]。

同时,随着国家推进互联网+,大数据,云计算、人工智能等新技术在各领域的应用,加强数据质量管理成为企业普遍共识。为适应新形势下业务发展需要,为更好解决业务数据完整性、及时性、准确性的问题,各行业从管理、技术等方面,不断改进创新数据质量管理方法,以实现数据质量全面提升。

2 数据质量管控普遍问题

虽然各行业的数据质量管控实践侧重点不同,但总体上数据质量管控分为三个层面:机制层面、管理对象层面和技术平台层面[2-4],三个层面普遍性问题如下:

2.1 机制层面

目前较多企业仍以业务系统、业务条线建立纵向数据管控机制为主,相比而言在跨业务、跨部门、跨系统的横向协同方面较为薄弱。

2.2 管理对象层面

仍强调数据标准建设和指标管理,而在数据管理体系的中层和基层缺乏可操作的数据质量方法和稽核标准,需要更准确定义数据、更规范录入数据。

2.3 技术平台层面

将主数据管理、数据标准管理、数据质量监控、元数据管理、数据服务管理等几部分功能统一形成数据资产管理平台并作定制化开发,一站式数据管理用户体验更好。但身份数据解析、数据标准化、数据匹配、数据语义等主数据,相关数据质量技术应用不佳。

3 数据质量精益化管理方法

为适应新形势下业务发展需要,更好地解决了业务域数据完整性、及时性、准确性的问题,以6σ 质量管理方法论为指导,构建数据质量精益化管控体系(如图1 所示),通过“制度管人、流程管事、技术提效”,不断改进创新数据质量管理方法,实现业务数据质量全面提升[5-8]。

如图1 所示,具体实施步骤如下:

3.1 定义业务需求和方法

包括确定数据质量提升组织体系,组织结构;确定数据核查工作目标、工作范围、工作计划、工作方法、数据核查规则。

3.2 分析信息环境

收集、汇总、分析有关形式和信息环境,设计数据质量评估的方案,对现有核查要求及相关信息进行资料收集,包括核查规则、数据编码、历史数据范围等。

3.3 评估数据质量

以按照数据核查规则对从现有系统中业务数据进行数据质量核查,按照业务数据报送、统计等要求对数据质量进行评估,生成数据质量核查报告。

图1:数据质量精益化管控要素

3.4 评估业务影响

使用各种技术评估劣质数据对业务产生的影响,评估内容包括现有数据质量问题对当前业务系统运行的影响、现有数据质量问题对企业业务运作的影响。

3.5 确定根本原因

确定影响数据质量的真实原因,包括业务原因,数据原因等,并区分这些原因的影响的数据质量的级别。

3.6 制定改善措施

从数据标准、质量管理流程、考核评价、信息技术等维度制定数据质量精益化管控举措,全面落实数据问题整改、错误预防及监管责任,最大限度控制由管理上的缺陷造成的数据质量问题。

3.7 持续监督优化

分阶段分步骤落实管控策略,对数据质量管控全过程实施指导、应用、监督和评价,维护已改善的效果。

4 实践案例

针对某电网企业生产域设备资产数据质量问题,首先对公司设备资产数据管理进行调研,明确现状问题、流程改进方向及管理优化建议等;再根据现状建设数据质量精益化管控机制,包括研究制定数据标准、数据校验规则库、数据稽核流程、监控指标、工作质量评价等40 多项管理和技术措施[9-15](如表1 所示);最后通过数据技术、系统集成技术将管理方法以自动比对校验、可视化监测及在线评价发布等功能的形式进行技术固化实现。应用该方法,将数据及时率由45%提高到85%,数据错误回退修改次数减少超80%。

根据问题及举措分析,按照数据质量精益化管理方法,分步骤分阶段开展数据质量精益化管控实施,具体做法如下:

4.1 开展数据评级,确定实施路径

针对设备资产数据项,拟从应用价值、实施难度两个维度制定评级标准,其中应用价值高低主要从业务影响和出现频率两方面判断,实施难度主要从数据规模和措施实施难度进行判断,制定具体评级维度划分标标准,组织业务人员根据评级标准对数据项进行优先级排序,明确首要、短期、中长期实施目标,确定实施路径,为开展数据剖析作准备。

4.2 开展数据剖析,明确数据问题

表1:数据质量管控举措库(部分示例)

对首要实施目标的数据,针对列、表、跨表的数据应用统计、文本挖掘、自然语言算法及等数据挖掘算法,结合KNIME、Openrefine 等工具,进行数据剖析,识别数据异常,对识别出的数据异常,匹配数据问题,建立数据问题异常映射关系库。识别数据异常和评估数据质量,明确数据具体问题。

4.3 匹配提升措施,形成任务清单

明确数据项具体问题后,通过匹配对应的提升措施(如表1 所示),形成数据治理任务清单,明确措施实施难度、风险、责任人及完成时间。

4.4 实施数据清理,持续跟踪反馈

分子公司根据任务清单,应用人工及智能技术开展数据清理工作,其中人工清理按照“数据准备—现场核对—数据清洗—数据上传—自检完善”,系统批量清理采用统计、机器学习等智能算法,结合数据质量管理系统开展数据中心、接口与业务系统的数据自动比对清理。

同时,建立跨部门的数据缺陷管理机制,明确分子公司业务部门与技术部门界面,制定数据缺陷管理流程及过程监控表单。

4.5 发布成效评价,总结提升经验

公司设立问题整改完成率和数据治理完成比例等作为数据质量管理成效指标,按季度进行检查及评价发布,并将结果纳入绩效考核,按季度检查分子公司工作成效,以数据项治理完成情况和问题整改情况作为成效评价量化指标,通报各公司数据治理整体进度情况,并根据各分子公司实施情况,总结提升经验,优化措施库,同时启动下一期治理策划。

5 结论

针对企业业务域数据质量管控,本文借鉴6sigma质量管理方法,构建数据质量精益化管控体系,通过对数据的“诊断评估-机制建设—过程监督—成效评价”,将业务管理优化与数据质量管理相融合,为业务部门根据自身需求主导数据质量管控提供实践借鉴。

猜你喜欢

精益管控质量
EyeCGas OGI在泄漏管控工作中的应用
多端联动、全时管控的高速路产保通管控平台
精益思想在海外工程项目中的应用
做梦导致睡眠质量差吗
信用证洗钱风险识别及管控
机加零件精益单元构建与应用
精益管理实践之“360”精益管理模式
质量投诉超六成
失控还是管控?
创业从精益开始