APP下载

基于全生命周期的数据质量管理概述

2020-04-17李春鸣

科学与信息化 2020年3期
关键词:数据质量全生命周期企业

摘 要 为了应对企业发展战略和运营对高质量数据的需求,纵观数据全生命周期各阶段的数据质量要求,分析影响数据质量的主要原因,提出了集业务、管理、方法、技术为一体的数据质量管理体系方法。通过数据质量管理体系的建设,企业可实现预防或消除数据质量问题,从而全面提升数据质量,确保数据价值有效发挥。

关键词 数据质量;企业;全生命周期

引言

大数据时代的到来,让企业数据化转型成为新的全球大趋势。由于数据直接渗透至企业生产经营各个环节,企业经营管理越来越依赖于及时准确的数据,数据质量成为支持企业数据处理、分析与应用,挖掘数据价值,推动智能决策,提升企业核心竞争力的关键要素。然而,从信息系统数据规划设计到数据运维使用,直至数据退役的全生命周期中,数据质量受到诸多因素的影响,造成数据质量管理手段缺失,数据文化意识薄弱[2],数据质量问题严重。因此,管理并提升数据质量,使企业获得结构清晰、准确的数据,对企业的管理与发展至关重要。

1 影响数据质量的原因

数据质量表征数据特性满足数据要求的程度,关系数据信息的规范性[1]。纵观数据在信息系统中流转的全生命周期,数据质量受多方面的影响:①在数据规划设计阶段:各信息化项目独立实施,缺乏统一规划,跨业务域、跨信息系统的数据定义标准缺失,导致各系统数据孤岛化,数据质量参差不齐,数据定义不一致,主数据的数据源重复定义等问题;②在数据运维阶段:一方面企业数据管理体制、机制不健全,员工对数据价值认识不足,数据风险意识不弱,导致数据质量问题严重;另一方面各信息系统对数据的创建缺少校验和监督机制;③在数据使用阶段:企业往往缺乏数据资产统一管控平台,导致数据集成、使用情况的无追踪。尤其是系统上线造成的数据结构变更,未通知到数据管理部门,因此产生了信息的断层,导致数据集成、数据分析等出现源头失效。

2 数据质量管控环节

图1显示给出了数据生命周期各阶段的数据质量管控环节。企业数据质量管理是一个持续的环节,贯穿数据全生命周期的各阶段[3],其中数据规划和设计阶段旨在通过规范数据标准制定和数据模型设计提升数据设计质量,数据运维和使用阶段主要通过规范数据创建、变更和使用,进而提升数据运营质量管理。

3 数据质量管理方法

考虑数据在生命周期不同阶段数据参与活动,数据特性和数据要求不同,因此,企业要从数据生命周期各环节入手,确保信息系统中的数据真实、可靠 。基于“盘、规、治、用”的数据治理思路,在数据进入系统之前,企业先明确数据资产,制定数据标准规范,以期从源头遏制数据问题,数据质量管理在数据生命周期各环节的工作如下:

(1)数据规划环节。首先,企业需要建立健全数据治理体系,把数据质量管理提升至企业战略中去,形成企业数据文化;梳理数据需求,盘点公司数据资产,定义数据源头,立足于行业标准,统一定义数据质量的标准规范,规范企业数据的业务含义、业务规则以及数据分等特性,实现数据在公司范围内描述统一,为后续数据质量分析、识别问题数据工作提供重要依据。

(2)数据设计环节。为推动信息化项目对数据标准的贯彻执行,企业需要依据数据标准统一建立数据模型,通过设计数据模型,统一定义数据关系,数据存储结构,为后续数据有序的集成、共享、 迁移、应用奠定了基础,从根本上解决了数据获取的质量问题。此外,通过数据模型将数据业务标准与技术标准内容融合管理,按业务规则,对数据进行质量跟踪,为数据质量提升提供可信依据。

(3)数据运维环节。在数据运维环节,利用数据标准、数据模型,加强系统对错误数据的预警校验机制,可在一定程度上保证数据的正确性、完整性、唯一性。然而,数据质量问题不能仅仅依靠技术手段来解决,以往的企业对数据应用程度不高,对数据质量认识不足,造成信息化项目推进困难,因此企业必须让员工提升数据质量意识,全面洞悉数据质量对实际业务的影响;同时还需制定并严格执行数据管理规范,明确数据任责机制,在数据运维环节严格执行数据标准。

(4)数据使用环节。引入数据资产管控平台可实现各系统统一的数据标准、数据模型,监控数据的来源去向,提供完整数据地图。通过引入数据资产管控平台,在系统数据结构变更时,及时有效地加以管控,可保证数据分析应用时,数据输入正确,数据源头可信。通过平台数据血缘分析,显示数据上下游关系和数据迁移转换所经路径,便于进行影响分析,及时发现数据质量问题,制定数据整改措施,通知相关责任人,持续监控数据质量。

4 结束语

数据质量是企业信息化建设的重要一环,通过数据质量的影响因素分析,提出了包括数据全面统筹规划,事前预防,事中监控预警,事后补救四个方面的数据全生命周期的数据质量管理方法,企业通过建立高效的数据管理体系,持续监控提升数据质量,才能使数据成为企业管理变革巨大驱动力。

参考文献

[1] 系统与软件工程系统与软件质量要求与评价 第12部分:数据质量模型,2018:GB/T 25000.12-2017[S].北京:中国标准出版社,2017.

[2] 韩东晖,赵辰.数据质量管理与企业信息化建设[J].华东科技(综合),2018,(7):27.

[3] DAMA International.DAMA数据管理知识体系指南[M].北京:清华大学出版社,2012:1.

作者简介

李春鸣(1993-),女,河南省洛阳市人;学历:硕士,助力工程师,现就职单位:中国商飞上海航空工業(集团)有限公司,研究方向:数据治理方面。

猜你喜欢

数据质量全生命周期企业
2018上海企业100强
二维码标识管理系统在教育装备管理中的应用
天然气管道建设项目全生命周期风险管理研究
浅析统计数据质量
金融统计数据质量管理的国际借鉴与中国实践
2016,中国企业500强发布
浅谈统计数据质量控制
绿色建材全生命周期的研究与落实方法
范式转换视角下建筑工程全生命周期的工程造价管理研究
新申请企业一经受理便预披露