ZN公司数据标准化实施方案设计
2021-12-31王春丽
王春丽
(神华准格尔能源有限责任公司 信息中心,内蒙古 薛家湾 010300)
随着大数据时代的到来,越来越多的企业关注数据价值和应用,而企业的信息化建设经过多年的发展,业务数据、基础数据等各类数据均积累到了一定量级,这些数据记录着企业的安全及生产情况,对企业创新及可持续发展至关重要。但由于缺乏统一的标准,这些数据再次利用困难重重,很多系统建设方宁可重做一套系统,也不愿意利用原有系统及数据。数据再利用困难的一个重要的原因就是数据标准化问题。
ZN公司是煤炭开采、铁路运输、矸石发电一体化运营的综合能源企业,历经30多年的发展,信息化项目也从单一功能的表格,随着信息技术大环境的发展逐步发展成集团化统一管理的信息管理平台。信息系统更新换代的过程中,建设了生产经营各个环节的应用系统,不同时期建设的信息系统采用不同时期的信息技术,信息技术更新快,信息系统也在不断地更新,但是数据标准化工作未能同步开展。不同的厂家、不同的技术架构、不同的业务及技术人员、不同时期的建设思路等均造成数据的个性化设计。随着大数据时代的到来,发现数据再次利用难度大,必须对数据进行标准化处理,才能提升后续数据利用的扩展性。
1 关键技术
1.1 标准化与数据标准化
标准化是指在经济、技术、科学和管理等社会实践中,对重复性的事物和概念,通过制订、发布和实施标准达到统一,以获得最佳秩序和社会效益。
数据是以文本、数字、图形、图像、声音和视频等格式对事实进行表现。数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程。
1.2 企业数据标准化
在信息时代的大背景下,数据对企业来说是公认的一项资产,同时数据质量的水平直接影响着数据资产的价值,数据标准化从一定程度上影响着数据质量。企业做好数据标准化工作能提升业务规范性,通过统一的标准可以明确业务定义,使得企业不同部门之间沟通更加顺畅,避免歧义,提升数据对业务的支持力度。通过定义相同的数据结构,从技术角度提升信息系统的应用效能,根据标准可以实现信息的共享及交互,减少不同系统间定义,提升数据抽取、转换、装载的效率。统一的数据标准,能提升管理上的辅助分析决策水平,相同的数据定义,更准确、及时、高质量地提供数据,为后续BI分析及大数据分析提供基础。
2 数据标准化方案设计
2.1 建设思路
企业数据标准化工作是一个持续性开展的长期工作,不是一蹴而就的任务。数据标准化体系确保企业内部数据对象具有明确的所有权与属性定义,确保企业信息系统共享数据的一致,确保企业数据质量与数据安全的有效控制。ZN公司数据标准化工作将基于公司业务架构合理划分主题域,明确数据对象的基本定义、属性、标准、认责和使用,完善相配套的数据管控体系。
在建设过程中参考“GB/T7072-2002信息分类和编码的基本原则与方法”“神华集团数据管控体系设计报告”等相关文件,参考国内外、行业相关标准及规范,从ZN公司实际出发,以生产安全为主线,围绕生产经营业务展开,从业务数据、指标分析数据、主数据、实时数据方面分别开展。
建设步骤先行开展数据现状调研分析,对ZN公司已有数据进行分析,分析数据的业务内涵、存储方式、未来可扩展性。从业务需求角度对数据需求进行识别,找出需要定义及标准化的相关数据,并对相关数据进行标准化定义。企业数据标准化定义要经过相关部门及业务讨论修订,根据业务变动定期发布及修订数据标准。
2.2 标准化建设原则
企业数据标准化工作最终要为企业服务,使信息化工作更加适合企业的业务,减少“烟囱式”信息系统造成的数据孤岛,推进信息化建设的顺利实施,为后续数据价值体现做好铺垫。①要具有全面性,数据标准化过程要包括生产、经营、管理各个业务领域的数据,促进ZN公司整体数据的规范梳理及定义;②要具有前瞻性,从战略的角度出发,结合公司今后及未来一段时间的需求,借鉴行业经验,确保数据标准化体系具有一定的前瞻性,杜绝仅满足于目前而没有扩展性;③要可执行,数据标准化工作实施完毕要在ZN公司内部实施,要经过充分的调研分析,鉴于已有系统及新建系统的不同需求,衡量系统改造的难度及数据共享的必要性,确保标准化的体系可执行。
2.3 ZN公司数据分类
经过对ZN公司的数据进行充分调研,从业务应用的角度将企业数据分为主数据,业务数据,实时数据和指标分析数据4类。
主数据是应用系统间共享的数据,是ZN公司的核心基础类数据,在跨系统数据共享中发挥着重要的作用,经过梳理共计定义了41个主数据。规划主数据管理信息系统,实现主数据的订阅与分发,实时掌握数据的流向及异常情况。
业务数据是描述业务运营的事务型数据,分别记录内外部事件及交易记录等信息。在ZN公司内部该类数据主要分布在各个应用系统中,属于各个业务系统的数据,其间涉及主数据的采用主数据标准,涉及共享的明确提供方及接收方。
实时数据主要是在生产各环节、场所和装备的各类监控检测类数据,这部分数据实时性强,变化频次快,但是数据的变化幅度不大,根据需要进行定义,鉴于这部分数据实施厂家不同,业务性强,可不统一编码,但是在涉及入库及共享中明确流向及溯源信息。
指标分析类数据能量化反映企业的生产经营工作,一般服务于生产、经营及管理的各级管理人员,分析生产经营的利弊,企业效益,成本分析等方面。这部分数据在标准化工作中要结合管理实际,分为经营类指标和生产类指标分别进行定义,定义的指标要经过业务主管部门审核,定期维护,随着业务的扩展或者外部环境的变化定期修订或者完善新增分析指标。
2.4 ZN公司数据标准化方案
构建数据标准化体系,运用企业系统规划法、关键因素法等分析方法,采用自上而下或者自下而上的思路分析企业数据现状,借助规范的流程管控梳理相关业务,提取业务与数据的关联,实现数据向信息的转换。对ZN公司来说,标准化过程可以采用渐进式的方式进行,最终实现全面数据的标准化,根据生产、安全、经营的现状,分析主题域,丰富相关主题包含的数据,分类进行入库管理,构建树形的数据资源展示图,使得管理者对数据资源一目了然。体系的制定兼顾质量与速度并重的原则,既要避免仅仅为了速度造成数据空洞流于形式,又要避免保证数据周期过于长而失去时效性。
建立数据模型,要求数据模型具有先进性,符合当前技术标准,同时适合企业未来一段时间的发展。可根据企业的业务需求进行一定程度的扩展,支持企业业务的可持续发展,同时数据模型要可靠,确保这些数据模型的信息系统运行可靠。对数据标准化工作来说要建立数据的逻辑模型和物理模型。逻辑模型也叫概念模型,按照用户的理解与观点对数据进行建模,通常采用实体—联系(E-R图)来表示,可以作为通用的数据模型。物理模型一般面向数据库,通过数据结构、数据操作及数据约束条件的限制。通过两个模式构建的数据模型在企业范围内一致,业务与数据紧密联系,信息表达完整。
规划数据编码标准,编码在很多信息系统中都作为主键在运行,是信息系统运行的基础,决定这整体运行效果和速度。因此,必须对公司的各类数据进行规范的编码设置,编码规则是难点,做到每一个数据都有唯一的编码。对ZN公司来说,必要的编码如物资编码、人员编码、组织机构编码、设备编码、会计科目编码、实时测点编码等。信息系统集成标准化,数据标准化体系建设要求信息系统开发过程、开发接口也要实现标准化,整体才能提升公司信息化水平。
3 数据标准化保障措施
3.1 数据标准化管理机构
数据标准化工作是一个长期而持续性的工作,需要成立相应的管理机构,管理机构可以和现行的管理部门重复。对于ZN公司来说,管理机构成立数据管控领导小组,同时必须明确几种角色,方便后续的管理工作。①数据所有人其对数据资产拥有所有权,对数据资产的管理和应用具有最终决策权、执行权和监督权。②数据认责人其受数据所有人的委托行使数据资产管理和应用的执行权。③数据用户是指应用数据资产开展业务活动的部门和人员。④数据管控团队其是开展数据管控工作的主体,负责建立数据管控体系,发起和组织数据所有人、数据认责人、数据用户共同参与数据管控活动,保障各类数据资产的有效管理和应用。
3.2 数据标准化考核机制
数据标准化工作最终要为数据应用服务,应用的最大问题是数据质量问题,所谓数据质量是指数据满足使用需要的合适程度,用数据的一组固有特性来度量。在标准化工作实施完毕后,相应的数据管控小组要制定相应的考核机制进行考核,考核重点关注数据的准确性、完整性、及时性、一致性和规范性。准确性主要看数据是否真实客观,符合事实、标准或真实情况。完整性主要强调数据在结构上能正确反映数据之间的逻辑关系,用来衡量数据记录的完整程度。及时性是指对信息可访问性和可用性的时间预期,数据刷新、修改和提交等操作是否按规定时限要求完成。一致性主要指数据源中数据对一组约束的满足程度。规范性是指数据是否遵循了统一的规范,数据集合是否保持了统一的格式,数据的值域是否在用户定义的有效范围内。在ZN公司每月召开的自建系统分析会上进行通报,查找问题,分析原因,不断提升数据标准化工作。
3.3 数据标准化日常管理
制定管理标准及管理流程,结合国家及行业标准,明确组织及职责。办法中明确数据标准化定义的表达规则、数据属性、编码方案、开发应用原则等;统一组织、归口审批,ZN公司数据量大,涉及部门及应用系统众多,不是信息管理部门一个组织能完成的工作,需要制定相应的审批机制,数据归口部门进行管理及审批,数据管控领导小组负责统一协调组织;建立标准的数据库管理系统,收集各类数据的文件、数据字典,组织专业人员进行研究分析,对可利用有用的数据进行标准化改造,录入系统进行规范管理;数据安全方面遵从国家、行业和企业相关法规和制度,制定合理的安全分级标准,通过数据授权访问机制规范数据的存储和使用。
4 结束语
数据标准化是数据作为资产发挥价值的基础,加强数据标准化工作,对推动ZN公司数据规范及应用的重要进程,加强数据与业务的有效融合,对于充分发挥数据在生产、安全中的重要作用具有积极意义。数据标准化工作涉及的内容广泛,参与的组织及人员众多,任务繁重,协调工作量大,对人员要求高,需要统一组织,统筹规划,分工合作开展相关工作。
对于ZN公司来说,数据标准化工作是一个迫在眉睫的工作,希望所有人员给予足够的重视,各部门同心协力共同推进数据标准化工作。数据标准了,数据资产价值发挥了,会进一步提升ZN公司的综合竞争实力。