主数据管理在信息化建设中的应用
2012-12-17中国石化股份公司信息管理部
中国石化股份公司信息管理部 罗 莉
1.主数据管理建设的背景
什么是主数据?大家常说的主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据,比如与客户、供应商、产品相关的数据,更广泛意义的主数据是同一系统或不同系统需要重复利用、需要共享、互相关联的基础数据,是企业内能够跨业务重复使用的高价值的数据,存在于多个异构或同构的系统中。主数据通常需要在整个企业范围内保持一致性、完整性、可控性,为了实现这一目标,就需要进行主数据管理(Master Data Management,MDM)。主数据管理旨在简化数据共享,并通过将软件技术与数据管理相结合为企业中的每个人提供一致的关键数据,作为主数据的信息会根据行业和组织的不同而有所不同,也会根据企业信息化的深度和广度不断扩展。
主数据管理在很早之前就一直存在,随着信息化技术的应用、业务发展以及监管的需要,企业对主数据管理(MDM)的认识有了显著变化。主数据逐渐受到业界的关注和重视,企业纷纷尝试利用主数据管理(MDM)解决他们在整个企业范围内进行跨业务、跨主题域时遇上的各种挑战和问题。
目前,业界的IBM、SAP等公司主数据管理的主要技术集中在对已有的主数据整合和管理面,这与欧美企业信息化程度高又不想放弃现有的数据积累,同时重新建设信息系统会给企业的经营带来无法接受的损害等有关。而国内普遍信息化程度较低,就算已经建立了主数据管理系统,由于企业对数据标准化认识和重视程度不够,数据维护质量不高,依旧使企业的主数据管理处于较低水平。
2.主数据管理建设方案
2.1 主数据管理建设历程
主数据管理一般经历以下几个阶段:
第一阶段是直接在系统中使用简单的代码。在数据库建设的初级阶段,系统开发人员为建设信息系统需要就引入了代码的管理概念,该阶段基本是各个系统分别建立各自所需的代码标准,这个阶段是把代码写在程序中,如果代码发生变化整个应用程序都需要重新调整,二十世纪九十年代初建立的信息系统基本沿用这种模式。
第二阶段是建立编码管理信息系统。这个阶段建立的编码标准是基于当时信息系统建设需要,主要用于查询和下载,由于标准编码和信息系统之间缺少必然的联系,虽然有统一标准编码但执行情况比较差。
第三阶段是建立主数据管理平台,主数据管理的对象是集审批、管理、分发等功能为一体的统一管控平台。很多实施了ERP系统的大型企业已建立了主数据管理平台,下面以SAP产品为例进行主数据管理功能的介绍。
2.2 主数据管理建设功能
主数据管理平台建立的目标:一是建立关键主数据管理平台。二是为各企业之间、集团级各系统之间数据共享和综合分析业务数据提供良好的基础。三是实现集团级标准主数据的统一管理,为标准化提供更完善的应用管理平台。
早期主数据概念主要来自于ERP系统。由于ERP系统是一个高度集成的系统,将投资管理、项目管理、物资采购、生产计划、设备维护、库存成本、产品销售、财务费用集成一起,无疑对主数据管理提出了很高要求,在很多ERP产品中已将主数据作为一类很重要的基础信息进行管理和维护,这些主数据对集成相关业务起到非常关键的作用。
主数据管理提供以下主数据管理功能:用户单点登录第三方系统功能、主数据查询功能、主数据分发功能、主数据申请功能、主数据修改功能、在线审核工作流功能、数据校验和接口功能等。
2.3 主数据管理信息系统技术架构(如图2.1所示)
通过企业门户作为信息集成平台,用户通过统一的入口访问主数据管理平台应用其他主数据管理系统。
通过SAP MDM系统为主数据管理平台提供了数据集中存储、数据质量保证、数据导入及数据分发等标准服务。
通过SAP XI系统作为中间件平台,实现与集中或分散ERP服务器、数据仓库系统及其他应用系统的集成,实现标准化主数据向ERP等信息系统的主动推送及按需下载功能。
根据主数据管理的需求,采用业界标准的MVC架构设计并开发J2EE应用,实现主数据在线申请、审核、分发、数据查重、关键字查询等功能;在设计与开发上强调可维护性与可复用性,实现主数据应用的快速部署。
结合J2EE安全架构、SAP EP门户角色及SAP MDM记录与字段级的安全保护机制保证了主数据管理平台的安全性。
SAP EP系统与SAP MDM系统均采用了负载均衡的部署方式,使得主数据管理平台在大用户访问量及较大的数据存储量的情况下仍然具有理想的系统响应速度,同时系统也具有良好的可扩展性。
3.主数据管理的应用
3.1 主数据管理存在的问题
主数据管理平台建成后发挥了显著应用成效,成为集团企业集中管控全局主数据的的主要技术平台,有效促进了ERP系统和其他业务系统主数据标准化的程度。但是应该看到,主数据管理还是刚刚起步,仍然存在不少问题,大致可以归纳为四大方面。
一是建设时没有考虑到应用的复杂性。由于一个主数据涉及多个业务条线,信息往往无从判断其准确性。
图2 .1 主数据管理的系统架构
二是主数据的责任主体不明确。由于主数据涉及多个业务条线,应用时自然会对应多个管理部门,不同部门对主数据的认识不同,要求也千差万别,主数据管理的责任部门难以落实。
三是维护水平难以保证。没有足够的业务知识和对此类物资的详细了解,主数据维护的唯一性、正确性将难以得到有效保证。
四是主数据信息维护质量不高。部分企业申请主数据时维护的信息不完整导致的一致。
3.2 主数据质量问题对企业产生的影响
此外,由于缺乏协调统一的主数据管控体系,导致的数据质量不良而带来的数据治理工作也会大大增加企业信息管理的成本。在过去的几年中,集团也在提高数据质量方面投入了巨大的人力物力,比如近年的物料主数据编码清理和转换工作,即耗费了多年时间,数亿元成本来完成。
3.3 有效提升数据质量
目前对于数据质量的管理主要集中在对主数据的标准化管理方面,推进了主数据管理平台的应用,并建立了相应的主数据管理组织与流程。
然而,主数据管理仅仅是数据质量管理的一部分,业务人员通过信息系统实际填报数据的完整性、准确性、一致性、及时性才是数据质量管理的核心内容,在此方面部分企业虽已初步建立了信息系统考核的指标体系,但在实际执行方面仍有较大提升空间。
一些企业已意识到主数据管理将是一项持久的工作,不建立长效机制,难以确保主数据的质量。一方面主数据需要继续完善和丰富,同时也存在停用主数据的保管,还存在主数据在各系统中应用的问题。建立一套主数据管理系统有其难度,主数据的维护难度不会低于建立的难度。如
由于主数据具有动态性,其产生以及使用在多个不同的操作及分析系统中,所以我们在建立一种有效评估数据错误或是数据未能符合商业使用者期望而导致的风险的系统时将面临更多的挑战。
诸多研究资料已经显示不良的数据质量特别是主数据质量将给组织带来不菲的成本。调查显示,不良的主数据和操作数据可导致组织收入损失高达10%,此外还会带来其他的严重结果,比如基于错误数据基础上的战略制定和企业决策等。最近,某大型跨国企业也提出了因不良质量的业务信息导致的业务影响一览表,这些损失共计高达数亿美元。Gartner的报告显示,在2011年,有75%的组织将因为缺乏数据质量保障体系而陷入明显的收入增长减缓和成本增加状况。何真正发挥主数据的作用?需要加强两方面的措施,一是强化管控,企业在生产系统中创建、修改主数据时要严格按照主数据管理平台要求执行,一律从主数据管理系统分发,杜绝在生产系统手工创建及删除数据。二是加强考核,加强相关主数据的数据质量考核工作,如企业在申请内部单位数据时,应按照相关证照进行申请,尤其创建本企业内部单位时要格外确保数据准确,以免给其他企业应用带来不必要的问题。
图3 .2 加强数据质量和数据标准化
图3 .3 完整的数据管控体系框架
3.3.1 数据管控建设的核心是加强数据质量与标准化管理
企业已建成ERP和生产、业务系统,积累了大量的业务数据,加强数据标准管理,使数据高效、准确、快速地支撑企业决策和经营管理范围,已成为信息化建设的重中之重。
以信息化标准和规范为基础,在信息采集和保存、信息传递、信息共享及信息利用等关键点进行优化和改进,稳步提高数据质量(如图3.2)。
3.3.2 建立并切实运行周密的数据管控体系是加强数据质量与标准化管理的必由之路
很多企业开展了数据需求规划与标准化工作,但未能从源头解决数据管控问题,导致数据仓库及辅助决策系统中的数据质量仍不够理想。完整的数据管控体系框架涵盖组织结构、评价与考核、管控流程、管控工具四个领域。
组织结构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑,提供对信息系统数据的管控(如图3.3)。
①数据管控组织结构
对于大型或集团性制的企业来讲,高效并且清晰的主数据管控组织结构是提高主数据管理质量的关键所在,一般来讲,主数据管控组织结构是一个自上至下的体系架构,由高层管理者直接领导作为主数据管理的驱动力,确保整个管控体系高效的运行。由各业务部门直接参与主数据管理工作,对数据标准、规则进行定义,结合数据专家及IT部门的支持,形成一套完整的主数据管控组织架构。具体组织架构一般由以下几个关键环节组成:
设立数据管控指导委员将作为高层支持将对整个数据管控工作进行督导,并且是数据管控工作顺利进行的基础。委员会由数据标准化委员会发起人以及总部各职能事业部门主管和总部信息部主管组成,其中委员会发起人作为数据标准化工作的主管,负责领导管理整个数据标准化工作,而总部各职能事业部门主管和总部信息部主管则为数据标准化工作提供相应的支持。
数据标准委员会下设业务组和数据标准化专题组,并且在相应的数据管控专家或者专家小组的协作支持下,执行每天的数据管控工作。业务组应按照总部相关的职能事业部门划分,其中在各个业务领域里面每个业务数据领域均设有明确的负责人来支持数据管控工作;数据标准化专题组则按照不同的数据类别划分,如投资计划数据,财务数据,物资数据等。其中每个数据类别均设有相应的数据组长以及数据认责人并且要明确数据类别所对应的相关业务组。
围绕在以上设立的数据管控工作小组外围还需要成立相应的IT支持团队,如数据建模人员,数据库管理员,应用架构师等,对数据组织在数据管控过程中遇到的技术工作与问题进行相应的支持。
在设立明确的数据管控组织架构的同时,还需要明确各个管控层级的管控角色及职责,作为数据管控的强有力保障:
数据管控发起人:将作为企业数据管控工作驱动力,是整个数据管控工作顺利进行的基础。负责对整体数据工作进行指导监督。由总部高层领导出任并进行直接领导。
相关事业部门主管:负责协调所辖业务数据所有者与数据组长之间的工作,并且负责监督数据所有者制定相关数据策略并贯彻执行,以及对所辖业务领域产生的数据问题进行审核并交由相关的数据认责人进行解决。
相关业务数据认责人:即数据所有者,负责定义数据的业务含义,计算规则,以及数据相关的业务规则及其约束。由具体业务领域中的业务人员担任。
相关数据组长:负责监督考核数据管控工作执行的,协调数据认责人与业务者间的工作,以及对所辖系统领域产生的数据问题进行审核并交由相关的数据认责人进行解决。由具体的数据系统领域负责人担任。
相关数据认责人:负责制定数据标准,数据管理制度,以及对数据管控周期进行管理并负责对数据进行审核。有责任将数据管控工作情况(数据管控周期,数据质量,数据管理流程)定期向上级主管部门进行定期汇报,需要与相关业务部门人员及时的进行沟通并具有一定的业务熟悉程度。从相关业务部门中挑选具有一定业务熟悉程度以及一定IT技术的人员担任。
应用部门:即数据产生者及使用者,需要理解并遵循数据管控的规章与流程以及数据管控工作的目标。并且在使用数据的过程中,对数据产生的问题应及时反映给相关部门。
支持中心:作为数据的业务和IT方面的支持人员,对总部和企业在日常业务应用过程中产生的数据问题提供支持和处理,需要理解并遵循数据管控的规章与流程以及数据管控工作的目标。并且有责任将数据管控应用过程中出现的问题向上级部门进行定期的沟通和汇报。
数据管控相关数据专家:负责协助总部职能事业部门制定相关业务领域数据的详细需求以及一些必要的业务规范。需要了解相关业务属性,业务流程以及业务的运营需求,以及一些相关的专业知识。由多名各业务领域的兼职专家顾问组成。或负责协助数据标准规划专题组制定详细的数据管控需求并给与相关的专业意见。需要了解数据管控体系,数据建模,数据体系架构设计等相关技术。由多名兼职专家顾问组成。
②主数据管控评价与考核指标
必要的主数据管控评价与考核指标是保持并提高整体主数据质量、衡量主数据管控工作效率的重要手段。数据管控考核指标应与企业的业务策略保持一致。在主数据管控流程的重要环节制定绩效考核点,对应相关指标对相关责任人进行考核。并在数据输入或变更节点,制定检查清单,以确保用户依循标准执行。
③主数据管控流程
一套清晰的主数据管控流程可以有效的提高数据管控体系的效率并且降低数据管控带来的成本。数据管控流程应从数据规划入手,按不同的数据管控维度,将数据的管控目标、责任、考核联系起来,并通过一套有效的沟通及反馈机制,形成一个闭环流程。并且将主数据管控流程固化下来,实现流程的自动化。在许多企业中,有许多主数据管控的流程还停留在纸面上,没有固定的执行规则,每个人、每一次执行的方式都不同,人员的随意性就会造成种种主数据的问题。因此固化的管控流程可以通过标准化的运作方式减少错误的发生,提高流程的执行效率。
④主数据管控工具
建立一个统一的由总部直接管控的主数据管理平台,把主数据管控体系相关流程,标准规范通过技术手段应用在系统里进行固化,在确保数据一致性和准确性的同时实现总部对主数据管控的总体掌控。为所有企业用户提供主数据查询、维护的唯一入口,实现主数据统一管理的目标,并和其他各业务应用系统进行实时的数据共享,统一口径,从而实现系统间高效的信息共享。
4.结束语
主数据管理是企业数据整理和管理的重要手段,已经得到了业界的普遍认可。企业主数据模型的建立可以有效保障企业数据的精确性、完整性、一致性,从而为企业提供唯一的数据事实,从而为数据集成,数据资源,系统集成的深度开发和利用奠定了坚实的基础。维护的难度和加强管控,确保主数据的质量是一个长期需要重视的问题,需要建立高效的数据管控体系,有效地提升主数据质量,推进数据标准化水平。