烟草企业数据资产管理方法研究及实践
2020-11-16华烨王莉
华烨,王莉
中国烟草总公司安徽省公司信息中心,安徽合肥潜山南路666号 230000
数据资产(Data Asset)是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源。并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源[1]。数据资产管理(DAM,Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能,以确保数据资产保值增值。
当前行业工商企业在数据资产管理中仍然面临诸多问题,主要包括:一是缺乏统一数据视图。企业的数据资源散落在多个业务系统中,对关键数据缺少自主控制。二是数据孤岛普遍存在。虽然实现了关键数据的数据互联互通,但仍然存在大量数据孤岛。三是数据质量低下。除行业统计数据外,大量数据质量不高,采集、存储、使用等各环节对数据质量控制力度较差。四是缺乏安全的数据环境。数据安全的风险与日俱增。五是缺乏数据价值管理体系,尚未建立起一个有效管理和应用数据的模式,数据价值到业务价值的路径未有效打通。
1 国内外研究现状
1.1 国内外研究概述
数据资产管理研究大多于2010 年前后兴起,对数据资产管理的定义存在差异,较为相近的有“数据治理”“数据管理”“数据管护”等。
国际上,由于切入视角的不同,一些学者强调数据治理是有关组织数据资产的决策制定和职责划分,也有诸多学者认为数据治理是集中人、过程和信息技术的数据管护过程,能够确保数据资产得到合理使用。Begg 和Caira 将早期的数据治理定义总结为政策、流程、技术和职责的统一[2]。国际数据管理协会(DAMA)在数据管理知识体系DMBOK1.0 中[1],将数据管理定义为规划、控制和提供数据资产,发挥数据资产的价值。Mayer-Schonberger 等提出了大数据时代下数据资产管理的研究路径[3]。2015 年,DAMA 在DBMOK2.0 对数据资产管理的内容进行了丰富和扩展,成为了目前主流的数据资产管理方法。
国内的研究起步较晚,主要借鉴国外数据治理的思想,集中在理论层面。近年来,国内在金融、医疗、工业等领域,做了较多实践探索,明确了管理规范,发布了实践指引,出台了管理办法或调查报告等[4]。多数学者在应用时对数据资产管理的概念均不加以解释和说明,认为数据资产管理与数据管理类似,都是有关数据生命周期的诸如采集、加工、控制、传输、保存等活动。而本文所论述的数据资产管理,不仅是通过数据的管理提升数据质量,更强调流程设定和权责划分,是围绕数据资产展开的系列工作,以服务组织各层决策为目标,涉及有关数据管理的技术、过程和标准的集合。
1.2 行业内研究现状
随着核心业务系统迭代及数据中心建设,数据资产管理在烟草行业内也逐渐成为信息化建设中的重要课题。
从信息技术角度。数据技术层面,福建烟草基于数据中心对主数据进行管理[5],并对数据质量进行监控[6];浙江中烟构建了完整的数据交换服务管控体系[7]。管理体系层面,上海烟草提出了一套企业数据中心管理中的数据资产质量管理方法[9];浙江烟草针对烟草企业在利用大数据进行挖掘分析过程中反映出来的数据质量问题,探索数据资产管理的方法和机制[10]。数据应用层面,江苏烟草探讨了大数据技术在烟草数据中心的具体应用价值[8];福建省局结合业务主题建设与分析应用项目的具体需要,形成了与分析相结合的数据质量监控与建模技术应用[11],对数据资产的高效利用起到了至关重要的作用。
从业务管理角度。在统计方面,行业通过制定数据资源规划、加强数据质量管理、制定并完善统计规章制度等手段,形成了一整套统计数据资产的管理实践[12]。在专卖、销售等方面,通过统一业务系统,整理了数据标准,实现了本条线数据资产的标准化。在采购管理方面,采购系统在建设前确定了统一的数据标准规范,确保了上下两级系统的数据资产标准一致。
以上研究,在所对应的数据资产管理细分场景中进行了有益探索,但仍然缺少企业级数据资产管理的理论体系方法及实践。同时,因数据资产管理工作具有较强的行业特点,成熟的、框架性的方法在行业存在适应性及实践性的难题。
2 一种企业数据资产管理方法
2.1 典型的数据资产管理方法的框架
构建框架是开展数据资产管理的首要任务。目前,主流方法框架DBMOK2.0 中定义的,将数据资产管理划分为“数据架构”“数据模型与设计”等11 个管理职能。中国信息通信研究院等单位《数据资产管理实践白皮书》[13]结合电信、金融、政务、医疗和工业等领域的管理实践,提出了包含8 个管理职能和5 个保障措施的数据资产管理方法框架,见图1。
2.2 本数据资产管理方法的框架
图1 典型的数据资产管理方法框架Fig. 1 Typical data asset management method framework
图2 数据资产管理框架Fig. 2 The framework of data asset management
基于2.1 节所述典型方法,本方法对其中的主数据管理、数据共享管理及数据管控平台等方面进行了创新,解决了传统方法的实践指导性不强、数据管控力度较弱等缺点,使其更适应企业数据管控的实际需要。方法框架如图2 所示,包含8 个管理职能、6 大技术组件和4 个保障措施。
在实践过程中,传统方法更关注管理职能及保障措施,而企业数据资产管理是一项专业性极强的工作,单纯依靠“制度、标准”的管理职能,无法实现数据的真正管控。本方法将管理方法与技术组件相结合,利用技术组件,使管理职能在数据实体进行落地,并通过更符合实际的保障措施设计,使数据资产管理在企业中具有更强的可操作性。
2.3 框架的重要组成部分
本方法基于将管理职能、技术组件、保障措施整体落地的思路,分别从核心数据、数据交换、数据质量管理三个关键问题出发,对其中的主数据管理、数据共享管理、数据管控平台等细分方法进行改进,提升数据资产管理整体方法的有效性及可落地性。分别如下:
2.3.1 主数据管理(管理职能及配套技术平台)
传统的主数据管理大致可分为三类:(1)数据中心集中管理的集中强管控模式;(2)业务应用各自管理,数据中心整合的内容整合模式;(3)数据中心管理、业务系统各自维护并进行一致性检查的数据一致化模式。
随着技术的发展,套用最佳实践却效果不佳。1模式,实施难度最高,其成功依赖于数据、应用高度耦合,即数据与业务一体化、数据中心与业务系统一体化,一般企业难以构建如此庞大的基础技术架构。2 模式是目前主流使用的模式,实施难度最低,但主数据实际上来源于各业务系统,在数据的一致性、业务定义的唯一性等方面存在诸多问题,导致主数据实际降格为“业务系统数据集合”。3 模式的实施难度介于以上二者之间,但业务系统与数据中心的一致性检查过程存在数据不一致的风险,产生了主数据稳定性的新问题。
本方法创新性的提出一种应用松耦合环境下的强管控主数据管理模式。即由数据中心(及企业数据管理部门)定义、识别并集中管理企业主数据,依托数据中心的主数据平台,业务应用嵌入主数据平台的数据管理模块进行主数据编辑,所编辑的数据实体直接写入主数据存储。示意如图3。
图3 主数据管理模式示意图Fig. 3 Schematic diagram of master data management mode
本方法中,主数据平台具有业务功能属性,是相关业务主数据处理的基础单元。数据管理部门对主数据进行定义、识别,形成基本的业务数据处理单元,将软件功能直接开发进主数据平台,形成相应的业务主数据模块。对应的业务系统采用“外挂”或者“页面嵌入”的方式,直接调用业务主数据模块进行主数据操作,所编辑的数据实体直接写入主数据存储,保证了主数据的严格唯一性与实时性。同时,“外挂”或者“页面嵌入”的方式对业务应用本身的侵入性较小,集成难度低,便于在系统开发阶段进行集成。
2.3.2 数据共享管理(管理职能及配套技术平台)
数据共享是企业数据管理的最直接需求。数据内部共享是最常见的应用场景,本段仅就此进行讨论。
目前,行业信息化建设中的数据共享只能算是处于系统集成和数据交换的初级阶段[7]。主要采用ETL、Web Service、ESB 或文件交换等方式,这几种技术在数据仓库、异构系统间数据交换、服务的集中管理等细分技术场景发挥了重要作用。但随着数据交换服务化、标准化、实时化的要求不断提高,单一技术无法满足需求。为了实现本方法对于数据共享交换的需求,在交换平台建设中,对不同种类数据采用不同技术手段进行交换,见表1。
表1 数据分类表Tab. 1 Data classification table
考虑到企业存在系统较多、数据管理较弱的现状[14],在框架设计时,对企业需要共享交换的数据进行了分级,对数据进行不同程度的管控。对于主数据,进行数据落地与数据标准的双重强管控,采用2.3.1 节所述的业务处理单元外挂的技术方式,保证主数据的交换符合主数据标准,并保证数据中心是主数据的唯一来源;对于一般共享数据,业务系统通过数据共享平台交换,只要求数据落地,对数据标准进行弱管控;对于数据仓库数据,采用ETL 作为数据交换方式,使用传统数据仓库的数据交换方法,保证分析型应用或批量数据的交换需求。
具体数据交换(共享)平台的技术架构见下图4。
图4 数据交换平台架构图Fig. 4 Architecture diagram of data exchange platform
2.3.3 数据管控平台(技术平台、保障措施)
数据管控平台是能够促进数据治理高效执行的支撑系统。一般来说,数据管控平台主要包含:元数据、数据标准、主数据和数据质量管理四个子系统。本方法配套建设一种贯穿系统建设、数据定义、数据产生、数据共享、数据利用、数据稽核等数据资产管理全流程的数据管控平台。
本方法所对应的数据管控平台,以构建数据全流程管理为建设思路,是一种“全管控”的数据管控平台,集合了传统元数据管理系统、数据标准管理系统、主数据管理系统和数据质量管理系统等标准化的软件,同时结合实际,增加了应用系统管理、数据存储管理、数据交换管理、数据服务超市管理等内容,将数据的产生前端(应用)、数据的存放后端(存储)、数据的流动(交换)、数据的利用(服务超市)等环节进行整合,解决了传统数据管控4 个子系统各自独立,无法将管控实际落地的短板,差异比较如表2。
表2 数据管控点比较表Tab.2 Comparison of data management points
3 某省级烟草商业公司的实践
3.1 实践背景
笔者所在的A 省烟草公司,数据资产管理一直是信息化建设的弱项。近年来,依托数据中心建设,构建信息化规划、数据资源规划,对整体的数据资产管理体系进行了系统设计,创新了数据资产的管理方法,并基于新数据中心,实践了创新方法,取得了良好效果。
3.2 实施路径
在实践中,将整个数据资产管理分为三个阶段。路线如图5 所示。
图5 数据资产管理路线图Fig. 5 Data asset management roadmap
第一阶段:搭建基础平台。在这个阶段,主要工作是按照设计,搭建基础平台,并配套建设标准、规范。同步建设一个业务域的分析应用,使公司领导层对项目有感知。
第二阶段:数据资产管理落实。从销售、物流等系统的更新建设切入,在第一阶段基础平台上,逐步落实数据交换平台、主数据平台的管控对象。同时完善相应的标准、规范体系。第二阶段基本实现数据资产管理的具体落实。
第三阶段:数据价值实现。通过构建全业务域的分析应用,让数据体现业务价值。同时完善数据运营,确保数据资产管理系统平台持续、健康地为数据资产管理体系服务。
3.3 实施步骤
数据资产管理通常按照“统筹规划→管理实施→稽核检查→资产运营”四个阶段的方法执行,本方法对步骤进行了调整,如图6 所示。
图6 实施步骤示意图Fig. 6 Schematic diagram of the implementation steps
在传统的实践中,建立组织通常是构建数据资产管理体系的第一步,但在尚无数据资产可管的情况下,建立组织可能适得其反,本实践中,初期并未建立管理组织,计划在中后期,根据数据资产运行情况,择机建立管理组织。数据安全管理在实践中也暂未实施,主要原因在于数据资产目前以内部为主,外围安全措施暂能满足需求,且数据安全管理方面的技术路线不明确,技术难度较大。另外,数据资产价值评估及数据外部流通运营,都属于目前较为前沿的研究方向,现阶段处理企业数据资产的内部运营问题更为紧迫。
3.4 三点技术细节
3.4.1 分级分类的数据交换设计
按照2.3.2 方法中的数据分类,根据企业数据现状实际,对需要交换的数据进行了详细分类,并设定了不同的交换方式,见表3。
表3 分级分类的数据交换设计Tab. 3 Hierarchical classification of data exchange design
3.4.2 项目管理流程与数据资产管理流程的结合
项目管理是数据资产管理的具体抓手,通过对项目管理流程进行有效整合,嵌入数据资产管理流程,并根据管理需求的差异,在项目的不同环节适用不同的管控力度,有效达成了数据管控的目的。二者流程的结合情况见表4,管控力度“强”表示两类流程紧密结合,互为流程节点通过的必要条件;管控力度“弱”表示两类流程互为参考,可同时进行,也可各自进行。
为了让上述流程落地,实践中,将项目管理流程与数据管控平台的功能进行整合,对于重要的项目管理节点,在系统中提供操作指南,并进行落地检查,确保项目建设符合数据管控的要求。系统的管理流程见图7。
表4 项目管理中的数据管控流程Tab. 4 Data management process in project management
图7 项目管理与数据资产管理流程结合的管控平台截图Fig. 7 Screenshot of the management and control platform integrating project management and data asset management process
3.5 一个业务数据质量稽核案例
数据质量管理是数据资产管理的关键一环。传统的数据质量管理大多停留在“完整性”等六个维度,难以与数据的业务属性相结合,稽核工作往往没有业务驱动,工作较难开展。
在本实践中,数据质量管理平台设计了业务数据稽核功能。以财务增值税电子发票的客户开票信息为例。财务税务管理中,发现部分客户的增值税电子发票开票不成功,部分客户的开票信息维护不正确,影响了税局系统的正常开票。数据资产管理人员通过数据落地管控的功能,进行业务数据稽核,得到结果见表5。
通过业务数据质量稽核,有效的发现了数据问题,并对数据进行溯源,指导业务人员进行数据更正,提升数据质量。
表5 业务数据稽核案例Tab. 5 A data audit case
4 成果、问题及改进方向
4.1 实践成果
一是对相关理论进行创新,形成了一套适用行业的数据资产管理方法。目前实践较先进的行业一般为金融、教育、图书馆等,类似方法在烟草行业适应性较弱。本方法通过理论创新及实践探索,针对行业信息化现状,进行了三点创新,有效解决了理论的落地问题。
二是初步构建了本企业的数据资产管理体系。通过落地实践,本企业的数据资产管理由传统的各系统松散管理变为集中统一的体系化管理,实现了数据管控从无到有的转变。并在实践的过程中实现了相关系统的平滑过渡。
三是实现了本企业数据质量的管控提升。集中管控300 余项主数据,确保了主数据的及时准确;纳管了十余个关键业务系统,可实现大部分业务数据的质量稽核,为业务数据质量的管理提供了有效的技术抓手。
4.2 实践问题
一是数据技术标准仍然难以把控。对于基础数据标准,行业内大部分企业对于外部厂商的依赖度较高。这其中既有自有技术力量不足的原因,也有系统开发依赖外部厂商、核心数据技术标准受制于人的原因。这一现状短期内难以改变,目前工作都是基于既有技术标准之上的管理,距离全生命周期管理仍有差距。
二是数据资产的投入产出比难以衡量。数据资产管理的最终目的是实现数据的“资产化”,但由于数据资产的价值产出难以测算,同时数据资产管理又是一项长期性、大投入的基础工程,投入产出比难以计量。且大部分数据资产管理工作技术专业性强、短期难以见效,较难获得管理层的理解及支持。
4.3 改进方向
一是数据安全管理。在大数据时代,数据资产更容易遭受泄露、篡改等问题。企业应通过建立数据资产保护体系,合规采集数据、应用数据,依法保护客户隐私,提高数据安全意识。
二是数据分析应用。分析应用是数据资产的价值体现。这其中既包括传统的BI 分析,也包括目前业务急需的各类数据“微服务”。“微服务”所需的数据种类、数据时效及订阅灵活性需求,给数据建模带来了新的挑战。下一步将研究此类数据分析应用,提升数据应用水平和商业价值[15]。
5 总结
本文研究了国内外当前主流的数据资产管理的实施步骤、实践模式、技术工具和成功要素,分析了国内相关领域的成功实践,对传统数据管理各细分领域的相关内容进行了有机整合,提出了一种新的企业数据资产管理方法,在主数据管理、数据共享管理、数据管控平台等方面进行创新,解决传统数据资产管理方法在企业实际应用中的短板,并在笔者所在的企业进行了实践,取得了良好效果。但同时也存在技术标准难以把控、数据资产的投入产出比难以衡量等问题。下一步将在数据安全管理、数据分析应用两方面进一步深入研究,健全数据资产管理的整体研究脉络。本方法及实践是数据资产管理领域知识在企业实际数据管理工作中的整合应用,对于同类企业有一定的理论及实际借鉴意义。