浅谈制造企业数据架构开发
2020-06-12梁建交
梁建交
一、数据管理已成为制造业信息化关注的焦点
近几年,随着云计算、物联网、移动互联网、大数据、人工智能等新一代信息技术的蓬勃发展和跨界融合应用,作为工业互联网体系架构核心要素之一的数据,逐渐被各行各业重视起来,数据相关的理论、方法和工具迎来了新的生机。甚至可以说,缺少了对数据的管理和使用,新一代信息技术就成了无源之水、无本之木。
实际上,早在上世纪七、八十年代,美国信息系统专家诺兰(Richard L. Nolan)就提出了企业信息化发展的阶段模型,即:起步阶段、扩展阶段、控制阶段、集成阶段、数据管理阶段和成熟阶段。直到几十年后的今天,国内大部分制造企业的信息化才走到“集成阶段”,与此同时,企业发现自己仿佛掉入了“集成应用陷阱”,很难跨越到全要素、全流程、全场景、全生命周期应用,仔细分析后发现,必须解决数据管理问题。
从国内数据应用比较领先的行业(如金融、电信、政务等)来看,它们在享受到数据所带来的价值之前,均开展了持续的数据治理(数据管理)。例如,中国建设银行早在十多年前,便已经制定了通用数据标准,并开始探索建立数据管控体系。中国联通于2007年便已经制定和发布了数据架构规范。制造业数据管理水平在所有的行业当中,处于较为落后的地位,这恐怕也是工业大数据应用相对于滞后其他行业的原因之一。
二、数据架构是数据管理的起点和基石
DAMA International(国际数据管理协会)将数据管理划分为十个职能领域,分别是:数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商智能管理、文档和内容管理、元数据管理、数据质量管理。在《DAMA数据管理知识体系指南》(简称DAMA-DMBOK)中,数据管理职能架构被描绘成一个钟表形的图,数据治理处于“钟表”的中心,而数据架构管理则处于“0点钟”的位置,象征着一个起点。
数据规划最早可以追溯到上世纪八十年代,美国管理和信息专家詹姆斯?马丁(James Martin)撰写了《Information Engineering》和《Strategic DataPlanning Methodologies》两部经典著作。上世纪九十年代,高复先教授及其团队在信息资源规划(Information Resource Planning,IRP)方面开展了深入研究,并在政务、港务、电信等领域开展了大量的规划实践。IRP方法能够帮助企业梳理数据资源,进而对数据实施有效治理,并支持应用系统开发与集成。
DAMA 认为,数据架构是定义数据需求、指导数据资产的整合与控制、使数据投资和业务战略相匹配的一套整体规范,包括企业数据模型、信息价值链分析和数据交付架构(数据库架构、数据整合架构、数据仓库/商务智能架构、文档和内容架構、元数据架构),其中,企业数据模型是数据架构的核心,由主题域模型、概念视图、逻辑视图、应用的逻辑数据模型和物理数据模型组成。
数据架构和应用架构、技术架构、业务架构共同组成了复杂组织体架构(Enterprise Architecture, EA)的主要内容。在TOGAF (The Open Group Architecture Framework,开放组架构框架)中,数据架构由数据实体/数据构件目录、数据实体/业务功能矩阵、应用/数据矩阵、概念数据图、逻辑数据图、数据散播图、数据安全图、数据迁移图、数据生命周期图等组成。
尽管早在上世纪八十年代便已经出现了数据管理理论和方法,并在此后经过了几十年的不断演进和发展,制造企业信息化发展到当前阶段,所面临的诸多问题,如:集成问题和信息化价值显现度问题,仍然主要归结为数据架构的缺失。企业信息化过程中,时有时无、缺乏管理的系统数据字典和设计说明书,根本无法指导数据集成和开发。
三、制造企业数据架构的主要内容
从IRP、DM-BOK、TOGAF等理论对数据架构内容构成的描述来看,主要围绕的是数据本身。而制造企业在数据管理方面的需求还包括:数据管理的架构是什么?数据应用的架构是什么?数据技术的架构是什么?这些需求都非常现实。如果企业看不到一个关于数据的全景图,数据的全生命周期管理与信息资源的开发利用仍然会存在障碍。
因此,建议制造企业的数据架构开发包括以下五部分内容如图1。
(一)数据分类分布
主要内容包括:数据的分类维度定义、数据的分类、数据的物理分布、数据的逻辑分布等。数据分类可以从业务域、数据来源、数据应用等不同维度进行定义;数据的物理分布包括数据在服务器、地理位置等的分布情况;数据的逻辑分布包括数据在应用系统、业务流程等的分布情况。
(二)数据模型
主要内容包括:主题域模型、概念数据视图/模型、逻辑数据视图/模型、物理数据模型。在企业级,重点定义主题域模型、概念数据视图(不含数据属性)、逻辑数据视图(包括数据属性)。在系统级,重点定义逻辑数据模型、物理数据模型。在数据模型开发的过程中,应结合始于业务分析的正向设计和始于现在系统数据库的逆向建模两条路径。
(三)数据管理架构
主要内容包括:数据管理组织、数据管理流程和数据标准。数据管理组织需要定义专门的数据管理机构、数据专业人才结构,落实各部门的数据管理职责;数据管理流程涉及数据的全生命周期,需定义流程框架,并设计具体的流程;数据标准通常可以分为基础标准、技术标准、应用标准和管理标准。
(四)数据应用架构
重点描述数据的相关应用及其关系。这些应用涉及数据采集、数据存储、数据管理、数据应用,如:ETL、数据库管理、主数据管理、数据计算与分析、可视化等。应用架构主要定义各类应用的功能组成、边界和集成关系等,数据应用架构是企业应用架构的一个子集,或者一个视图。
(五)数据技术架构
重点描述数据管理的相关支撑技术。这些技术涉及数据采集、数据存储、数据管理、数据应用。数据技术架构是企业技术架构的一个子集,或者一个视图,可以从物理技术组件、逻辑技术组件和技术服务三个层面来进行描述。典型的技术组件如:容器云技术、数据库技术、服务开发技术等。
四、结论
随着制造业信息化的不断深入,数据已成为制约信息化进一步发展的关键因素。加强数据的全生命周期管理,促进数据在企业全流程的自由流动,是制造业信息化的重点方向。被清晰定义的数据架构是开展数据管理的基础,企业应从数据架构开发入手,推动全面数据管理,促进数据资源开发利用,发挥数据在产品虚拟验证和优化设计、资源配置优化和业务模式变革、运营管控与管理决策优化等方面的价值。
作者单位:金航数码科技有限责任公司