基于数据中台架构的数据管理研究

关键词：数据中台架构;数据管理;工业互联网

中图法分类号：TP393 文献标识码：A

1引言

在工业互联网时代，企业数字化转型将成为一种趋势。数字转型本质上是通过运用信息技术推动产业进行转型。企业的数字化转型不是孤立环节，而是整个社会数字化转型中非常重要的部分。如何最大化数据的价值，以指导业务决策并刺激业务增长是企业推动数字化转型的关键挑战。数据中心的重点是收集商业数据商品、数据开发和建模、数据服务功能的生产和企业的完全自主，是数字转换技术的核心。

2建设数据中台架构的意义

（1）大数据改变了企业的管理方式

由于大数据具有很强的包容性，因此各个单位与企业之间的界限是非常模糊的，这也解决了信息孤岛问题，让数据共享成为可能，以此让协作工作和业务工作的效率和自主性得到提高。随着大数据技术水平的提升，在公共服务管理的过程中，能够有效减少投资、有效监管企业、有效提升决策能力，并提升公共服务能力，从而实现智慧化管理。

（2）大数据可以用来整合信息

对企业收集的信息进行共享和比较，能够发现其中存在的监管漏洞，有效提升对问题的识别和预警能力，达到增加企业利润、提高质量的目的。建设数据中台架构，收集、整理和分析数据，运用云计算技术实现对资源的集成管理，可以对资源进行有效利用。而提高设备的使用效率和资源配置的服务效率，可以防止进行重复建设，从而有效地减少维护成本。随着大数据技术的应用，能够极大地提升决策效率，让决策过程更加科学和准确，提升其可预测性、快速预警以及应急响应的能力，降低决策成本。

（3）数据中台架构是构建和应用大型业务数据的基础平台

通过对数据中台的建设，大型企业数据应用项目能够在总体框架内进行统一;通过更高层次的集成和联合建设，可以形成更加集中、有序以及共享的数据，从而能够对现有的信息资源进行有效整合。打破信息孤岛之后，可以让行业和部门之间的信息进行有效共享，进而有效提升协作效率以及服务水平。

数据中台架构需要包含数据技术能力。数据中心能够进行收集、处理和应用相应的数据，对于多种技术进行集成。然而，数据中台架构不只是进行数据收集，应该让处理后的数据不再像网络一样耀眼。其主要内容是从各种业务线和业务领域的海量数据中进行提取，并将它们按照逻辑组合到特定的业务中。此外，应该恢复业务运营、生产、管理全连接下各对象的行为树，使其能够灵活、快速地扩展使用。同时，数据中台架构需要让企业的职能活动能够对同一套的技术和数据产品进行共享。通过业务系统，可以为业务提供强大的算法、数据和技术支持。而数据则来自企业并为企业提供服务，形成周期循环。

3 数据中台架构的建设

3.1数据规划

数据中台架构属于综合性的数据中心，其主要任务是让企业对数据进行集成以及提取，并对相应的数据和技术进行共享，以更好地挖掘数据的附加值，进而结合产品的能力以及算法进行业务反馈。换句话说，数据来自业务并提供相应的服务，业务则周期性地包含更多的能量，据此形成数据生态并迸发无限的可能性。数据应用程序是使用数据中心中的数据创建自己的数据值。采用大数据处理技术，可以为整个平台提供实时的信息服务，查明工作中存在的不足，并自动反馈给各部门，成为人工智能大脑，在业务系统的配合下进行自动控制。数据中台建设主要包含以下情况。

第一，数据中心体系结构设计。其为数据共享服务设计了一个整体架构，重点关注“如何使分析场景成为现实”。系统分析和盘点各种数据源、数据生产、数据使用、数据质量、数据共享以及公司资产建设和管理的现状，包括但不限于公司的其他方面。规划公司数据共享服务的架构项目，可以设计主数据中心、全球数据中心、提取数据中心、綜合数据服务层和数据资产管理系统。基于公司数据共享服务的项目架构，可以结合可用性、可预测性、可扩展性和合理投资的原则设计基础架构，以支持产品选择。

第二，对数据进行存储规划。需要结合企业现有的数据现状、业务流程以及数据应用需求，制定相应的数据共享服务，如业务板块的规划、数据域以及业务空间等。

第三，定义数据规范。其代表公司相关数据的定义，如数据大小、业务流程、原子度量、业务限制等。

第四，R+D数据建模。数据存储规划、数据的标准化定义、基于现有业务流程和数据的模型物理设计、模型的逻辑设计和数据输入策略（清理、结构化和更新）、准时性等。

第五，对数据进行导入。为了整合多个来源数据，可以根据不同渠道的特点和分析需求，制定不同的同步策略和数据分析的规则，并对项目数据集成策略及其内容进行逻辑更新，实现数据周期的自动同步。

第六，综合方案。以模型设计为基础，进行数据标识，从而完善数据生产环节，组织周期性任务，进而做好数据中心的建设。通过标准化定义、智能化的数据建模、研发数据、数据连接提取和综合调度，形成相应的数据管理系统。

3.2项目设计方案

数据中心不仅专注于内部共享，还开放给社会公司和成员单位以及整合大型行业的数据和应用程序。随着数据不断增多，共享变得越来越普遍，数据安全和隐私变得越来越重要。数据中心由五个主要功能组成：存储和处理、数据平台、数据治理（数据资产管理）、数据操作和数据应用。数据中心设计数据的采集、处理、分析以及服务的全过程功能，形成了多种采集方式和一套基于元数据、基础数据以及数据资产管理的管理体系。此外，企业的共享数据中心可以划分成垂直数据中心、公共数据中心、数据提取的中心。

第一，垂直数据中心。企业垂直数据中心由垂直数据存储中心组成，垂直数据存储中心根据不同的业务分类执行不同的业务功能。垂直数据中心为公司收集业务数据和管理数据，包括来自各个业务子系统的结构化和非结构化数据。

第二，公共数据中心。公共数据中心是比较抽象的概念，其主要集成、分类和分析信息系统中的数据。每个主题都需要对应相应的领域，在分析数据后，可以进行完整和一致的描述，从而描述每个分析目标中包含的多个数据和数据关系。

第三，数据中心的提取。构建一个健全的数据中心，用于使用/自然业务对象提取公司数据，并以提取标签为结构，形成用户、建筑和财务等自然对象数据系统。数据系统由多维数据指标和基本数据标签、统计数据标签和算法数据标签组成。

3.3数据中台功能设计

在企业发展的阶段，数据研发模型与企业的业务之间是紧密相连的。此外，数据系统也是结合企业的数据单元进行的纵向建立。而每个垂直业务都会带来与之类似的其他数据系统。同时，随着业务的不断发展，数据规模迅速扩大，垂直业务单元数量也会不断增加。虽然是一个垂直单位，但所有领域的所有数据类型（品种）都可以具有核心竞争力。

垂直单元之间的数据组织反过来会导致数据调用和复制的混乱，加之重复建设造成的资源浪费、数据度量定义不同造成的歧义、数据使用门槛的提高等问题在企业发展的过程中日益突出，亟待解决。

数据开发和管理平台是未来业务的必要平台，该平台涵盖离线计算和实时应用，以满足开发者在数据采集、数据分析和数据提取方面的需求。数据质量和数据应用程序（如地图、数据模型和数据API）可以提高开发人员的生产效率，提高业务数据开发的效率，并有效简化数据的提取过程。

第一，对数据进行计算和存储。整个平台底层通过运用流行的Hadoop分布式平台，spark计算引擎可以进行离线计算，Flink引擎則主要是进行实时计算。该系统主要以分布式的体系结构为基础，可以水平扩展。随着数据量不断增加，通过使用添加的方式，能够有效地解决计算性能中存在的问题，满足各种场景的数据需求，从而支持SQL、Java、Python等接口，进而满足不同的需求。存储系统架构主要以分布式HDFS文件系统为基础，能够为数据分配计算能力提供支持。计算集群可以基于硬件异构体进行配置，并且可以根据性能要求轻松地进行更改。

第二，离线数据的开发和管理。首先，数据集成。数据集成模块是不同存储设备之间数据交换的通道，其能够更好地支持常用数据库的集成和共享。数据集成支持分布式系统的结构，支持同步阈值检查等;其次，数据开发。数据开发是完成计算机清理、统计或数据提取逻辑的统一过程。而在编程周期方面，其支持按天、周、月、时、分配置多个编程周期的各种任务。同时，需要记录每个版本的修改历史，以便比较不同版本的代码/参数;最后，管理服务中心。当进行实时数据采集时，该系统还可以实时跟踪和警告输入和输出数据的数量。而支持实时任务执行控制、列出不同的任务执行状态，从而能够制定相应的警报功能，可同时设置任务启动、任务终止等条件，进行短信、消息和其他方式的提醒方式，并配置相应的警报接受者。

3.4数据应用水平

在平台生成数据后，需要通过相关应用程序为用户提供数据服务，从而最大程度地提高数据的价值。而企业中的相关数据或对象分析可以直接进行数据的显示或应用。同时，业务数据目录和数据处理服务等应用程序可以把资源进行整合，从而有效提高数据的商业价值以及大型数据中台的计算能力。项目数据的应用和技术的开发则在技术市场占据主要地位。此外，根据最终需求，Bi报告软件用于固定的内容分析，其可由PC和移动终端创建。一些智能数据应用程序（如存储位置和公司简介）则以定制开发的形式呈现。

4基于数据中台架构的数据管理应用

主要数据指用于描述公司实体的数据，如组织中的事物和人员，其核心是公司数据。主要数据是不同系统之间交换和共享数据的关键。目前，一些公司已经建立了统一的基础数据平台，但基础数据仍由公司内部的专门服务部门进行维护和使用，没有形成统一的公司、项目、业务和组织标准。不正确的主代码则加剧了其他系统中工人的重复管理和低效操作现象。

基于统一的数据模型，公司基础数据管理平台设计用于识别和隔离分布在各个系统中的基础数据，管理和维护基础数据表中的各个字段，通过分布机制进行权限认证和共享，以满足各业务系统的使用要求。同时，为了避免基础数据的重复，应整合业务基础数据管理平台的相关功能，对各业务系统的功能进行改造和增强，并在其系统中维护基础数据。

因此，在主要数据的基础上，对原产地数据整合的建议是：第一，建立商业模式标准。通过建立主业务数据分类框架，建立目录索引，逐一分析和整理各业务系统的数据，形成数据模型的标准;第二，统计主要数据。识别各业务系统的主要数据，对相关参数的属性进行排序，确定各数据元的来源和权限，建立基础数据台账;第三，完善基础数据平台。及时维护和更新业务数据管理平台，以维护高级功能并集成一系列基本服务;第四，改造和更新现有的信息系统。通过对各业务系统相关功能的应用和集成，可以协调原系统中业务活动和事件产生的主要数据;第五，建立数据管理机制。建立数据管理相关机制，在公司内部搭建数据管理支撑平台，实现数据标准、共享、账户、安全、质量的一体化管理。

5结语

业务数据管理是构建业务数据中心体系结构的首要任务。在分析基于数据中心组织的数据管理时，显然首先要解决的是数据问题，以实现数据共享和标准化。本文从数据中台架构进行建设的意义着手，探讨了数据中台架构建设的具体思路，并提出了基于数据中台架构的数据管理应用，希望可以为企业数据管理提供参考，从而提高企业在互联网大数据时代的竞争力。

作者简介：

刘戈（1985—），本科，研究方向：ITSS运维和智慧城市。