基于数据中台的企业赋能体系构建研究

徐文杰

（上海软中信息技术有限公司，上海 200235）

0 引言

随着数字经济的飞速发展，数据作为企业中的关键资产之一，其地位与关注度不断提升，依靠数据驱动创新成为企业数字化转型的重要目标。中台的概念源于阿里，是以“共享”和“复用”为核心，与前台与后台相对应，在企业组织中前台是指市场、销售等部门，后台是指人资、财务等支撑部门。而中台介于二者之间，可将前后台有机联系起来，这种概念的提出将企业从多个平台分散烟囱式系统集群转变为相同平台下的应用集群，依靠数据赋能企业发展，进一步凸显数据价值。

1 数据中台体系架构与技术选型

1.1 定义

从阿里提出“中台”战略后，数据中台在网络背景下得到迅猛发展，其主要以数据驱动创新为目标，使用先进的技术创建体系，具有机动灵活、组织能力强等特点，其终极目标在于解决业务问题、快速解决业务诉求为中台建设的重要考量指标。从本质上看，中台建设的目的在于使用服务；如果没有严格的组织协调就很难形成强大战斗力，该体系建设应有严格的技术体系与组织架构，并且需要深入思考。

1.2 体系架构

近年来，随着Flink等技术的飞速发展，逐渐形成流批一体化潮流，接入层以流式接入，计算层支持实时计算，批处理成为流处理中的补充场景，可实现处理方式的自由切换，架构如图1所示。在大数据统计方面，统计分析不会出现根本性变化，以“T+1”批处理为例，作为数据应用不可或缺的内容，在相同的架构中，因数据源与维度变化较大，批处理面临许多复杂场景，在利用相同框架时有一定难度，需要进行架构分层，在符合网络应用需求的基础上，采用ELT系统架构将其分为3层，具体如下：1）业务数据层。该层数据来源为原始数据，数据结构基本与数据源相同，可采用拉链加工与存储变化数据。2）公共数据层。宽表便于理解与应用，下游调用十分便捷，且宽表利用率70%。3）应用层。其主要作用是数据加工，即集市层，该层设计较为灵活，与实际应用相贴合，设计理念为维度建模思想[1]。

图1 数据中台处理架构

2 企业数据中台体系的搭建内容

2.1 元数据管理

元数据主要对数据、信息资源进行定位，使检索与应用更加便利，同时还具有资源寻找、存储位置和文件记录等作用，是实现数据交换的必要前提。中台系统十分庞大，内部资源需要统筹管理，以元数据为顶层控制层，对内部数据全面管控。中台作为数据资源、共享中心，其本质与具体业务无关，主要内容如下所述。

2.1.1 基础模式

在数据导入中台后形成基础数据信息，资源类型多种多样，根据关系与对象模式进行结构化处理，还有一些非结构化的信息；元数据可采用自动与手动2种形式获取，前者利用元数据获取接口；对于难以获取的数据可通过人机界面录入。

2.1.2 数据服务

数据服务包括基础数据与分析结果数据2项内容，中台服务是在Web服务的基础上开展的，并遵循相关行业标准规定，采用微服务形式，通过提炼、回补等方式对基础数据进行采集。

2.1.3 数据分析

通过配置建立分析逻辑，利用大数据分析引擎，在自定义数据中执行相应的分析任务，通过对象模式描述数据分析结果。当该类数据需求得到满足后，与数据管理同步运行[2]。

2.2 业务数据整合

中台数据的来源为各业务系统，因数据提供方式不同，可将元数据整合到中台内进行统一管理。关系型数据经过抽取转换进入中台的关系型数据库中，对象型数据以公共信息模型为参考进行优化，如对象关联、路径等，以原始数据为主，可利用关系型数据库与对象数据访问服务。在中台内的关系型数据，只要是在信息模型覆盖内，对象转换后就可以将引入数据作为待处理的整体，按照层次、关联等分为多个级别，实现多元系统数据配置，完成数据整合目标，铲除内部数据联系存在的阻碍。将中台内部数据按照共享的方式提供给外界使用，为进一步提高数据效用，还可以发挥大数据的作用与优势，也可根据现实需求开发分析软件，将所得结果作为中台数据的构成内容之一，将元数据凝练后纳入平台中。通过反复循环和补充，不仅使中台管理内容更加丰富，而且可以根据分析结果选择相应的服务方式，为数据取用提供更多便利。在数据整合完毕后，中台可获得3种类型数据，即原始数据、全域数据与分析型数据[3]。

2.3 数据服务发布

在中台体系中数据服务十分关键，通过自定义查询工具生成的查询脚本存储到关系型数据库内，并标记好名称、协议、路径与分组等信息，创建数据访问API。生成API可注册到服务平台中进行统一管理，且可直接发布到API网管，提供开放共享的服务，如图2所示。在数据服务的基础上，一些价值较高的计算结果可导入指定数据源中，为展示分析提供更多便利。数据导出过程与导入基本相同，只要将源与目标角色对调即可。将导出计算结果传入关系型数据库中，使中台数据内容更加丰富，为商业数据智能应用提供更多便利，以数据资源管控为代表，可直接分析结果，并通过可视化的方式展现，使应用创建速度得到显著提升[4]。

图2 数据服务发布

中台可提供多种与国际、行业标准相符合的标准，使多种数据访问需求得到满足，包括关系型、对象型、非结构型，其服务与说明见表1。

表1 中台主要数据服务

在RDS的基础上，除关系型数据有特定的访问接口之外，其他数据都具有微服务与Web服务。GDA提供相似SQL语言对象访问语义支持，可按照批量、关联链等查询导航。对地址空间对象统一管理，在安全通道的基础上，以二进制编码高效传输数据。如果数据访问端要求较高，就可以有限采用OPCUA服务。在服务部署方面，RDS数据服务可由RDS服务器提供，在ECS上统一部署到EDAS。

2.4 生命周期

在数据研发后还应注重生命周期，爆炸式增长的数据不但会占据更多的存储空间，如机柜、存储设备和IDC机房等，而且会影响计算效率。从数据形成开始就要重视生命周期问题，并根据数据利用情况，制定数据归档、销毁等管理策略。如果数据已经占用庞大的存储资源，应采取一系列成本控制措施，包括以下3种：1）降低存量。采用数据压缩技术、降低副本等方式，创建合理的数据模型，使存储量降到最低。2）控制增量。根据数据关键性，明确数据存档周期，根据周期自动归档，由此提高利用率。3）分摊成本。通过创建算法，如数据应用分布、需求来源等，其目标在于将成本分摊到不同部门，使相关部门更加重视资产管理成本，从而降低安全风险[5]。

3 数据中台基础上的赋能体系构建案例

某企业为大型国资企业，主要从事资本运营，已经在国内多个地区与国外地区投资管理300多家子公司，企业实力雄厚，拥有广阔的发展空间。

3.1 技术选型

由数据流向上进行技术选型，采用开源技术创建数据中台，具体如下：1）抽取层。结构化数据采用sqoop离线抽取，利用flume进行非结构化日志接入。2）存储层。文件可利用Hdfs与kafka进行存储，适用于流式数据总线。3）计算与调度层。可利用hive与spark进行离线计算，采用Airflow、Axkabon进行数据调度，采用storm与spark进行实时计算。4）引擎层。主要为ROLAP与MOLAP。5）可视化。以Superset、Metabase为主。除此之外，整个Hadoop技术体系可选范围较多，应与自身业务场景相结合灵活选择，在选择时还可对社区活跃度、技术开放性和组件兼容性等进行综合分析。

3.2 体系构建

在网络时代，该企业逐渐引进先进的信息技术，在技术与数字的驱动下实现转型升级，紧紧围绕企业战略目标，从本质上解决企业效率、速度与细节等问题。采用精细化管理模式，使IT部门能够对业务变化快速响应，创建一套敏捷、智能、场景化数据赋能体系，在数据中台的基础上使该体系不断成熟完善，具体内容如下。

3.2.1 数据系统化

经过信息化3.0建设，该企业数据系统化程度不断加深，基本涵盖全部业务与数据，如资源信息数据、记录数据和经营活动等，还包括内部资源活动记录、主动采集数据和公共数据资源等，在系统化模式下使各项工作效率得到显著提升。

3.2.2 数据服务化

在数据治理完毕后，企业应充分适应市场业务变化情况，加强人资培养，创建数字化人才赋能模型，实现数据场景化应用目标，如图3所示。从数据整合向中台演进，在模型搭建过程中，通过夯实技术、业务为基、逐级培训和因地制宜等方式，将整合后的有价值的数据直接输出到业务场景中，为业务解决提供更多便利。

图3 数字化人才赋能模型

3.2.3 数据展现

为提高数据应用水平，在业务场景与角色的基础上，对个别角色数据进行强化。例如，在移动销售应用场景中，对总经理、业务代表等营销类员工来说，不仅要了解内部产品研发与生产进度，而且要考察市场信息，掌握销售指标完成情况与自身绩效排名等，业务场景见表2[6]。

表2 不同业务场景分析

3.3 应用效果

在数据资源的基础上创建数据中台，并根据现实需求进行数据分析。生产域数据、管理系统等通过ETL等实时汇集到中台，在该基础上，丰富和优化系统资源，为生产经营开展关联性分析。对象数据通过OPC UA服务，通过受控数据库服务与Web服务进行访问。通过云计算创建基础设施，提高大数据分析能力，有针对性地分析中台数据，如设备缺陷、日志统计和生产运行等，将分析结果写到中台，为其他应用提供高效可靠的数据资源。在中台内规范化数据的基础上，对企业运营、智慧园区和新能源应用等进行开发，并对资产部分功能进行细致地划分，在生产域基础上展示台账数据分析结果。企业内部数据逐渐向中台汇总，并将更多领域的分析结果纳入中台，使中台内部数据更加丰富完善，为应用开发提供强有力的支撑。数据资源价值得以充分突显，获得显著的应用成效。

4 结论

综上所述，随着互联网技术的飞速发展，中台管理系统不断汇总更多数据信息，丰富和优化系统资源，为网络开展关联性分析，也为其他应用提供高效可靠的数据资源。在未来的发展中，可将阿里云技术引入其中，在私有云支持下优化企业赋能体系，使数据采集、管理、分析与服务等功能更加全面，提高构建效率，降低业务管理难度，通过服务共享提高数据价值，为更多的新业务挖掘提供强有力的技术支持。