关于企业数据中台系统架构设计的探讨

王六森

（广州赛宝认证中心服务有限公司，广东广州 511370）

企业规模增长带来的挑战，不只是表面上管理方式的改变，更重要的是底层思维逻辑的改变。诺贝尔经济学奖获得者Ronald Coase提出，企业的实质是一种基于社会资源配置的组织模式。如果市场交易成本大于企业内部的生产管理成本时，企业就是优于市场的资源配置模式，反之当市场交易的边际成本小于或等于企业内部的生产管理成本时，就是企业能否生存的安全边界。随着“数字经济”时代已经到来，规模不再是企业唯一追求点之后，如何用“数字能力”形成“企业算法”，帮公司提升效率、顺利转型，成为了关键命题。

1.数据中台的系统架构设计

数据中台被称为大数据的下一站，初始由阿里在2015年发起，2020年9月，国资委也发文从国家战略的高度以及全球信息技术发展的趋势，强调了企业数字化转型工作重要意义，提出要探索构建“数据中台”“业务中台”等新型IT架构模式。数据中台核心理念是数据共享，其目的是针对大数据时代的创新性、灵活性的特征，构建新型的企业组织机制和业务机制，最终实现管理模式的创新。类似于美军的“特种部队（小前台）+航母舰群（大中台）”模式，特种部队（小前台）只有十几人甚至几人组成的特种部队在战场一线，可以根据实际情况迅速决策，并引导精准打击。而精准打击的导弹往往是从航母舰群（大中台）上发射而出，后方会提供强大的侦查火力后勤支援。

数据中台的实现，需要对数据进行分层解构并抽取出公共接口，与数据平台、数据仓库的主要区别在于数据中台是企业级的逻辑概念，更贴近业务，能更快地响应业务需求，数据API是提供给业务服务的主要方式，可以搭建在数据仓库和数据平台之上[1]。综合目前已有的数据中台技术，数据中台系统架构可以总结为5层1库1模型，如图1所示，5层即数据模型、数据服务、数据开发、数据资产、数据治理；1库为企业知识库；1模型为企业算法模型。

图1 数据中台系统架构

1.1 数据模型

可以借鉴数据仓库的ETL思路构建分层模型，分层模型有3层：基础模型主要对业务基础数据进行初级的标准化处理；融合模型按照维度对基础模型数据进行整合，整合的模式包含关联、解析、归总等；挖掘模型则偏向于具体业务层面，分析业务的生命周期，定义业务的关键节点、指标。建立数据模型的主要关键点：（1）数据模型应满足3NF范式要求。（2）数据颗粒度，过细则不便于上层数据关联解析，过粗则难以满足多维度的定制化查询需求。（3）设计数据冗余，局部的冗余可以避免关联的复杂性，从而导致性能下降。

1.2 数据服务

数据服务提供给数据开发人员，也包括业务分析人员，其目的是便于使用者进行算法分析。数据服务需要依据业务要求对数据模型进行封装，应包含的功能有：（1）数据接口标准化：标准化的主要作用是便于后期使用，所以需要提供统一的查询试图。（2）数据开发可视化：主要是生成数据API，通过数据API的开发可以降低开发要求，也便于后期维护。

随着企业大数据运营的深入，各类大数据应用层出不穷，对于数据服务的需求非常迫切，大数据如果不服务化，就无法规模化，例如：电信运营商行业可以封装终端洞察、金融征信、位置洞察等各种服务，便可以满足内外数据服务的要求。

1.3 数据开发

业务多样性和多边形决定了基础数据和数据服务不能满足，数据开发便是启动前台后台衔接的重要一环，按照不同角色也分为3层，对于业务人员，则提供数据标签库，便于对营销客户群关联解析；对于用户，则提供数据开发平台，便于对数据访问和可视化开发；对于技术人员，则可以提供各种数据组件，即自主定义个性化数据产品。

1.4 数据治理

数据治理也就是一套关于企业数据的管理体系，需要编制与企业数据管理相关的组织、流程、制度、技术要求等。通过对企业数据管理能力提升，以及数据保护、数据变现等措施改进，达到为企业业务赋能。数据治理需要关注的：（1）实施关键路径，实施数据治理的公司应根据各自数据治理目标策划对应的关键路径，例如：电商行业采用的关键路径是数据价值、数据安全等。（2）数据安全，不能脱离业务场景考虑数据安全，避免数据管理过紧或者过松。（3）数据质量，同数据安全一样不能脱离业务场景，数据质量需要在应用过程中才能达到最优化，在业务应用过程中，同步解决数据质量问题。

1.5 数据资产

能给企业未来带来经济利益的数据资源，以及归企业所有或管控，应从业务角度去聚焦和定义企业的数据资产，数据资产不同于数据，具有唯一性，数据资产规划的前期需要制订数据全景图，通过全景图建立企业内部可以跨业务、跨部门的统一数据标准。在数据全景图的基础上可以整理出数据资产目录。

1.6 企业知识库

随着业务高速增长，信息、知识积累越来越多，这些散落的信息蕴含巨大的业务价值，如何利用积累的知识来辅助决策，需要公司能够有效的组织知识，构建“企业大脑”来激发知识的价值。企业搭建统一的知识共享平台，更好的实现企业知识的积累、传承与进化。知识共享平台可以基于数据资产形成企业的知识图谱，知识共享平台在底层可以采集不能来源和格式的数据，核心层包括知识生产、知识加工、知识应用能力，上层支持不同业务场景应用落地。

1.7 企业算法

企业即算法，管理即决策。但好的算法依赖于好的数据基础，同时也能反向迭代优化决策算法。通过对企业算法的显性化，可利于企业高层达成共识，为企业规模化发展奠定基础。这需要企业核心高管积极承担“企业算法管理师”的角色，通过PDCA的方式优化企业算法，建立符合企业业务发展和战略需求的管理结构和体系[2]。美国通用电气公司曾尝试用自己前期成功的企业算法进入其他行业，包括轨道交通、家电设备、医疗设备等，但尝试后发现企业算法收益大打折扣，便开始去多元化，聚焦其优势领域的航空发动机和燃气发电机等。该案例说明企业高管必须客观评估所要进入的行业与其算法是否匹配，明确企业的核心优势，并在过程中提炼出属于自己的企业算法。

2.数据中台的意义

阿里CEO 张勇说：“数字经济时代正扑面而来，社会经济、生活的方方面面正在发生巨大的变化。我们不仅要积极拥抱变化，而且要主动创造变化，这样才能引领时代的脚步，成为新时代的“造风者”！”数据中台是中国数字经济发展的一个新产物，数据中台不是一套业务软件系统，只针对某部分环节收集数据、独立存储、计算分析，而是将企业的设计、生产、仓储、供应链、客户体系、渠道销售等所有环节全部打通，将全部环节产生的数据汇总到一起，形成标准数据，建立中央数据仓，然后根据各个环节的业务需要，支持各业务端形成智能分析，智能决策，最终赋能各业务端[3]。以往企业的做法是对标行业标杆，但行业标杆只是领先企业共性的总结，其深层缺乏一套个性化的数据中台，好的数据中台是基于企业特色、基于企业业务场景。