数据中台技术在业务系统中的运用

魏显伟

（中移铁通有限公司山东分公司，山东 济南 250011）

0 引言

当前大数据技术迅猛发展，截至2020年大数据产业规模已经超过8 000亿元，且始终保持快速增长的趋势。在技术发展需求逐渐增加的情况下，诞生了数据中台技术，该技术以“共享”与“复用”为核心，包括数据采集、集成与治理3个方面，与前后台中的人力资源、财务以及内审等部门相对应，数据中台技术在业务系统中的应用可极大地提高系统的应用效率，为企业建设与发展提供更多助力。

1 数据中台技术定位与选型

在数据时代下，各类数据信息爆炸式增长，数据的高效管理与应用成为处理数据的关键，以往数据建设方式逐渐滞后于现实需求，大数据需要得到更专业、更智能的处理。在该背景下，数据中台应运而生，其属于数据界面架构，依靠新技术从界面中复制数据，经过计算与加工后，为上层数据提供统一接口，使前台数据分析与应用更加便捷、高效。该技术包括许多内容，例如数据资产、模型、治理、服务与全域数据中心等，以系统化、体系化建设的方式满足当前企业发展的技术需求。在数据开发期间，核心模型变化较为缓慢，数据维护量较大，与业务创新速度间产生偏差。对此，可通过中台技术弥补开发与应用间的矛盾，避免或减少出现响应力低等问题。

在中台技术选型方面，根据数据流朝上进行技术选型，采用开源技术创建数据平台，具体如下：抽取层采用sqoop进行离线抽取，一些非结构化日志可利用flume接入；文件系统可采用hdfs、kafka等，在流式数据总线中普遍应用文件系统；离线计算多采用spark与hive，个别采用tez；实时计算以storm与spark为主，当前较为流行的是Flink。以数据中台核心为场景，与客户业务、企业结构以及信息化发展间存在紧密关联，业务架构较为复杂烦琐，初始阶段应做好顶层设计，结合业务预期编制整体规划，对数据创新场景进行梳理，根据整体规划探索相应的业务场景，由小到大地推导出全景架构。在现实应用中还应结合实际情况，立足于高价值的小场景，以此为中心寻找全景图中的相应数据，由此迅速验证价值，防止产生数据孤岛的现象，再将多个小数据联系起来，使中台能力逐渐加强，业务价值也随之提升[1]。

2 业务系统中数据中台技术支撑

2.1 中台技术全栈

要创建高效、便捷的中台架构，就离不开开源技术框架的支持，需要在各层次内选取最佳成熟组件。

2.1.1 数据接入层

数据接入层包括实时采集、数据复制、数据迁移与FTP等内容，采取大面积采集模式、实时采集socket Rocket、日志采集Flume以及复制SymmetricDS等。

2.1.2 数据模型层

数据模型层主要负责计算，利用Map Reduce进行离线计算，用Spark进行流式计算，用Hbse创建列式数据库和时序数据库等。在建模的过程中，可利用“M+”平台、RapidMiner平台进行挖掘；还可在特定场景内利用视频、图片等组件识别simon等信息。

2.1.3 数据服务层

数据服务层的管理内容应结合实际情况来确定，通过Spring Cloud发布相应数据，路由器选用Nginx，利用APM监测使用性能。

2.1.4 应用层

应用层包括图形报表、预警监控以及大屏展示3个内容，分别采用Tableau、Bosun与SLCD等技术来实现[2]。

2.2 敏捷数据平台创建

通常情况下，中台技术可以在Hadoop的支持下实现，其中数据建模与服务为重点任务。敏捷数据平台可简称为“M+”，可采用数据挖掘工具提高应用速度、降低成本投入。该平台的创建应符合行业规定，将数据当作业务过程，为每个业务目标创建相应的挖掘目标，明确建模项目周期，在充分掌握业务流程与目标的基础上，加大数据挖掘的强度，然后做好数据准备工作，合并待挖掘的数据，选出样本，创建相应的模型，最后进行模型评估，依靠挖掘结果提高业务处理效率。该平台利用J2EE架构，在SOA思想的支持下创建模型，其功能包括以下2个内容：1） 数据准备套件。可帮助用户在短期内完成准备工作，采用异常值检测、缺失值处理等统计方式，结合复杂数据处理诉求，快捷、高效地完成表级处理，还可无缝集成Java、SQL以及Python等脚本。2） 模型创建套件。该套件具有聚类、回归、关联以及推荐等算法。业务模型中带有分析、贴近业务等算法，使用者还可结合自身需要存储模板，也可分享给更多用户使用。3） 模型评估。对模型种类没有过多限制，可提供业内关键指标，例如召回率、均方差以及ROC曲线等，将指标对比信息直观地展现出来，为使用者快速计算提供便利。

2.3 Spring Cloud服务平台

在Spring Cloud平台的基础上，可为中台应用提供重要接口，主要作用为发布服务任务、管理路由与目录等，为满足当前企业的现实需求，还增设了服务监控与开发等功能，使平台功能变得更加丰富。在平台架构创建方面的主要内容如下。

2.3.1 服务开发

该功能可以辅助“M+”模型封装，例如业务模型、作业流程以及接口定义等。同时还具有发布功能，这也是该平台的特色所在，通过二次封装进行服务发布，在服务端创建中心站，由客户端来具体实施。该平台可提供不同类型的发布方式，例如源数据、结果集等。

2.3.2 服务目录

该组件可在Eureka的基础上为用户提供注册、目录管理等服务，用户可通过中心站获取所需要的服务，也可结合自身的需求订阅相应业务。值得强调的是，只有在获得访问权、审批通过的基础上才可为用户提供服务。同时，对接口与批量服务应采取相应的管理方式。

2.3.3 服务路由与监控

该层的作用在于过载保护，确保服务始终可用，并与Kafka队列、Eureka负载均衡以及Redis缓存机制结合起来，发挥辅助工具的作用，对接口指标、使用频度、批量任务以及服务状态等进行监控[3]。

3 业务系统中数据中台技术的应用案例

3.1 中台创建理念

以某省移动公司为例，该企业制定的中台方案符合国家与行业的规定，与信息化建设趋势相符，能够妥善解决现存问题，打破技术瓶颈，充分发挥数据的价值。在建设理念方面，企业应坚持“四维度”原则：1） 打破内部不同部门间的壁垒，突破外部行业壁垒，依靠数据共享实现共赢目标。2） 资产化。对数据进行采集和治理后，使其变成可用、通用资产。3） 智能化。依靠数据自动挖掘、借助AI算法等，提高数据服务的智能化水平。4） 根据业务类型的不同将其划分为多个专题，为领导层决策提供更加真实、可靠的依据。

3.2 架构设计

该公司的中台架构可分为4 个层次，例如接入层、模型层、治理层与服务层等，见表1。

表1 中台系统架构

在业务中台设计方面，可吸收借鉴先进的操作经验，通过创建共享服务体系提升服务能力，从而更加灵活地应对前端变化，满足企业的发展诉求。综合分析服务场景与业务区域，对财务服务力进行细分，从而共享服务体系。在微服务架构的基础上，利用数据库技术分散多类业务压力，创建分布式处理平台，可为系统内不同中间件指标提供监控服务，使管理者能够随时掌握系统状态。在中台模式下，业务系统前端与从业者对接，在共享服务下不断提高创新力。在为不同系统提供同一种服务的过程中，系统将设置多个中心，涉及监控、决策、用户与资金等方面。

3.2.1 监控中心

将在信息系统中开展的全部业务纳入监控范围内，使“事后监控”朝着“事前、事中”等环节拓展，对系统质量进行监控，还可创建标准化流程，使绩效评价体系更加完善，同时根据相应流程定期开展绩效考核工作。

3.2.2 决策中心

在应用功能中，企业严格遵循灵活应用、更新优化的原则，创建模型主题库、内容搜索等模块；后台处理可在对全体业务进行整合清洗后，形成统一化数据。在报表分析、模拟预测等方面，可利用不同业务数据完成建模、探究等任务，提前模拟可能发生的问题，并制定妥善的解决措施。

3.2.3 用户中心

在企业账号基础上创建的统一化管理库支持单点认证，允许多个业务系统同时应用。创建统一化的客户中心，对用户账号、权限信息等进行集中化管理，将多个部分的信息整合起来，在统一渠道中进行集成管理。

3.2.4 资金中心

该内容主要集成各项业务与资金，其中资金监控以流量和存量分析为主，重点探究融资、财务与票据等指标。资金管理包括批复、上报以及融资台账等内容；账户管理以账户数量监控、回款管理以及资金运作为主；安全备付管理以测算、分析与下达为主。

3.3 数据分析

根据现有数据执行运算属于中台管理的重要内容之一，主要包括2项内容：1） 数据合并。可从数据源中采集需要在Max Compute存储空间进行计算的数据。公共数据源是自行安装在ECS中的数据库，将源数据导入线数据，再将二者同步、合并。2） 数据计算。在数据分析时，通过创建数据处理流程来增加处理节点，并在节点上编写Max Compute SQL语句，再开展后续流程。上述语句与SQL较为相近，可在完成基础运算后，辅助自定义函数处理更为复杂的语句，由此实现自身的功能。

3.4 实际应用

在大数据的背景下，企业对中台创建给予高度重视，并在数据湖的基础上进行底座建设，包括数据开发、数据治理、全域数据模型以及运维中心等内容，设计理念如图1所示。

图1 某省移动公司中台设计理念

对AI平台来说，可利用Fusion Mind强化学习效率，提升AI的开发效率。在内置规则模板中评估数据质量，创造数据地图，清晰、高效地对基本业务进行管理。在集成平台中完成计算，通过Oracle进行采集，为使用者提供超过20种数据源。开发平台还可以提供全流程开发工具，明确资源使用权限，提高数据服务能力，提升开发效率。在全模型范围内提供大量加工数据支持，用户可以根据自身需求进行选取。除此之外，中台还具备自助分析、数据API采集等作用，可为企业发展提供第三方支持工具。数据中台包括数据开发、挖掘、计算、脱敏、整合以及AI建模等内容；分析模型由传统挖掘建模与人工智能共同完成；数据萃取包括数据集市、轻度汇总2个方面；数据管理包括资源图谱、检索以及数据流程管理等内容，业务架构如图2所示。

图2 内部业务架构

在应用新资金管控系统时，可以创建财务系统的中台架构，以满足前台数据分析需求为目标，实现数据统一。为满足不同财务管控的需求，还要打破以往的技术壁垒，结合使用者的真实诉求，设计和搭建中台，定制个性化产品，实现快速部署的目标。在数据采集平台中，可根据业务原始数据抽取并创建分布式架构，使系统内多点负载更加稳定且完善。在采集数据信息后，还可利用接口传输到分析层中，打破信息壁垒，使数据更加全面多元。在数据分析层内，还可利用机器学习相关算法，智能化地抽取数据，过滤无效信息，并减少对重复数据的使用，将相同类型的数据合并起来。利用分布集群与加工后的数据，对不同类型的资源进行划分，再利用AI算法进行标记，形成多样化数据包。在该基础上，提升数据匹配率和数据检索效率，使财务系统更加满足业务需求，便于业务的个性化开展与管理。

4 结论

综上所述，当前企业市场竞争日益激烈，数据中台作为数据整合的“指挥棒”，涉及组织、系统与数据等多个层面，可以充分发挥数据的价值理念。为实现业务系统数据共享、业务支撑的预期目标，对中台战略进行细致分析，在“M+”与SpringCloud平台的基础上制定解决方案，寻找最佳方式分析建模，使数据中台的作用与价值得到充分发挥，为企业发展提供强有力的技术支持。