大规模生产型企业利用数据中台解决数据孤岛问题研究

王新元 张孝临 祁金才 张鸣洲 关小明

1.辽宁科技大学计算机与软件工程学院 辽宁 鞍山 114000

2.鞍钢集团矿业有限公司 辽宁 鞍山 114000

背景

区块链的结构构想早在20世纪90年代就被提出,而到2008年区块链才真正进入了大众的视线。区块链技术作为一个由多方共同维护、去中心化的分布式账本技术,核心在于通过对等(peer to peer,P2P)网络协议、共识算法、非对称加密、哈希等关键技术解决数据传递与交换过程中的信任问题。区块链的链式结构是一种将数据区块按时间戳顺序相连,进行数据存储与验证的一种数据结构,是一种凭借共识算法对数据进行广播交易,基于密码学原理保证数据传输和访问的安全性;具备难以篡改性和难以伪造性的分布式账本技术。其可利用智能合约来编程和操作数据。

数据孤岛(通常称为信息孤岛)是只有一组人可以轻松访问的数据集。这意味着其他人很难获得这些信息,或者更糟糕的是,他们根本无法访问它。

1 引言

当企业发展到一定阶段时,会出现多个事业部,每个事业部都有各自数据,事业部之间的数据往往都各自存储,各自定义。每个事业部的数据就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动。我们把这样的情况称为数据孤岛。

简单说就是数据间缺乏关联性,数据库彼此无法兼容。这样的情况会造成很多的不便。专业人士把数据孤岛分为物理性和逻辑性两种。物理性的数据孤岛指的是,数据在不同部门相互独立存储,独立维护,彼此间相互孤立,形成了物理上的孤岛。逻辑性的数据孤岛指的是,不同部门站在自己的角度对数据进行理解和定义,使得一些相同的数据被赋予了不同的含义,无形中加大了跨部门数据合作的沟通成本。

尤其是我们现在的需求管理现状:工作量巨大,每次需求管理时都是N对1,统一集中式的管理让效率变得及其的低下。而且数据需求很难控制,当业务变化时,需求数据需要一改再改。并且数据需求难以责任化,因为需求双方是非点对点的沟通,还会有同一需求反复提的问题,因为需求清单是不共享的,现有资源价值是很难发挥的,因为现有资源清单没有前置到需求端。而且需求管理过程不透明,难以监管督办。

在面对这么多问题时,我们一定要摆脱数据孤岛,但同时摆脱数据孤岛是十分困难的。摆脱数据孤岛如此困难的主要原因通常归结为:“我们一直都是这样做的。”当数据孤岛成为您组织的常态时,适应一种新的信息共享方式可能具有挑战性,因为部门可在过去的数年甚至数十年的时间都是这样单独访问数据集的。一些部门还可以将自己视为特定数据集的“看门人”,并且当组织中的其他团队可以查看和编辑它们时会感到紧张。所以我们一定要解决数据孤岛问题。

2 相关工作

每个企业的发展情况不同,到底要不要构建数据中台?我们可以从企业数据应用的成熟度来评估企业要不要构建数据中台。数据应用能力成熟度可以总结为统计分析、决策支持、数据驱动、运营优化四个阶段。以上四个阶段数据应用能力成熟度依次增高,数据应用能力成熟度越高,则代表数据对业务的支撑能力越强,应用能力成熟度越低,则意味着业务对数据的依赖程度越低。企业数据应用能力程度越高构建数据中台越有价值。

不同行业数据中台需求不同,数据中台的构建并没有行业限制,任何行业都可以构建数据中台,只是不同行业、不同阶段的企业所需要的数据应用能力不同,对数据的依赖度也不同。

数据中台建设是一个持续完善的过程,任何企业构建数据中台不是一下完成,下面是一些行业所处的阶段以及对数据中台的共性需求。处于数据驱动向运营优化过度阶段的诉求是业务强依赖于数据,是数据使用最深的行业,对中台是真实的强需求。基本都是自己的数仓和垂直数据应用,也有较完善的数据团队。希望自主可控,对中台服务商要求较高。处于决策支撑向数据驱动过度阶段的像公共安全行业(食品安全、信息安全等)的诉求是业务对数据有强需求,数据中台、数据治理也都提上日程。对业务的专业性要求高,对中台服务商资质要求较高。处于统计分析向决策支撑过度阶段像零售行业的诉求一般都是多端多渠道,包含门店、app、小程序、服务号、电商等渠道。对多渠道的数据整合运营有强需求,需要数据中台的能力支撑。大多看重短期收益,不注重建设完整的数据中台能力。而处于决策支撑向数据驱动过度阶段像地产行业的诉求则是业务迫切:市场从黄金期进入白银期,增量时长有限。有数据整合需求:多业态发展,需要数据整合能力。需要信息化基础:地产企业信息化基础一般,需借助外部开发力量。需要业务配合:业务部门强话语权,数据中台需加强技术部门话语权。处于决策支撑阶段像工业制造行业的诉求是,要有数据基础:物联网、5G等普及,工业制造数据有了完善采集的基础。场景清晰:效率提升、工艺优化、质量监督等场景清晰。采集困难:大部分工控软件不开放数据,且对行业的专业知识要求高。处于决策支撑向数据驱动过度阶段像政府这样的,诉求是数据丰富:掌握最好、最全的数据,智慧城市的推进,带来更丰富的资源。类目繁杂:来源于各种部门、企业,历史包袱比较重,冷启动艰难。项目规模大:一般只有大的中台服务商才能承建。所以具备以下特点的公司可以加速考虑建立数据中台:1.企业有一定的信息化基础,沉淀了数据,实现了业务数据化过程。2.企业业务复杂,有丰富的数据维度和多个业务场景,特别是多业态型集团企业。3.企业有数字化转型、精细化经营的需求。

其中数据中台解决数据孤岛问题上面主要体现在智慧城市的管理上,截至2020年12月底,合肥智慧城市已累计汇集63个市直部门,96个区县部门310亿条数据,数据范围覆盖了政务数据、社会数据、经济数据,通过大数据平台,改变了传统的网状数据交换模式,全市以统一的政务信息资源目录为基础,建立了数据共享交换模式。通过构建企业统一数据资产目录,提供多种分类方式,汇聚企业数据资产;包含1153个部门能力,199个基础能力、496个主题能力、21个省部级能力。在数据资产服务提供上基于数据资产目录进行数据使用申请、审批、授权管理过程,统一数据使用入口;为全市60多个政务部门、400余个业务应用场景提供了超859万余次的赋能服务。安全方面统一数据授权控制,敏感数据的识别发现及数据脱敏;建立数据追溯体系;同时构建数据标准体系,助力数据交换体系;

一个就是贵州城市智慧中台他也是构建城市数据中台体系,通过数据治理能力,建立智慧中台数据资产目录,将数据资产统一纳入管理,提供数据资产地图、数据知识库能力;通过数据标准和稽核检查能力,推动数据标准化落地,形成统一的数据语言;主要的方法有1.数据资产集中注册管理,形成智慧中台数据资产目录;2.数据地图的建设,形成数据资产全局视图,方便掌握数据资产状况以及资产治理情况;3.数据资产标准的建设,形成统一的数据语言,为共享交互提供支撑;4.数据标准的稽核检查能力,及时发现不合规的数据,并引导修复;

从以上智慧城市的数据中台中看到了数据中台的建立可以解决数据孤岛的问题:1)数据孤岛是不安全的:许多数据孤岛可以在Excel电子表格、Google文档甚至U盘中找到。这可能不符合公司的数据保护政策,从而增加了数据泄露和信息落入坏人之手的风险2)数据孤岛会导致不一致的客户消息传递:如果一个部门拥有一组数据,而另一个部门拥有另一组数据,这可能会导致客户体验不稳定和信息混杂,尤其是在我们的需求管理上面3)数据孤岛可能会无法追溯到数据的源头

3 利用数据中台解决数据孤岛问题

3.1 基于区块链的数据安全服务机制

1.数据供需求双方依托区块链,凭借数据监管方颁发的可信证书加入数据共享与交易网络;2.数据提供方发布数据资产目录上链;3.数据消费方从区块链获取数据提供方发布的数据资产信息;4.数据消费方从目录选择需要获取的数据,发起数据授权请求;5.数据提供方从区块链获取数据消费方发起的数据授权请求,按照标准规则进行批复,并将批复结果发布到区块链;6.数据需求方拿到批复结果,发起数据访问请求,数据访问请求经代理发送到数据提供方的访问代理,请求认证通过,则可以访问大数据中心数据;7.数据监管方作为区块链节点加入网络,同步所有区块链数据块,对大数据共享与交易进行监管;

3.2 基于区块链无痕水印实现数据溯源

场景介绍:数据生产加工和消费使用过程中,接触的人员多,不乏有人利用职务之便或者保管不善,有意无意将数据泄露[4],通过区块链无痕水印技术,实现泄露数据的反向追溯,发现泄露人员及泄露点,及时进行补救。

当前现状是数据生产加工参与人多,系统授权粗放,有不授权访问、非最小化授权模式,没有数据泄露保障机制,只知道泄露,很难去追溯其中的相关人员有数据运维人员,数据开发人员,数据使用消费人员。在治理动作有两套方案,第一个是基础方案包括数据最小化授权使用,数据库、数据仓库安全防护和敏感数据加密存储或者动态化脱敏进行数据提供。还有就是优化方案首先要建立数据安全等级,在数据创建[1]的时候就明确等级及授权范围,并配合工具,建立安全存储访问机制;还有数据平台出口的安全防护和数据下载限制及多因素验证,当数据泄露追溯,通过一些手段将特征信息隐藏(数字水印)在下载或者导出的文件中以方便追溯[2];

3.3 基于区块链实现需求管理

当前需求管理的痛点颇多,但是通过区块链改造可以打破数据孤岛[3],实现业务一网通办,一窗受理。通过区块链[5]改造方案优势去中心化,将任何部门能提出并看到所有需求可追溯,版本管理,并可查询变化轨迹数据共享交换,需求责任方点对点沟通公开透明,需求流转信息各节点可见数据共享交换,资源和能力清单前置化数据需求运营数据需求运营结果统计分析功能。

3.4 数据汇集和数据开发

要将企业内部各个业务系统的数据实现互联互通,打破数据孤岛,主要通过数据汇聚和交换来实现。企业采集的数据可以是线上数据采集、线下数据采集、互联网数据采集、内部数据采集等。1.线上数据采集主要载体分为互联网和移动互联网两种,对应有系统平台、网页、H5、小程序、App等,可以采用前端或者后端埋点方式采集数据。2.线下数据采集主要是通过硬件来采集,例如:WiFi信号采集、摄像头、传感器、信令数据采集、图像视频采集等。3.互联网数据采集就是说的网络爬虫,当企业的内部信息不足时,可以考虑利用外部互联网数据与内部数据进行有效融合,从而让内部数据在应用上有更多的价值。4.内部数据汇集主要是针对业务库中的数据通过工具进行汇集。一些公司也会开发自己的数据交换产品来屏蔽底层工具的复杂性,以可视化配置的方式提供给企业用户。数据开发涉及的产品能力主要包括是三个部分:离线开发、实时开发、算法开发。1.离线开发主要包括离线数据的加工、发布、运维管理,以及数据分析、数据探索、在线查询和即席分析相关工作。2.实时开发主要涉及数据的实时接入和实时处理。3.算法开发主要提供简单易用的可视化方式实现数据价值的深度挖掘。针对以上三个部分,构建数据中台时可以使用原生的技术来实现也可以通过数据开发套件对大数据的存储和计算能力进行封装,通过产品化的方式让用户更容易的使用大数据。

4 结语

当企业已经进入了数据管理的高级阶段,需要全局的数据治理、数据能力的复用和共享以及云原生架构的支撑。在这个阶段需要解决的一个重要问题是如何避免数据孤岛和应用孤岛。首先必须有全局的数据治理系统来管理所有子系统的数据,确保它们能互联互通。除了技术方案以外,明确责权利也很重要。出现孤岛的原因之一就是各部门的责权利不明晰。在进行全局的数据治理的同时,治理的结果必须能为公司创造价值。构建数据中台就是一个很好的解决方法,可以有效的解决数据安全,数据溯源,数据重复等问题。