APP下载

一个数据中台的诞生

2020-12-30

网络安全和信息化 2020年8期
关键词:中台刘海戴尔

为了提升生产和管理效率,降低创新成本,制造企业迫切需要一个平台,统一管理企业海量的数据资产,挖掘数据的核心价值,最大程度地释放数据生产力,支撑智慧运营与业务创新。这个平台就是人们常说的数据中台,也就是企业不可或缺的“数据大脑”。

作为全球知名的制造企业,海信从2019年2月开始搭建其大数据平台,并于4月30日正式上线,两个多月时间内完成了5000多个调度,以及数千个表的迁移,虽然时间紧、任务重,但在戴尔公司的全力配合下,加班加点、倾斜资源,最终保证了大数据平台按期成功上线。

数据驱动业务

海信从2015年开始了大数据方面的探索,并于2018年重组IT与数据管理部,下设大数据部,众多大数据相关项目持续上马,2018年年底,大数据平台项目完成了论证。

“我们部门的核心职能是数据中台建设、数据应用和数据治理。”海信集团有限公司IT与数据管理部大数据部长罗庆干表示,对于制造企业而言,数字化主要解决了以下三个方面的业务问题:首先,支撑领导快速、准确的决策;其次,有效助力生产,尤其是在供应链端,将工业大数据、工业互联网等与业务紧密结合,提升生产线的自动化程度;最后,以数据为驱动,支持一些创新应用,比如防窜货和资金占用,进而提升效率,降低成本,建立核心竞争优势。

海信集团有限公司IT与数据管理部大数据部数据中台总监刘海波回忆说,在大数据平台筹建前,存在数据孤岛、数据时效性低和数据质量差等问题。它是阻碍海信集团数字化进程、影响数据创新能力的绊脚石。首先,由于数据量越来越大,传统的数据仓库已捉襟见肘。其次,从2015年开始大规模应用的数据仓库在性能上已经跟不上业务发展的要求,尤其是在数据处理的时效性方面,虽然系统一直在优化,数据处理的效率不断提升,处理周期从一天逐渐缩短至12个小时、8个小时甚至2个小时,但2个小时基本上已是传统数据仓库的处理极限。最后,问题数据找不到具体的责任人、流程和机制。如何突破这一瓶颈,让业务处理的时效性和数据应用再上一个台阶呢?数据中台和数据管理体系的建设成了当务之急,戴尔积极参与其中。

懂业务 更懂数据

在很多人的印象中,戴尔一直是一个IT基础架构解决方案提供商,而非典型意义上的“大数据厂商”。但是经过严格的招标流程,海信集团最终还是属意戴尔公司,这背后有何原委?

刘海波表示,戴尔的加入带动了整个项目的成功。戴尔本身就是一家成功的制造企业。它对客户需求的理解,以及作为制造企业本身数字化的经验是一种有益的借鉴和启示。制造企业的数据远比互联网企业复杂,数据类型、处理逻辑、业态等更加多样化,如此复杂的数据和处理再集成到一起,就如同一座横亘在用户面前的大山。海信自身还有更大的“特殊性”,那就是它有历史积累的7套SAP系统,将这7套SAP系统的所有数据有效集成起来,仅此一项可能就会让一些大数据厂商望而却步。戴尔的突出优势在于,其项目经理在制造企业数字化知识的深度和广度上更胜一筹,尤其是对客户数据集成和处理需求的理解很到位,在项目执行过程中遇到问题时,可以采取更加积极有效的办法,协调资源,克服难关。

“戴尔为我们推荐了Gre enplum企业级数据仓库。20 18年年底,我们对Greenplum做过一次POC,其优异表现得到了一致的认可。”刘海波介绍说,“Greenplum在部署之后,对某些业务场景起到了十分有效的优化作用,并开发了一些与大数据平台对接的接口,方便业务查询。”

如今,包括供应链中的质量管理系统等在内的许多大数据项目正逐步迁移到大数据平台之上。在这些应用从原来的数据库迁移到Greenplum平台的过程中,戴尔团队提出了很多优化的建设和提案,取得令人满意的效果。

7套SAP系统,版本各不相同,在戴尔的帮助下,大数据部通过逐一实施,不仅打补丁,而且又填平了很多技术上的“坑”,将SAP SLT全面充分地应用起来,很好地解决了管理报表的相关问题。另外,为了实现敏捷开发,大数据部在戴尔的协助下还开发了一些工具。以前,开发一个ETL至少需要15分钟,现在借助这些新的开发工具,可能只需要5分钟,简单配置一下,就能将数据提取出来,改善了应用体验。在大数据平台正式上线后,大数据部曾经做了测试,整体的数据处理效率提升200%以上。让刘海波印象深刻的是,与产品大数据处理相关的一项作业,以前需要跑15~20个小时,而采用Greenplum后,处理时间只需两分钟。而且数据量越大,效率提升得越明显。“提升存储能力、计算效率和数据处理的时效性,这三大目标在大数据平台建立后得以完全实现。”刘海波表示。

从大数据平台到数据中台

在大数据平台上线运行后的大约一年时间里,已有几十个项目安全平稳地运行在这一平台之上。“2019年初,我们在建设这个大数据平台时,对‘数据中台’概念还没有很深的体会。但在与戴尔合作完成大数据平台建设并上线运行后,我们感觉数据中台的意味越来越浓。”刘海波表示,“搭平台只是第一步,接下来更重要的是基于此平台将所有数据尽快整合起来,再在业务数据整合的基础上建立数据集市。从应用的角度,数据中台的完善要与业务的发展同步,以保障智能制造、供应链自动化等场景的实现和优化。”

2020年,大数据部将通过数据预言及时发现业务中存在的问题,不断深化在大数据方面的探索。

刘海波点出了在大数据应用方面的最大闪光点,那就是其大数据平台更加多元化,不仅支持Hadoop等开源大数据应用,而且兼顾传统数据库和像Greenplum这样的新型数据库,即使是新兴的5G、物联网等应用也不在话下。“将多种类型的数据库无缝集成在一起,根据数据的需要将其存储在最适合的数据库中,并且做好规划,这样才能事半功倍。”刘海波表示。

经过几年的摸索和实践,大数据部做得最成熟的就是报表应用,以及防窜货和资金占用等应用。让很多企业感到头痛的是,由于报表开发一味追求大而全,不仅越来越复杂,而且成本居高不下。在搭建数据中台的过程中,大数据部同步开发了信数平台,基于敏捷开发的方式实现了快速开发、快速交付和快速迭代,当用户提出需求后,一天之内便可实现报表上线并推送数据,发现问题后还能及时修正。

“基于信数平台,我们实现了报表的生命周期管理,比如在报表长期不用的情况下,系统可自动将闲置的资源重新释放出来。”刘海波介绍说,“在Tableau、永洪BI、Java自开发等多种报表工具并存的情况下,我们还是通过信数平台将不同的报表无缝集成起来,用户不必关心报表产生自哪个平台或业务系统,通过目录检索即可轻松找到所需的报表数据,然后推送到应用前端。这个信数平台的后端就是之前建立的大数据平台。”

供应链是未来的发力点

从大数据平台上线到现在,大数据部一直保持着与戴尔团队的密切沟通和协作,比如Greenplum或SAP SLT需要进一步优化和调整,戴尔的技术人员都会在第一线时间解决问题。另外,大数据部还在戴尔的协助下开发了一些脚本,进一步简化应用与管理,比如从Greenplum内部实现数据同步,以前都需要手工实现,现在通过一个开发的自动化程序即可完成。诸如此类的优化还有很多。

与戴尔团队的合作,让刘海波深切感受到,戴尔不仅仅是大数据平台项目的一个解决方案提供商,而是更像一个目标一致、行动一致的战略合作伙伴。罗庆干表示,未来我们在大数据方面将重点在两个方向上发力:一是继续提升数据质量,建立整体的数据管理体系;二是在供应链方面,更好地支持集团的智能制造、人工智能等应用。

众所周知,戴尔在IT产品制造领域以高效的供应链管理而闻名,特别是在利用数字化技术降低库存和成本,实现定制化生产,强化供应链上的信息流通速度和透明度方面独树一帜。这些成功的经验也是很多制造企业可以借鉴的。在与戴尔团队合作的过程中,罗庆干对于戴尔在供应链方面的技术和知识储备以及实操能力印象深刻。以现在的数据中台为着力点,双方很可能在供应链和营销等方面有更加深入的合作,共同探索和挖掘一些新的应用场景。

此次新冠疫情的出现,让我们再次认识到制造业实现数字化转型和智能化升级的重要性和必要性。通过先进的技术平台和现代化的流程设计,尤其是数据中台的沟通和连接,将为制造业的复苏和再次腾飞插上数字化的翅膀。

猜你喜欢

中台刘海戴尔
戴尔·卡耐基
以小见大 以情动人
中台是媒体转型必经之路吗?
——媒体中台建设的特点和误区
Establish a Three-dimensional Fluorescent Fingerprint Database of Traditional Chinese Medicines
关于零售企业“中台”建设的研究
戴尔Precision 5750移动工作站
汽车制造企业质量中台研究
以技术开发中心为中台,数字化转型之见解
我的青春期很“刘海”
《戴尔战略》(Direct from Dell)