基于传统BI系统的大数据分析平台建设

齐伟东

[摘 要] 分析了大数据的发展和应用状况、钢铁贸易发展和贸易模式的变化、运用大数据辅助企业运营及应用大数据对目前BI系统架构的要求后，提出了在企业目前BI系统基础上实现大数据和传统数据分析的新架构，并对未来基于大数据BI的新应用场景和新的业务模式进行了探索研究。

[关键词] 大数据；电子商务；钢铁贸易；数据挖掘；商业智能

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 21. 028

[中图分类号] TP311.13；TP311.52 [文献标识码] A [文章编号] 1673 - 0194（2017）21- 0059- 03

0 引 言

通过信息化手段对企业实现精细化的管理，是提高企业核心竞争力的重要手段。目前大多数企业都建立了自己的BI系统，是否拥有一套精准的数据分析、快速的数据挖掘系统已成为衡量传统企业与现代企业的重要标准。

随着大数据、云计算、电子商务、移动社交媒体等新一代IT技术的飞速发展，企业传统BI系统的功能和架构已经不能完全适应大数据量、数据类型、分析需求等方面的要求，迫切需要实施满足大数据分析的新的平台架构。

1 大数据及钢铁电商发展状况

大数据是信息技术产业持续增长的新动力，大数据的运用将成为提高企业核心竞争力的关键因素，各行业的战略决策正在从“业务驱动”转变为“数据驱动”。

近年来，钢铁行业面临的形势日益严峻，产能过剩、资金紧张、亏损严重等问题成为行业顽疾。在这样的大背景下，钢铁产业链中生产厂、经销商、流通商都先后开始参与互联网应用，通过互联网拓展市场。钢铁电商正在改变着钢材贸易领域，并最终影响整个钢铁产业链的格局。这种大势所趋无法改变，钢铁电商对传统钢铁行业带来了革命性改变。

2 企业钢铁贸易需要大数据的支持

钢铁电商的发展为企业大数据的应用提供了更充分的条件，通过电子商务平台设置采购组织与物料、在线交易、服务中心和网上超市等板块，不仅可以密切关注产品的交易情况，还可以收集用户浏览网页的信息。此外还可以通过微信、微博等平台收集用户评论数据，从而为决策或营销提供精确服务。如果说，互联网是企业之车的左轮，那么在互联网时代，大数据将成为企业之车的右轮，两者共同构成推动企业持续前进的核心竞争力，缺一不可。

对于大多数钢铁企业而言，运营领域是大数据最核心的应用领域。在过去，钢铁企业主要使用来自生产经营中的各种报表数据及BI系统分析，但随着大数据时代的到来，来自于互联网、物联网、各种传感器的海量数据扑面而至。于是，越来越多的钢铁企业开始挖掘和利用这些数据，来推动运营效率的提升。大数据营销主要应用在渠道优化、精准营销信息推送、线上与线下营销的连接、帮助企业领导者做出决策这4个方面。

3 大数据对企业传统BI 体系的影响

企业当前的分析平台是基于Oracle BIEE建立的商务智能系统。作为面向集团多个管理层级的经营分析系统，以集团管控和专业化管理作为灵魂，对企业管理信息进行数字化、形象化、直观化、具体化的展示，辅助企业高层进行管理决策。

目前公司的BI 体系一直作为支撑系统的核心要素，为企业的决策层、管理层和操作层提供了重要的数据。然而大数据时代的到来，急切地需要一种技术使其能够访问和使用这些宝贵的、大规模数据集以应对越来越复杂的数据分析和更好的商业决策制定。

大数据与传统BI 有很多不同，具体区别表现在数据量、信息特征、信息来源和涉及的关键技术上。传统BI的数据量不太大，常为TB 量级，而大数据的信息量常为PB量级，甚至为ZB 量级。从信息特征上看，大数据能够基于BI工具對非机构化数据进行处理，与传统基于事务的数据仓库系统相比较，大数据分析不仅关注结构化的历史数据，更倾向于对Web、社交网络、RFID 传感器等非结构化海量数据进行分析。从信息来源看，传统BI 主要取自业务运营支撑系统、企业管理系统等，比如采购、销售、库存、财务等企业数据。大数据主要来源于互联网、移动互联网等，比如微博、电子商务等交互数据。在处理技术上，大数据相对传统BI有更完善、更成熟的软硬件技术。例如，基于开源的分布式并行计算技术，使用廉价的计算设备解决海量数据，集高并发行、高可用性、高扩展性等技术难题于一体；采用软硬件一体化设计技术提高数据处理效率；采用大型机X86 虚拟化技术在兼容现有系统的同时，降低主机运营维护管理成本；采用Flash 盘等新型存储技术提升I/O 吞吐量等。

大数据无疑是对公司BI系统的一个有益的补充，它并不是要取代传统BI 工具，而是让BI 更有价值和更有利于企业业务发展，我们需要考虑的是如何通过大数据强化原有的BI 体系。

4 基于传统数据BI 体系的大数据应用设计

大数据时代的到来，对企业传统BI 架构的数据处理能力、数据存储能力以及更高的实时性分析能力和对非结构化数据等复杂数据源的分析能力等诸多方面都提出了更高的要求。如何充分发挥目前系统架构的功能将大数据和传统数据综合利用，是目前企业数据架构平台设计的关键因素。在分析传统数据与大数据的不同本质，包括数据源、数据的采集方式、数据的存储模式、处理技术和应用方式等因素后，企业设计了数据架构平台设计方案，如图2 所示。endprint