大数据分析及其对企业管理的挑战和机遇

刘　薇　陈　英　高佳风

(1:吉林建筑大学管理学院,长春　130118;　2:吉林亚泰房地产开发有限公司,长春　130022)



大数据分析及其对企业管理的挑战和机遇

刘薇1陈英1高佳风2

(1:吉林建筑大学管理学院,长春130118;2:吉林亚泰房地产开发有限公司,长春130022)

摘要：大数据是伴随移动互联、云计算等技术而产生的重要科技变革,其影响深入企业、政府乃至社会的每一个方面,在学术及企业层面掀起了研究和应用的高潮.本文介绍了大数据分析的基本过程,从数据有效性、分析及展示3个方面进行了阐述，并结合企业应用的现状进行了分析,概括了可能给企业带来的挑战和机遇.

关键词：大数据；数据分析；企业管理；管理决策

0引言

大数据一词早在20世纪80年代就已经出现,但一直以来大数据仅仅是作为数据挖掘技术定义中“海量数据”的另一种表述,局限于计算机学科中的“海量数据”挖掘与处理技术等研究,并未形成具有影响力及代表意义的突出研究成果或研究方案[1].大数据真正作为研究的热点起于近五年.2008年，Nature杂志出版专刊《Big Data》；2011年2月，Science推出专刊《Dealing with data》,主要围绕着科学研究中大数据的问题展开讨论,说明大数据对于科学研究的重要[2].本文首先分析了大数据应用的理论过程,在此基础上分析了企业数据应用的现状,并提出了企业在应用大数据过程中面临的问题和机遇.

1大数据分析

麦肯锡全球研究院将大数据定义为“无法在一定时间内使用传统数据库软件工具对其内容进行获取、管理和处理的数据集合”[3].

美国的Gartner研究咨询公司,将大数据总结为如下3个特征(即3个V)[4]:

(1) 容量大(Volume).2012年,全球数据总量约为1.2ZB(1ZB=10243TB)，而每秒钟通过网络传输的数据总量已经超过了20年之前互联网的总存储量；

(2) 产生速度快(Velocity).IBM将这一属性定义为数据进出的高速性,也可以将这一特性引申理解为对大数据迅速的处理能力以及决策能力的要求；

(3) 多样性(Variety).大数据所包含的数据种类不仅包含常规意义上的关系数据库或数据仓库数据,而且还容纳了如图片、流媒体及社会网络信息在内的全新数据类型.

要进行大数据分析,首先要有足够的可以信任的数据,如何确保数据的有效性是首要问题.对数据进行分析是整个过程的重点.数据分析得出结果之后,要将数据结果用简洁高效的可视化方式展示出来.

1.1　获取有效的数据

传统的数据主要是结构化的数据,但是数据的多样性是大数据时代的显著特征之一，这也就意味着除了结构化数据之外,半结构化和非结构化数据也将是大数据时代的重要数据类型组成部分.有效的数据主要包括以下5个重要方面[5]:

(1) 一致性.不同维度获得的数据集合不包括错误或者矛盾的数据；

(2) 完整性.数据集合中要包含完整的横向和纵向的数据,便于进行各种查询或计算；

(3) 精确性.数据应尽可能准确,不应是模糊大概的数据；

(4) 时效性.用于分析的数据应是保持更新的,可以反映最新实际情况的；

(5) 实体同一性.在不同的数据集合中,针对同一事物的描述或标识是一致并且唯一的,这对后续的数据分析至关重要.

随着数据的爆炸性增长,劣等甚至错误的数据充斥了各个角落,如何确保分析的数据是可靠有效的,是大数据研究的基础.现有的研究工作在一致性和同一性方面做了较多的工作,但在其他方面还有待进一步研究.

1.2　数据分析

数据分析是整个大数据处理流程的核心,因为大数据的价值产生于分析过程.从异构数据源抽取和集成的数据构成了数据分析的原始数据.根据不同应用的需求可以从这些数据中选择全部或部分进行分析.

云计算是进行大数据处理的有力工具,是大数据的基础平台与支撑技术.2006年，谷歌首先提出了云计算的概念,支撑其内部各种大数据应用的正是其自行研发的一系列云计算技术和工具.为了推进大数据的应用,谷歌并未将这些技术封闭,而是以论文的形式逐步公开.正是这些公开的论文,使得以GFS,MapReduce,Bigtable为代表的一系列大数据处理技术被广泛了解并得到应用,同时还催生出以Hadoop为代表的一系列云计算工具[6].

传统意义上的数据分析主要针对结构化数据展开,且已经形成了一整套行之有效的分析体系.首先利用数据库来存储结构化数据,在此基础上构建数据仓库,根据需要构建数据立方体进行分析.对于从数据中提炼更深层次的知识的需求促使数据挖掘技术的产生,并发明了聚类、关联分析等一系列在实践中行之有效的方法，而且大数据的到来使得在线的数据分析成为可能.同时，非结构化的数据分析也对传统的分析方法提出了挑战.

1.3　可视化展示

可视化是大数据处理的最后一环,大数据处理的结果要通过计算机软件展示出来.Excel是大家现在用的最熟悉也是应用最广的软件,其数据处理和分析能力也足以满足日常的大多数需求，是关系数据库的代表,即由行和列组成的一张二维表格.而大数据所提出的要求是用一种更直观的方式将数据结构展示出来,将杂乱无章的数据用图形或图像展示出来,并具备交互性和可视性.由于大数据的分析结果是面向特定对象的,现在还没有一个通用的软件可以完成所有数据的可视化,需要针对需求或企业的要求做针对性的开发才能实现数据可视化的应用.

2大数据对企业管理的影响

2010年，《经济学家》杂志的一项调查显示,大数据已成为企业管理的热门话题,但大数据的应用目前还处于初级阶段.2013年3月，IBM的大数据调研白皮书《分析:大数据在现实世界中的应用》显示，“大数据”将带来蓬勃商机,63%的受访者表示大数据的分析使用为其组织创造了竞争优势,47%的受访者称当前应用处于早期规划阶段,28%的受访者正在开发试点项目或已经实施了两项甚至多项“大数据”解决方案.利用大数据将成为公司的关键竞争力和未来增长基础[7].

2.1　企业应用大数据管理面临的问题

(1) 数据认识程度不够.国内多数企业对数据的重要性认识程度不够.多数情况下,数据只是被认为是记录和统计的作用.对于企业的决策过程,管理提升,数据并没有起到其应有的作用；

(2) 数据收集水平不高.虽然国内大多数企业都采用了ERP软件,但是其应有程度并不高.甚至国内很多大企业花费巨资购买了SAP的软件,但是并没有将其功能充分的发挥出来.多数企业只是将原来纸面做的一些工作通过计算机来完成而已,而没有去实施商业智能的整个过程,更没有去主动改变业务流程而适应IT系统；

(3) 数据分散.即使对ERP软件实施程度较好的企业而言,数据在各个部门的分散、缺乏统一也是一个值得关注的问题.每个部门都是只专注于本部门的工作,公司的IT系统应用有着明显的边界,缺乏系统的整合及数据透明；

(4) 决策层的重视程度.传统的决策更多是依赖于企业总经理或小型决策委员会的经验及智慧来进行，这种方式与日新月异的科技水平并不相称.而大数据理论的出现,提供了新的决策思路，遇到重大决策时,先进行数据收集、分析,再进行决策,主观智慧经验和客观数据的结合,将会大大提高决策的成功率[8].

2.2　大数据在企业应用的前提

大数据对企业管理决策文化的影响巨大,大数据时代不是我们想的是什么,而是我们知道些什么.

企业用大数据进行决策,首先要转变思维模式,要提高对数据的重视,养成用数据来辅助决策的习惯,尤其遇到重大决策时,先进行数据收集、分析,再进行决策；其次,企业的普通员工将会发挥出更大的作用,除了完成日常工作之外,员工还将作为数据的记录者和产生者，企业将所有日常的数据加以整合,可以在决策时起到重要的作用，一个员工日常积累的数据,都将有可能成为决策与否的关键数据；再次是建立基于决策任务的决策知识的收集、创造、共享、传递和激励制度,建立数据辅助决策的模板和流程,提高大数据下决策制定的能力和水平,建立大数据分析企业文化.

2.3　大数据对企业管理水平提升的作用

(1) 提高企业的决策能力.企业的资金是有限的,如何将其应用于可能的投资项目,提高资金使用的成功率和效率,是企业决策水平高低的主要体现.大数据可以通过分析每一个投资项目的成本和收益水平,准确预见项目的未来运行状况,从而提高决策能力；

(2) 提高企业制定计划及预算的能力.大数据可以及时了解到企业的最新状态,找到企业现在的薄弱点,从而有针对性的制定改进计划,将预算应用于最需要的地方；

(3) 提高企业过程管理的能力.通过搭建先进的硬件平台,利用云计算的强大分析能力,以往需要人工数天甚至数星期的统计分析,可以由大数据实时显示出来,企业可以随时监控过程执行情况,从而及时调整战略部署；

(4) 有助于建立基于量化分析的企业文化.没有数据支撑的企业只能算一个传统企业,它还不是真正意义上的现代企业，建立决策、预算、计划、过程、考核等涵盖企业方方面面的数据分析能力,是成为一个现代企业的要求；

(5) 有助于企业的风险管理.蝴蝶效应可以让一个看起来健康茁壮的企业转瞬间发生危机甚至破产,而大数据基于全面数据分析的理念,将会最大程度上实现对风险的控制或规避.

2.4　大数据应用的局限性

大数据会给企业管理带来诸多便利,但这是否意味着企业的决策要完全数据驱动呢？在大数据的应用中,需要注意的是:

(1) 数据的可靠性.如果数据本身不完整甚或是错误的,据其分析得出的结论定会谬以千里.美国大选中,对240万人做了调查的《文学文摘》在总统人员预测方面却输给了只做了5 000人调查的盖洛普公司,就是因为选择的样本范围出了错误,即使数量再大,结果也不会正确；

(2) 现实的不可预测性.无论是企业管理还是现实社会,本质是无法预测的.数据分析也只是在试着掌握尽可能多信息的基础上,从概率上提高正确率.正如2008年金融领域发生的事件,完全依赖金融风险模型进行决策是灾难性的.

企业在日常的管理中会面临许多的决策,决策的过程需要立足于数据分析,但同时离不开人的智慧和经验,单纯的数据驱动有其内在的局限性和风险性.

3结语

大数据分析对于一个企业而言,犹如人的神经系统散布于四肢,将数据收集能力分散到企业生产经营管理的每一个环节,并通过强大的云计算平台进行整理分析,反馈于企业管理层进行决策,再通过持续跟踪检查决策实施的效果,实现不断的优化.现阶段,大数据的应用主要来源于企业并服务于企业，因为企业有决策的需要和基础.以企业为先导开展大数据的运用,并以此作为学术理论的检验,通过实践提出问题,应是大数据分析开展的下一步方向.

参考文献

[1] 朱东华,张嶷,汪雪峰.大数据环境下技术创新管理方法研究[J].科学学与科学技术管理,2013(4):172-180.

[2] Specials Archive. Big data[DB/OL].[2008-09-03].Nature, http://www.nature.com/news/specials/big data/index.html/

[3] Special Online Collection.Dealing with data[DB/OL].[2011-02-11].Science, http://www.sciencemag.org/site/special/data/

[4] Manyika J,Chui M,Brown J,etc.Big Data:The Next Frontier for Innovation,Competition and Productivity[R].McKinsey Global Institute,2011.

[5] Laney,Douglas.“The Importance of ‘Big Data’:A Definition”[R].Gartner.Retrieved,2012.

[6] 李建中,李显敏.大数据的一个重要方面:数据可用性[J].计算机研究与发展,2013,50(6):1147-1162.

[7] Hadoop[EB/OL].[2012-10-02].Http://hadoop.apache.org.index.html

[8] 何军.大数据对企业管理决策影响分析[J].科技进步与对策,2014,31(4):65-68.

Large Data Analysis and the Challenge and Opportunity to

Enterprise Management

LIU Wei1，CHEN Ying1，GAO Jia-feng2

(1:SchoolofManegement,JilinJianzhuUniversity,Changchun,China130118;

2:JilinYataiRealEstateDevelopmentCo.,Ltd.,Changchun,China130022)

Abstract：Big data is an important technological change caused by mobile Internet,cloud computing technology,which affect every aspect of the enterprise,government and society,set off the climax of research and application in academic and enterprise level.This paper introduces the basic process of data analysis,from the three aspects of the validity of data,analysis and display are described.And analyzed combined with the present situation of enterprise application,summarizes may bring to the company’s opportunities and challenges.

Keywords:large data；data analysis；enterprise management；management decision

作者简介：刘薇(1970~),女,吉林省白山市人,教授，硕士.

收稿日期：2014-11-05.

中图分类号：F 272

文献标志码：A

文章编号：2095-8919(2015)03-0089-04