大数据崛起与数据挖掘刍议

赵倩倩等

摘要：大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命，对商业管理模式、企业决策、组织流程和个人的生活方式等都将会产生巨大的影响。随着大数据概念的提出，为数据挖掘技术的应用和发展也带来了很大的机遇，数据挖掘技术将会进入一个新的发展时期。“数据爆炸、知识贫乏”是信息时代所面临的一个严峻问题，而数据挖掘就是解决该问题的十分有效的手段。要是说以往的世纪是信息大爆炸或知识大爆炸的世纪，那么如今的世纪则是数据大爆炸的世纪。面对如此巨大的数据量，数据挖掘就显得尤为重要。此文主要论述了大数据及数据挖掘的概念和特点、大数据对人类日常生活的影响以及数据挖掘在大数据时代的应用领域。

关键词：大数据；云计算；物联网；数据挖掘；数据大爆炸

中图分类号：TP399 文献标识码：A 文章编号：1009-3044（2014）33-7831-03

Abstract： Big Data is the second disruptive technology revolutionof IT industry after cloud computing and Internet of Things， it will have a huge impact on business management， business decisions， organizational and business processes and personal lifestyle and so on. As proposed of big datas concept， for application and development of data mining technology has also brought a great opportunities， data mining technology will enter a new development period. "Data explosion， lack of knowledge" is a serious problem in information age， and data mining is a very effective means of solving this problem. To say the past century is the information or knowledge explosion century， so today's century is the century of data explosion. Faced with such a huge amount of data， data mining is particularly important. This article discusses the concepts and characteristics of big data and data mining ， the impact of big data on human life and big data era data mining's applications.

Key words：big data； cloud computing； Internet of Things； data mining； data explosion

1 概述

1.1 大数据崛起

大数据如浪潮般席卷着全世界，冲刷着地球的各个角落。从政府到商业科技、教育、医疗、经济、人文还有社会的其他各个领域都无时不能看到大数据的影子，图1（来自《佛诺：执掌大数据 把握信息时代脉搏》）所述就是大数据在各个行业的应用。大数据是指数据量特别大、数据类别特别复杂的数据集，这些数据集无法用传统的数据库进行存储，管理和处理。维克托·迈尔·舍恩伯格和肯尼斯·库克耶在《大数据时代》中告诉我们大数据的4V特点，即Volume（大量）、Velocity（高速）、 Variety（多样）、Veracity（真实）[1]。

数据量已达到了人类无法想像的程度这是大数据时代的一个最显著的特征，据有关数据统计，近两年内人类所产生的数据占有史以来全部数据的百分之九十以上，从图2（选自《大数据时代，我们还有隐私吗？》）可以显而易见的看出大数据在近两年内的增长是巨大的。由此图表和相关报道可见，大数据时代是真的来临了，大数据时代的特征不仅仅在数据量极为巨大这方面上，而且包含着信息量也非常巨大这一特征。表面上看也就是大量复杂的数据而已，这些数据本身的价值并不高，但对这些复杂的数据进行分析处理后，却能从中提炼出很有价值的信息。对大数据的分析，主要分为五个方面：可视化分析（Analytic Visualization）、数据挖掘算法（Date Mining Algorithms）、预测性分析能力（Predictive Analytic Capabilities）、语义引擎（Semantic Engines）和数据质量管理（Data Quality Management）[2]。

数据挖掘本质上就是深层次的数据分析方法。纵观数据分析这么多年的历史，我们可以看到过去数据收集和分析的目的是科学研究，而且由于当时的计算能力有限，对大数据量进行分析的复杂数据分析方法受到了很大限制。而现在，各行业业务都实现了自动化处理，商业领域因此产生了大量的业务数据，收集这些数据的目的不再是为了分析，而是为纯商业的利益产生。分析这些大量的数据也不再是研究需要，更多的是为商业决策提供有利的信息。现今所有企业都面临的问题是：想要从巨大的企业数据量中提取出真正有价值的信息就像从矿石中淘金一样难，而数据挖掘也是因此而得名的。因此，数据挖掘的另一种定义是：按企业的业务目标对海量的企业数据探索和分析，揭示隐藏的、未知的或验证已知的规律性，进一步将其模型化成为先进有效的方法[5]。endprint

2 大数据与数据挖掘的关系

2.1 大数据时代的数据挖掘

大数据时代在近两年颠覆了人们过去的数据时代，它带来的数据革命给人们的生活带来巨大的影响，不仅如此，还将对企业的组织、决策、业务流程等产生相当大的影响。大数据时代，人和人之间的界限已经模糊到没有国界，甚至没有任何疆界。在这里值得一提的是，大数据时代中人类最宝贵的资产不是金钱、权利而是数据，数据会带领我们寻找正确的路，它才是我们21世纪最为宝贵的财富。但是这些“财富”却像一座藏宝之山一样被层层包裹着，这就需要人们用一把钥匙来开启这座藏宝之山，而这把钥匙就是—数据挖掘。

数据挖掘在企业中的应用通过对海量数据建模，对这些数据模型进行整理和分析，得出对企业有用的数据来帮助企业分析不同的客户或市场划分，从而得到消费者的喜好，然后投其所好找出企业正确是运营方式。这些大量的数据中可能隐藏着某种企业所需的规律性的东西，通过建模就可以利用模型自动从海量数据中找出这种关联性[6]。数据挖掘通常是会与统计分析中的一些方法联系起来应用，所以说想要掌握数据挖掘，统计分析也是必不可少要了解的。

2.2 大数据时代数据挖掘的意义

数据挖掘在大数据时代有着其他工作都无法替代的意义，人们透过对大数据的各种分析，可以对现有的企业决策提供强大数据支持的意见与建议。目前，几乎所有500强企业中的管理建议都是伴随着数据作为理论依据而提出的，即便是国内的中小企业在分析和解决问题时也开始倾向于用数据说话，不掌握大量数据是无法提出科学合理的建议的。此外，当大量的数据量积累到一块的时候，数据自己也会说话，对这些数据进行分析和处理之后，人们就可以从海量的数据中发现商机。我们日常中的海量交易数据中隐藏的都是客户的喜好甚至是市场未来的发展趋势，企业如果将这些数据提取出来进行挖掘分析会得到意想不到的结果，充分利用这些数据对于企业的生存发展有着极其重要的意义，所以说哪个企业更加了解市场，更加接近市场，它就将从竞争中脱颖而出。我国传统的数据管理思维方式关注的仅仅是静态程序预先提供给企业的固定内置功能，而这些预置的功能带给企业的帮助是十分有限的，企业必须依靠海量数据的分析来更好地为客户服务，更好地占领差异化市场，更好地完善企业内部的各项工作。

2.3 大数据时代数据挖掘的应用领域

医学领域：在医学领域，2003年算是大数据涌现过程中的一个里程碑。那一年第一例人类基因组完成了测序。在那次突破性的进展之后，数以千计人类、灵长类、老鼠和细菌的基因组扩充着人们所掌握的数据。每个基因组上有几十亿个“字母”，计算时出现纰漏的危险催生了生物信息学。这一学科借助软件、硬件和复杂算法之力，支撑着新的科学类型[7]。

教育领域：在教学管理过程中，如何全面掌握学生的学习状况、选课情况、心理状况、教学评价以及教学资源的最优化配置等信息，都可以使用数据挖掘技术来解决[8]。

科学研究：除了医学和教育业，数据挖掘在科研领域也正风起云涌。越来越多的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的分析能力。在石油勘探、气象学和天文学等领域，数据量的井喷式增长对更高层次的分析和洞察提供了支持，甚至提出了要求[8]。

3 总结

在大数据时代，数据挖掘是最关键的工作。现下关于大数据和数据挖掘的讨论之所以发生是因为我们正处于惊天动地的变革当中，而且我们正以前所未有的方式感知它。数据挖掘的研究如日中天，目前，国内外很多公司、大学和研究机构都非常看好数据挖掘的发展前景，因为数据挖掘是通过预测未来趋势及行为，做出前摄的、基于知识的决策。伴随着大数据的数据管理，检索技术研究的进步，数据挖掘技术将迎来巨大的发展机遇，数据挖掘技术的应用也将更加广泛，数据挖掘的工具也将更加强大。

参考文献：

[1] 毕雯婧. 浅谈有关大数据时代的数据挖掘[J]. 消费电子，2014，21（8）：163-163.

[2] Fayyad U M.Piatetsky-Shapiro G， Smyth P， et al. Advances in knowledge discovery and data mining[J].1996（16）：82-86.

[3] 黄海峰.大数据时代以数据挖掘带给运营商新价值[J].通信世界，2012（27）：43-45.

[4] 糜元根.数据挖掘方法的评述[J]. 南京化工大学学报，2001，23（5）：105-110.

[5] 韩英.浅析大数据时代的数据挖掘与精细管理[J].成都航空职业技术学院学报：综合版，2013， 10（4）：63-64.

[6] 曹莉.刍议大数据时代的数据挖掘与精细管理[J]. 经营管理者，2013，8（12）：191-192.

[7] John， Partick， Pullen. 大数据崛起[J].创业邦，2013，5（2）：47-48.

[8] 李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报，2014，30（151）：45-47.endprint

2 大数据与数据挖掘的关系

2.1 大数据时代的数据挖掘

大数据时代在近两年颠覆了人们过去的数据时代，它带来的数据革命给人们的生活带来巨大的影响，不仅如此，还将对企业的组织、决策、业务流程等产生相当大的影响。大数据时代，人和人之间的界限已经模糊到没有国界，甚至没有任何疆界。在这里值得一提的是，大数据时代中人类最宝贵的资产不是金钱、权利而是数据，数据会带领我们寻找正确的路，它才是我们21世纪最为宝贵的财富。但是这些“财富”却像一座藏宝之山一样被层层包裹着，这就需要人们用一把钥匙来开启这座藏宝之山，而这把钥匙就是—数据挖掘。

数据挖掘在企业中的应用通过对海量数据建模，对这些数据模型进行整理和分析，得出对企业有用的数据来帮助企业分析不同的客户或市场划分，从而得到消费者的喜好，然后投其所好找出企业正确是运营方式。这些大量的数据中可能隐藏着某种企业所需的规律性的东西，通过建模就可以利用模型自动从海量数据中找出这种关联性[6]。数据挖掘通常是会与统计分析中的一些方法联系起来应用，所以说想要掌握数据挖掘，统计分析也是必不可少要了解的。

2.2 大数据时代数据挖掘的意义

数据挖掘在大数据时代有着其他工作都无法替代的意义，人们透过对大数据的各种分析，可以对现有的企业决策提供强大数据支持的意见与建议。目前，几乎所有500强企业中的管理建议都是伴随着数据作为理论依据而提出的，即便是国内的中小企业在分析和解决问题时也开始倾向于用数据说话，不掌握大量数据是无法提出科学合理的建议的。此外，当大量的数据量积累到一块的时候，数据自己也会说话，对这些数据进行分析和处理之后，人们就可以从海量的数据中发现商机。我们日常中的海量交易数据中隐藏的都是客户的喜好甚至是市场未来的发展趋势，企业如果将这些数据提取出来进行挖掘分析会得到意想不到的结果，充分利用这些数据对于企业的生存发展有着极其重要的意义，所以说哪个企业更加了解市场，更加接近市场，它就将从竞争中脱颖而出。我国传统的数据管理思维方式关注的仅仅是静态程序预先提供给企业的固定内置功能，而这些预置的功能带给企业的帮助是十分有限的，企业必须依靠海量数据的分析来更好地为客户服务，更好地占领差异化市场，更好地完善企业内部的各项工作。

2.3 大数据时代数据挖掘的应用领域

医学领域：在医学领域，2003年算是大数据涌现过程中的一个里程碑。那一年第一例人类基因组完成了测序。在那次突破性的进展之后，数以千计人类、灵长类、老鼠和细菌的基因组扩充着人们所掌握的数据。每个基因组上有几十亿个“字母”，计算时出现纰漏的危险催生了生物信息学。这一学科借助软件、硬件和复杂算法之力，支撑着新的科学类型[7]。

教育领域：在教学管理过程中，如何全面掌握学生的学习状况、选课情况、心理状况、教学评价以及教学资源的最优化配置等信息，都可以使用数据挖掘技术来解决[8]。

科学研究：除了医学和教育业，数据挖掘在科研领域也正风起云涌。越来越多的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的分析能力。在石油勘探、气象学和天文学等领域，数据量的井喷式增长对更高层次的分析和洞察提供了支持，甚至提出了要求[8]。

3 总结

在大数据时代，数据挖掘是最关键的工作。现下关于大数据和数据挖掘的讨论之所以发生是因为我们正处于惊天动地的变革当中，而且我们正以前所未有的方式感知它。数据挖掘的研究如日中天，目前，国内外很多公司、大学和研究机构都非常看好数据挖掘的发展前景，因为数据挖掘是通过预测未来趋势及行为，做出前摄的、基于知识的决策。伴随着大数据的数据管理，检索技术研究的进步，数据挖掘技术将迎来巨大的发展机遇，数据挖掘技术的应用也将更加广泛，数据挖掘的工具也将更加强大。

参考文献：

[1] 毕雯婧. 浅谈有关大数据时代的数据挖掘[J]. 消费电子，2014，21（8）：163-163.

[2] Fayyad U M.Piatetsky-Shapiro G， Smyth P， et al. Advances in knowledge discovery and data mining[J].1996（16）：82-86.

[3] 黄海峰.大数据时代以数据挖掘带给运营商新价值[J].通信世界，2012（27）：43-45.

[4] 糜元根.数据挖掘方法的评述[J]. 南京化工大学学报，2001，23（5）：105-110.

[5] 韩英.浅析大数据时代的数据挖掘与精细管理[J].成都航空职业技术学院学报：综合版，2013， 10（4）：63-64.

[6] 曹莉.刍议大数据时代的数据挖掘与精细管理[J]. 经营管理者，2013，8（12）：191-192.

[7] John， Partick， Pullen. 大数据崛起[J].创业邦，2013，5（2）：47-48.

[8] 李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报，2014，30（151）：45-47.endprint

2 大数据与数据挖掘的关系

2.1 大数据时代的数据挖掘

大数据时代在近两年颠覆了人们过去的数据时代，它带来的数据革命给人们的生活带来巨大的影响，不仅如此，还将对企业的组织、决策、业务流程等产生相当大的影响。大数据时代，人和人之间的界限已经模糊到没有国界，甚至没有任何疆界。在这里值得一提的是，大数据时代中人类最宝贵的资产不是金钱、权利而是数据，数据会带领我们寻找正确的路，它才是我们21世纪最为宝贵的财富。但是这些“财富”却像一座藏宝之山一样被层层包裹着，这就需要人们用一把钥匙来开启这座藏宝之山，而这把钥匙就是—数据挖掘。

数据挖掘在企业中的应用通过对海量数据建模，对这些数据模型进行整理和分析，得出对企业有用的数据来帮助企业分析不同的客户或市场划分，从而得到消费者的喜好，然后投其所好找出企业正确是运营方式。这些大量的数据中可能隐藏着某种企业所需的规律性的东西，通过建模就可以利用模型自动从海量数据中找出这种关联性[6]。数据挖掘通常是会与统计分析中的一些方法联系起来应用，所以说想要掌握数据挖掘，统计分析也是必不可少要了解的。

2.2 大数据时代数据挖掘的意义

数据挖掘在大数据时代有着其他工作都无法替代的意义，人们透过对大数据的各种分析，可以对现有的企业决策提供强大数据支持的意见与建议。目前，几乎所有500强企业中的管理建议都是伴随着数据作为理论依据而提出的，即便是国内的中小企业在分析和解决问题时也开始倾向于用数据说话，不掌握大量数据是无法提出科学合理的建议的。此外，当大量的数据量积累到一块的时候，数据自己也会说话，对这些数据进行分析和处理之后，人们就可以从海量的数据中发现商机。我们日常中的海量交易数据中隐藏的都是客户的喜好甚至是市场未来的发展趋势，企业如果将这些数据提取出来进行挖掘分析会得到意想不到的结果，充分利用这些数据对于企业的生存发展有着极其重要的意义，所以说哪个企业更加了解市场，更加接近市场，它就将从竞争中脱颖而出。我国传统的数据管理思维方式关注的仅仅是静态程序预先提供给企业的固定内置功能，而这些预置的功能带给企业的帮助是十分有限的，企业必须依靠海量数据的分析来更好地为客户服务，更好地占领差异化市场，更好地完善企业内部的各项工作。

2.3 大数据时代数据挖掘的应用领域

医学领域：在医学领域，2003年算是大数据涌现过程中的一个里程碑。那一年第一例人类基因组完成了测序。在那次突破性的进展之后，数以千计人类、灵长类、老鼠和细菌的基因组扩充着人们所掌握的数据。每个基因组上有几十亿个“字母”，计算时出现纰漏的危险催生了生物信息学。这一学科借助软件、硬件和复杂算法之力，支撑着新的科学类型[7]。

教育领域：在教学管理过程中，如何全面掌握学生的学习状况、选课情况、心理状况、教学评价以及教学资源的最优化配置等信息，都可以使用数据挖掘技术来解决[8]。

科学研究：除了医学和教育业，数据挖掘在科研领域也正风起云涌。越来越多的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的分析能力。在石油勘探、气象学和天文学等领域，数据量的井喷式增长对更高层次的分析和洞察提供了支持，甚至提出了要求[8]。

3 总结

在大数据时代，数据挖掘是最关键的工作。现下关于大数据和数据挖掘的讨论之所以发生是因为我们正处于惊天动地的变革当中，而且我们正以前所未有的方式感知它。数据挖掘的研究如日中天，目前，国内外很多公司、大学和研究机构都非常看好数据挖掘的发展前景，因为数据挖掘是通过预测未来趋势及行为，做出前摄的、基于知识的决策。伴随着大数据的数据管理，检索技术研究的进步，数据挖掘技术将迎来巨大的发展机遇，数据挖掘技术的应用也将更加广泛，数据挖掘的工具也将更加强大。

参考文献：

[1] 毕雯婧. 浅谈有关大数据时代的数据挖掘[J]. 消费电子，2014，21（8）：163-163.

[2] Fayyad U M.Piatetsky-Shapiro G， Smyth P， et al. Advances in knowledge discovery and data mining[J].1996（16）：82-86.

[3] 黄海峰.大数据时代以数据挖掘带给运营商新价值[J].通信世界，2012（27）：43-45.

[4] 糜元根.数据挖掘方法的评述[J]. 南京化工大学学报，2001，23（5）：105-110.

[5] 韩英.浅析大数据时代的数据挖掘与精细管理[J].成都航空职业技术学院学报：综合版，2013， 10（4）：63-64.

[6] 曹莉.刍议大数据时代的数据挖掘与精细管理[J]. 经营管理者，2013，8（12）：191-192.

[7] John， Partick， Pullen. 大数据崛起[J].创业邦，2013，5（2）：47-48.

[8] 李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报，2014，30（151）：45-47.endprint