基于云计算的大数据挖掘内涵及对策研究

杨晓丹

摘 要：随着中国信息技术的快速发展，出现了一种由互联网为基础的业务模式，叫做云计算。云计算业务发展的关键在于互联网发展水平和网络质量，本文将从云计算入手，具体剖析大数据挖掘的内涵及大数据挖掘构建体系，研究大数据挖掘基于传统数据挖掘的对策。

关键词：云计算；大数据挖掘；内涵；对策

随着信息技术的迅速发展，互联网、物联网、云计算渗入到人们的生活中来，海量信息铺天盖地而来，推动着大数据的高速发展，迎来了大数据时代。目前，大数据已经成为一种重要的生产要素，基于云计算技术，数据拥有丰富的资源信息及巨大的储存量，大数据面临着机遇和挑战。这个时候，大数据挖掘的出现给大数据面临的挑战带来了希望，即利用大数据挖掘来应对挑战[1]。但是，大数据的构建没有完善，仍然无法满足客户的需求，在寻求解决措施的过程中，障碍重重。需要对大数据挖掘进行详细地分析，探讨出相应的对策。本文将从大数据挖掘的内涵入手，剖析出基于云计算的大数据挖掘对策，帮助大数据挖掘直面挑战，推动大数据更好更快地发展，满足客户的需求服务。

一、大数据挖掘的内涵

大数据挖掘实际上是从类型丰富、动态更新、高密度、价值低的大数据中替客户挖掘出一些有价值的、潜在的信息，满足客户的需求，服务于客户。大数据挖掘的真正目的就是挖掘出有价值的信息。笔者将从大数据的发展背景及现状、处理对象、挖掘程度来剖析大数据挖掘的内涵，对大数据挖掘进一步了解、认识。

（一）大数据的发展背景及现状

目前是科学技术飞速发展的时代，网络信息技术遍布世界各地，使人们越来越离不开网络。但面对铺天盖地的信息，人们要怎样有高效率地获取有用的信息进行学习、工作、生活呢？这是大数据时代急需解决的重大问题。大数据挖掘具备大体积量、复杂多变的特征，其处理分析能力较传统数据挖掘有着很大的差别，大数据现在已经能够独立发展甚至拥有更加广阔的发展空间。在互联网、云计算及移动智能终端的帮助下能够更好地进行数据挖掘和发展。如今，虽然大数据挖掘在应用成熟度上明显优于传统的数据挖掘，但对于大数据挖掘的研究仍处于不断改进完善的过程中，大数据挖掘仍然需要借助云计算的帮助及其他相关的技术来实现成熟应用。

（二）大数据的处理对象

大数据挖掘的成长背景与传统的大数据挖掘成长背景截然不同，因此，其处理对象也是不同的。大数据挖掘的范围十分广泛，除了需要对管理信息系统和Web信息系统的数据进行处理外，还要对一些类似于感知信息系统的传感设备信息进行处理探究。大数据挖掘充分地体现了其数据来源范围广泛、储存量大、类型丰富多样等特点[2]。正式因为如此，大数据挖掘对信息的采集才会更加自由，没有局限性，数据收集范围十分广泛，处理时效快，但同时大数据挖掘的数据精确度不是很高。

（三）大数据的挖掘程度

大数据凭借着自己数据来源范围广泛、获取信息速度快、能够依靠云计算平台的优势来实现大数据挖掘。面对多种渠道的海量信息，以及多种多样的类型和模式多样化的数据，大数据挖掘可以利用云计算技术来实现数据挖掘处理，能够将混乱的数据借助云计算形成多种多样的计算模式和计算方法，形成多维度分析，使信息采集更加全面、有价值[3]。有了元计算技术的帮助，大数据挖掘可以凭借云平台挖掘更多有价值的信息和知识，同时，大数据还可以与一些相关技术进行技术融合或者相互合作学习，促进大数据挖掘进一步发展。

二、基于云计算的大数据挖掘对策

（一）建立健全的挖掘体系结构

大数据挖掘的过程中，数据挖掘流程十分重要。大数据挖掘着重分为三个层次：支撑平台层、功能层、服务层[4]。支撑平台层包括对大数据的融合以及预处理，计算资源及存储资源。其中计算资源包括分布式、流式、内存、迭代、图并行计算；存储资源包括分布式文件系统、分布式数据库、传统数据库等。功能层便是根据客户的实际需求与偏好来人性化挖掘，包括查询语言、分析工具、搜索推荐引擎、挖掘工具、智能工具，这些都是凭借云平台的帮助来进行计算统计的，具备很强的可伸缩性以及可扩展性。服务层是一个与客户相互认知的过程，包括人机交互技术、数据源技术、可视化工具等[5]。

综上所述，大数据挖掘体系结构需要系统化，层层关系紧密联系在一起，将支撑平台层、功能层、服务层相互交融、相互渗透，充分发挥各层、各个功能、各项技术的作用，形成一个巨大的计算体系结构，实时挖掘出更多更有价值的信息，以最优的数据资源服务于客户，带动大数据挖掘更快更好地发展。

（二）云平台联合挖掘体系使用

在这个信息发展迅速的时代，传统的数据挖掘已经远远不能满足客户的需求。为了能够提高大数据挖掘的存储量，提升大数据挖掘对信息处理的处理能力，云计算充分发挥了自身扩展性、弹性大、虚拟化的优势，给予大数据挖掘十分强大的动力[6]。分布式文件存储、分布式数据库存储便是云技术的核心技术。分布式数据库系统包括事务性、分析型两种数据库，事务性数据库包括NOSQL系统和NEWSQL系统，具体来说就是键值系统、文件存储系统、图数据库、基于内存的数据库[7]；分析型数据库主要是基于MapRedue、Hadoop的数据库。这些都能为海量的数据提供足够的存储空间，科学合理的计算模式，降低计算的难度和复杂性，提升数据处理效率。现在，大部分知名的企业都将云计算作为支撑动力，开发出一系列的大数据挖掘解决对策，如Google、微软、IBM.、Pig、Hive等。因此，云計算的利用对大数据挖掘有着重要的意义，应充分利用云计算的优势联合健全的挖掘体系，实现二者相互交融，相互借鉴，探究出更多高效的大数据挖掘解决对策。

（三）实行大数据预处理

实行大数据预处理主要是将MapReduce作为原始的预处理技术中，灵活运用类似于Flume、Sqoop的流式计算技术及一些数据处理技术，实现数据的转移，从而提升预处理过程中一系列功能，包括并行、迭代计算等。以MapReduce作为支撑，可以实现高效的大数据预处理，可以把历史数据与实时数据同步处理，但其中要提高对数据的完整性和精确度的重视，改善大数据处理数据不准确、不完整的缺点，提高可信度。endprint

（四）强化数据展示

最原始的数据挖掘展示大部分都是以文本、图标的形式来展示数据结果，如饼状图、散点图、柱状图、散点图、Cain Lift图、ROC图等。传统的数据挖掘局限性很多，如信息采集渠道不够、数据结果的展示不够直观，导致大部分顾客无法对其轻松理解[8]。而基于云计算的大数据挖掘的数据结果展示便截然不同，大数据挖掘的数据结果展示更加具备直观性、清晰明了的特点，客户能够很容易接受认可，也便于客户理解。大数据挖掘的数据结果展示方法多种多样，如可将数据做成动画的形式展现给客户，这样可以使客户的直观感受更加强烈；利用图像与声音的结合，给予客户听觉和视觉的享受，使其发现并领会动画中所表达的数据价值。此外，还可利用可视化仿真系统，构建三维图像，进行丰富多样的人机交互形式。可视化技术能够清晰地展示出一些社交网络关系图，对其有专门设计的图像展示，针对有知名度的对象进行明确的标识、详细地分类，群分社交成员，充分展现了事物的历史发展历程及空间变化等。

（五）扩大数据储存

数据存储实际上就是对静止数据的保留和反映。常用的数据储存介质有两种，一种是磁盘，另一种是磁带，但这些都有很大的局限性，一般无法满足客户的需求量。云储存的出现弥补了这一缺憾。云储存实际上就是云计算，云计算通过集群应用、网络操作等进行信息的储存运用，最后以云服务的形式展示给客户，这是一种十分新鲜且便捷的方案。客户可走到任何一个地点，不分时间差异，只要客户在一个有网络的环境当中，登录自己用户账号，都能方便客户读取云盘上的数据或者存储数据，有效地进行数据管理。云储存离不开网络，我们需要知道网络一般用云图来表示网络的结构，它是通过集群功能及分布式文件系统来将网络联合起来共同工作，并且运用一些APP软件、APP接口来实现客户通过用户账号登录进行数据储存使用的。

三、结语

在这个科技发达、信息高速流通的社会，人们利用大数据实现了人与人之间的紧密联系。大数据给人们的生活、工作、学习带来了巨大的改变和便利。人们在面对海量的、种类繁杂的信息难以决策时，大数据挖掘给予人们数据存储服务和访问服务，有效解决了人们对海量信息难以决策的问题。大数据挖掘出海量信息中的潜在价值，其数据来源范围十分广泛，扩展性、智能性强，而且对于信息采集还十分高效，云服务还展现了其强大的储存力量及其便捷性。尽管现在大数据挖掘的发展还十分可观，但是还面临着分享、隐私安全等问题，仍然需要努力研究探索出解决方案，完善大数据挖掘。

参考文献

[1]邓仲华，刘伟伟，陆颖隽.基于云计算的大数据挖掘内涵及解决方案研究[J].情报理论与实践，2015，（7）：103-108.

[2]朱静薇，李红艳.大数据时代下图书馆的挑战及其应对策略[J].现代情报，2013，（5）：9-13.

[3]郭群.基于云计算下大数据在医疗领域的应用研究[J].福建电脑，2016，（6）：131-132.

[4]王善勤，吴昌雨，陈业斌.大数据挖掘技术在高校专业内涵建设中的应用研究[J].佳木斯大学学报（自然科学版），2016，（5）：827-830.

[5]李祯.大数据时代高校图书馆信息资源建设对策研究[J].大学图书情报学刊，2017，（1）：36-40.

[6]侯錫林，李天柱，马佳，等.大数据环境下企业创新机会研究[J].科技进步与对策，2014， （24）：82-86.

[7]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报（工学版），2014，（6）：957-972.

[8]陈勇.一种基于云计算的大数据关联规律挖掘分析方法[J].无线电工程，2017，（3）：8-11.endprint