基于云计算的数据挖掘云服务模式研究

许晓燕

摘要：随着信息技术的不断发展，互联网、云计算、物联网等技术被广泛地应用到人们日常生活和工作中，推动了社会经济的进一步发展。而在大数据的背景下，如何提升数据挖掘和分析的能力，在大数据中获取高价值的信息数据资源，也就成为社会进一步发展面临的主要问题。因此，本文主要阐述了大数据与云服务的基本概念，并分析了云计算背景下数据挖掘云服务现状，针对性地提出了改进措施，对推动数据挖掘云服务水平起到了借鉴和参考作用。

关键词：云计算；数据挖掘；云服务

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）19-0016-02

现如今，互联网已经成为人们工作和生活中不可或缺的重要工具，有效地提升了人类社会信息流通水平，但在同时也使得互联网中信息数据呈现出爆炸式的发展态势。而为了更好地发挥出大数据的作用，专家学者们从不同的角度对其进行了深入的研究，不断完善和优化数据挖掘技术，使得人们对于大数据的挖掘和分析能力有了跨越式提升。但在大数据以惊人速度发展的过程中，传统的数据挖掘技术已经呈现出落后趋势，主要体现在其功能性相对落后，难以满足人们对于大数据的多元化需求，并且其中的算法难以进行扩展，数据挖掘的数据量具有一定的限制，难以处理海量信息数据。而云计算具有可扩展性强的特点，能够有效解决传统数据挖掘技术存在的种种问题，基于云计算的数据挖掘云服务将会成为解决大数据高速发展问题的关键手段之一。

1 大数据及云服务的概述

1.1 大数据

大数据是指不能在一定时间范围内被传统软件工具捕获、管理和处理的数据集合。它是一个巨大的、高增长率和多样化的信息资产，要求新的处理模式具有更强的决策能力、洞察力和发现过程和流程优化能力。大数据主要有以下几方面特点：

首先，大数据所涵盖的数据量极其丰富，并且涉及多个领域内。在互联网高度发展的过程中，大数据的单位早已从过去的TB转变为了PB。

其次，大数据的来源渠道丰富，并且类型多样，主要有文本信息、网络页面、调查数据等。

再次，大數据中充斥着大量重复、错误的冗杂信息，而有价值的信息数据相对较少。例如在一段监控录像中，真正有价值的大多只有短短的几秒钟。

最后，大数据对于信息数据处理效率的要求更高，而想要提升数据挖掘与分析的能力，必然需要具有高性能的计算机支持。

1.2 云计算

云计算是一种基于Internet的增加、使用和交付相关服务的模式。它通常涉及动态扩展的资源，并且经常通过因特网进行虚拟化。目前对于云计算概念仍然没有统一的标准，最常规的一种说法认为，云计算是按照用户所享受云计算平台服务量来收费的模式，在云计算中，用户可以通过互联网访问设备，利用云计算强大的数据分析和处理能力，并且所需要投入的工作较少，仅需要与云计算服务的供应商进行交互即可。目前，云计算可以提供每秒10万亿次的计算服务，这种服务能力可以模拟未来一段时间的气象变化、复杂市场的发展趋势甚至是核爆炸等。

2 基于云计算的数据挖掘云服务研究

2.1 数据挖掘云服务的优越性

对于海量数据的挖掘与分析，采用的最主要方法是将计算移向数据。针对这一问题，基于云计算的数据挖掘云服务主要采取的方法，是利用云计算分布式的计算机系统，组成多个数据存储和分析模块。而海量数据则被分别存储在不同模块之中，各个模块仅需要对相对少量的数据进行分析即可，若干个数据存储模块同时进行数据分析，能够有效提升海量数据挖掘与分析的效率，体现出云计算的动态性和高度伸缩性的特点。此外，利用云计算技术开展数据挖掘，所消耗的成本相对较低，只需要有能够接入互联网的手机或计算机，并支付一定的服务费用即可，能够有效地降低数据挖掘的成本。而从性能的角度来说，基于云计算的数据挖掘云服务具有以下几种优点：

首先，在大数据环境下，信息的爆炸式增长速度远高于数据挖掘和处理的速度，想要充分的利用大数据资源进行挖掘和分析，必然需要良好的开发环境。而基于云计算的数据挖掘云服务可以构造若干个并联的数据处理模块，从而形成数据存储、挖掘和分析环境，有效解决上述问题。

其次，使用云计算的成本低于数据挖掘技术的成本，并且其效率和挖掘能力更强，不需要投入大量资金建设先进的计算机，对于企业和个人而言都是更好的选择。

最后，基于云计算的数据挖掘云服务没有采用底层数据，有效过滤掉了大量低价值的冗杂信息数据，同时相比传统的数据挖掘技术，基于云计算的数据挖掘云服务的数据处理效率更高，并且具有高容错的特点，能够更好地进行数据挖掘与分析。

2.2 数据挖掘云服务建设的难点

数据挖掘云服务建设的难点主要体现在以下几个方面：

第一，可扩展性问题。在大数据的存储与分析中，为了保证数据分析结果的可靠性，需要数据挖掘云服务具有可拓展性。同时，在大数据环境下，信息数据的安全性受到了一定的威胁，需要建立信息数据安全保障机制，避免数据的泄露。除此之外，为了满足用户的多元化需求，数据挖掘云服务需要利用其可拓展性进行相应的调整，这也就使得数据挖掘云服务建设中，可扩展性成为最主要的问题之一。

第二，数据处理能力问题。大数据中数据的规模庞大，并且具有高度的复杂性，有一定的概率会出现云计算所无法解决的复杂现象。为了保证数据处理云服务的数据处理能力，云计算的软硬件标准都需要进一步提升，同时不断的优化数据处理的算法，保证数据处理能力的进一步提升。

第三，数据挖掘能力问题。大数据中存在大量冗杂和低价值信息数据，而真正有价值的信息数据较少，为数据挖掘云服务的数据挖掘工作带来了极大的困扰。如何解决大数据冗杂信息问题，提升数据挖掘云服务的数据挖掘能力，优化数据挖掘算法，是数据挖掘云服务面临的重要问题。

2.3 数据挖掘云服务建设存在的问题

基于云计算的数据挖掘云服务，具有传统数据挖掘技术所无法媲美的强大能力。但在数据挖掘云服务建设中，依然存在着多种问题。首先，基于云计算的数据挖掘云服务核心目标在于通过海量的信息资源，选择用户所需求的部分，为用户提供决策参考和满意的信息。这也就导致了用户对于数据挖掘技术的需求方向产生了重要的转变，更具有个性化和多样化的特点。其次，数据挖掘云服务需要处理大量复杂、高维、动态的信息数据，对数据挖掘云服务能力提出了新的要求。

从本质上而言，数据挖掘技术就是从海量不确定的数据中，针对个人的需求挑选出确定的信息，其最主要的任务，也是工作的难点，就是如何通过数据挖掘技术解决大数据所产生的不确定问题。而数据挖掘云服务对于不确定问题的应对能力相对较差，主要体现在数据挖掘任务不清晰和挖掘方法不确定上。此外，对于数据挖掘结果也缺乏系统的评价，不利于数据挖掘水平的进一步提升。

3 基于云计算的数据挖掘云服务模式

3.1 数据挖掘云服务的基本框架

一般而言，数据挖掘云服务的基本框架可以分为两个部分。第一部分为云计算基础平台，云计算服务的供应商建设硬件资源、网络资源和计算资源，通过虚拟化技术实现计算资源的自主分配调度，并提供给服务对象和服务提供者自身的服务。双方建立合作关系后，通过云基础环境，进入第二部分。在第二部分中，主要体现出了数据挖掘云服务用户的基本需求，基本需求主要分为两个主体。从云用户数据挖掘需求的角度而言，主要通过聚類分析、关联分析、分类、时序模式、偏差分析、估计与预测等方式，得到用户数据挖掘结果的要求，再利用服务结果可视化技术，将所得的范本进行展示并实现、从Web数据挖掘云服务提供商的角度而言，主要是通过数据挖掘算法的基本步骤，单独地进行数据挖掘服务，再通过分布式数据挖掘技术，完成数据挖掘的应用服务。一般而言，需要经过任务描述、数据采集、对象分析、数据预处理、数据挖掘和数据挖掘结果评价等几个步骤。

3.2 数据挖掘云服务的用户需求

在数据挖掘云服务中，用户根据自身的需求，与云计算服务的供应商进行交流，而供应商则根据用户的需求提供数据挖掘云服务，并收取一定的服务费用，是数据挖掘云服务运行的一般流程。在这一过程中，云计算服务的供应商首先需要优化数据挖掘和分析算法，并针对用户的特殊需求，对所提供的数据进行储存和分析。一般而言，数据挖掘云服务的算法共有四层。其中，最底层为基本步骤层，其主要运用数据挖掘算法对大数据进行初步的过滤和筛选工作，能够剔除大部分无关的冗杂数据。第二层为数据挖掘层，主要是通过聚类分析算法、关联规则算法、分类算法等对数据进行过滤、分类和处理。第三层为分布分析层，主要是通过分布式计算节点，对上一层所提供的信息数据进行数据挖掘，最后一层为知识发现层，用于整合各个分布式节点所得出的信息数据，并整理提供给用户，完成数据挖掘云服务工作。在这一过程中，供应商需要不断优化数据处理算法，从而更适应动态发展的大数据技术。

4 结语

在大数据高速发展的背景下，传统的数据挖掘技术已经呈现出落后的态势，存在的问题愈发突出，对数据挖掘技术的进一步发展产生了消极影响。而基于云计算技术的数据挖掘云服务，能够有效解决传统数据挖掘技术存在的问题，因此成为数据挖掘技术发展的主要方向。在大数据挖掘分析中应用云计算技术，其信息处理能力有了显著提升，并且成本相对较低，能够处理大量信息数据，但由于用户具有多元化的需求，开展数据挖掘云服务的建设还有较大的困难。基于云计算的数据挖掘云服务框架主要分为两个部分，分别是云计算基础平台和数据挖掘云服务用户基本需求，需要构造完整的数据挖掘云服务体系结构，再根据用户的个性化和多元化需求，灵活地对自身算法进行调整，从而达到提升数据挖掘云服务水平的目的。

参考文献：

[1] 沈永梅，王晖.一种基于Hadoop的大数据挖掘云服务及应用研究[J].数字技术与应用，2016（06）：81.

[2] 何清，敖翔，庄福振，等.一种基于Hadoop的大数据挖掘云服务及应用[J].信息通信技术，2015，9（6）：42-49.

[3] 张瑶，刘辉.基于云计算的数据挖掘平台架构及其关键技术探讨[J].电子技术与软件工程，2015（5）：218.