云计算技术下数据挖掘平台设计及技术

黄国庆

摘要：在网络技术不断发展过程中，人们在海量的数据中如何提取有用的信息是现阶段计算机处理信息的研究重点。而通过云计算数据挖掘技术可以有效地实现数据的提取。在云计算技术之下的数据挖掘平台在理论上拓展了数据规约功能，可以解决数据访问以及数据类型的难题，此系统在实践中可以有效地提升数据提取的高效性，是一种具有可行性的技术手段。对此，文章主要对云计算技术之下数据挖掘平台的设计以及技术进行简单的探究分析。

关键词：云计算技术；数据挖掘平台设计；技术

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）19-0010-02

在信息技术高速发展过程中，各种信息数据充斥在人们的周围。这些信息数据具有数量庞大、异构以及复杂等特征，加强对这些数据的分析可以及时发现今后商业以及科研发展的趋势，具有一定的商业价值。通过数据挖掘技术的应用，在海量的数据中利用算法寻找隐藏的信息的过程，通过统计学知识、模式识别以及人工智能技术、建模技术以及算法知识的集合可以提升其精准性。在今后的发展中基于云计算技术之下的数据挖掘平台的应用范围会更加广泛，会在各个领域中有效应用，这对于社会经济的发展以及提升有着积极的作用。

1 云计算技术下数据挖掘平台设计需求分析

在现阶段的发展中，对于数据挖掘技术人们提出了分布式并行数据挖掘平台的基础框架，通过对集权、三层C/S以及Agent框架结构得不同类型的技术，这些框架整体结构相对较为复杂，且适应能力相对较差，在实践中只能针对单一的应用进行系统开发研究，其成本相对较高无法在实践中广泛应用。而云计算作为一种网络技术手段的有效升级，在实践中具有大规模、虚拟化以及可靠性、拓展性的特征，对于收集挖掘平台的设计与构建有着积极的作用。

对此，加强对云计算技术之下大数据挖掘平台的设计，可以充分地彰显其网络计算作用，可以在集成其固有系统的集成之上完善功能，也可以有效地满足中小企业以及科研的单位等中小型系统因为资金等因素影响无法系统研究的弊端与不足，在实践中应用云计算技术下数据挖掘平台效率也相对较高。

云计算技术下数据挖掘平台的总体可以分为数据准备以及数据挖掘两个阶段。其中数据挖掘平台在设计过程中，必须要基于数据特点合理的应用云计算机技术手段，通过对数据的过滤、转换等处理，可以提升系统设计的整体性能，进而满足系统设计的实际需求。在云计算技术下数据挖掘平台设计过程中，通过对海量数据信息的整合，通过数据挖掘技术手段，通过计费数据、业务订购信息以及网管理数据等方式可以了解其各种内在规律，进而为相关研究提供信息数据支持。而在云计算技术下数据挖掘平台设计中，将云计算技术与数据挖掘技术进行融合，通过分布式计算概念，对各种信息任务进行系统的挖掘在不同的計算机之上对其进行处理，可以有效地满足各种信息数据挖掘的实际需求。

2 云计算定义及架构

2.1 云计算定义

云计算就是一种计算平台，在此平台中可以通过服务器以及一些大规模的数据，利用动态的数据流动方式提供各种信息资料。云计算融合了分布式计算以及并行计算、网络计算三种计算，可以通过动态以及透明的方式为用户提供一些虚拟计算以及信息存储资源。云计算在实践中通过模拟计算可以满足客户的各种实际需求，也可以将这些资源合理地分配给不同的用户，其成本相对脚下，具有强大的存储能力，在实践中应用具有较为显著的效果。

2.2 基于云计算的数据挖掘系统架构

云计算框架的优点就是硬件资源相对较为简单，且消耗的成本也相对较低，不同模块之间通过互相配合，在项目研发过程中，可以直接利用系统资源进行研究分析。数据挖掘技术的应用与实现，可以通过算法研究分析，然后在云计算部署各种算法，进而实现其各项功能。其各个模块之间相互配

2.2.1 目标系统模型

目标系统模型在实践中可以为客户提供各种信息服务，通过在此系统上建立应用程序，提供具有开放性特征的接口。同时，在实践中用户可以通过终端进行应用，也可以利用间接调用相关应用程序的方式提供各种开放式的接口模式，在研究过程中必须要对其应用的算法种类以及数据处理方式进行分析，而计算机的存储能力以及系统自身的实现能力并不在其考量的范围之内。

2.2.2 功能层次框架设计

功能层次框架系统的层次架构主要应用一种自下之上的结构形式，其主要氛围异构数据集合以及数据规约工具、用户界面、开放接口以及云计算平台等相关模块，且其每一层都要向上层提供透明的服务。云计算中的应用程序接口主要就是通过底层的云计算平台提供。用户以及云计算的交互，主要就是在顶层的开放式接口中进行设计。而开放接口的功能可以为用户提供各种信息数据，获得数据集，也可以为用户提供各种算法，进而对其进行集成应用，实现平台的开行特征。

3 云计算技术下数据挖掘平台设计方案

3.1 系统总体设计

云计算技术下设计数据挖掘平台，主要应用的就是三层结构模式，通过数据预处理、云计算以及数据挖掘平台为主要的层次，提升平台性能，进而实现数据挖掘的功能，其主要的系统设计结构具体如下：

在进行数据挖掘系统结构的设计过程中，数据预处理层可以对分布式数据文件进行存储，进而实现对整个平台的分布式管理；而云计算层则可以对各个数据的挖掘步骤以及模块进行系统的调度以及总控，进而实现对原始数据的与处理，获得各种挖掘数据；数据挖掘平台在实践中可以有效应用，必须要综合实际需求合理设计。

3.2 系统功能设计

在云计算技术之下的数据挖掘平台其具有不同的数据挖掘作用，通过对数据收集模块、数据预处理模块以及模式跪着选择模块、应用接口模块共同构成。其中数据收集模块的主要功能就是对在平台服务器端口中的数据进行收集整理，对客户的各种信息材料进行梳理，通过文本方式对其进行收集，在返回这些信息数据。数据预处理模块就是通过与处理返回数据信息，对信息中一些没有用的相对较为冗余的信息数据进行剔除，进而提升数据挖掘系统的挖掘时间。而模式规则选取模块可以获得各个站点中通用的信息模式，这是一种学习模式。应用接口模块的主要功能就是实现数据以及数据挖掘平台的有效对接处理。

3.3 平台数据库设计

数据库设计在实践中充分的利用各种数据库特征，可以有效地减少数据的冗余性，将数据在一个地方进行集中的存储，利用主键以及外键可以生产动态的视图，进而为程序编写以及查询检索代码的编写提供便捷。在此平台上，Reduce可以接收不同模式的任务数据，在不同任务中传来的信息数据也是有序存在的。在此数据挖掘平台中，如果Reduce端数据量接收相对较小，则可以将其在内存中直接存储；如果数据量高于缓冲区的比例，则就可以将各种信息数据进行合并处理，在将其写到磁盘之中。

3.4 算法模块插件系统

算法模块包括了数据清洗算法方式、数据挖掘算法方式、结果可视化算法等不同的算法。在进行算法模块插件设计过程中其包括不同的部分，其具体内容如下：

第一，在云技术中的大数据计算都具有不规则且噪声严重的特征，对此在实践中要先利用数据集清洗算法对其进行处理，将这些原始数据变为规则的数据集；第二，通过数据挖掘算法对其获得规则数据进行集中处理进而获得其需求的信息。第三，利用可视化算法对目标信息进行传递，进而完成操作。在整个数据处理过程中数据的应用主要就是通过REST接口完成的。

第二，数据集访问模块。数据集访问模块在实践中设计与算法模块插件系统较为类似，都是通过插件对各种信息数据进行调用处理，在数据集的访问过程中，此访问模块文件中一些被检索的信息也可以被用户调用。但是，在数据集访问模块中系统会将数据文件进行分解，形成不同的元数据组着以及不同的物理访问地址，在将这些数据组合形成较为经典的结构参数，对其传递到数据机访问模块之中。

3.4数据挖掘平台算法实现

把数据挖掘技术与云计算进行有效融合，在无限规模的机器集群上对计算进行有效的扩展分析。基于Map/Reduce框架中，对每一次的请求进行计算分析，进行处理。在数据挖掘中，将具体的数据挖掘作业划分为不同的任务，在对其进行分配，在不同的机器上进行执行，在完成任务之后就可以进入到下一个数据挖掘步骤之中，将这些文件合并并且输出文件；在数据平台系统中可以将其生成不同的、若干个Reduce任务，在循环应用算法对其进行处理，就可以生成其需要的数据挖掘目标文件。通过此算法设计数据挖掘平台，可以有效地提升数据的灵活性，进而增强数据挖掘的效率与质量，加强对数据挖掘目标的设置，合理的构建挖掘目标模型，可以提升工作效率与质量。

4 结束语

在实践中，通过云计算技术之下的挖掘平台的设计可以有效地缓解传统数据挖掘平台中框架结构中存在的各种问题，可以避免传统数据结构的复杂性，适应能力差以及成本过高的问题。通过对云计算大数据挖掘平台的设计，利用数据规约功能可以有效地缓解数据异构问题，眱解决数据分析访问以及数据类型中存在的各种难题，在今后的发展中，基于云计算技术之下的数据挖掘平台会不断地规范，其应用范围势必会更加广阔。

参考文献：

[1] 包永红.云计算技术下数據挖掘平台设计及技术[J].现代电子技术，2016，39（16）：161-163.

[2] 丁岩，杨庆平，钱煜明.基于云计算的数据挖掘平台架构及其关键技术研究[J].中兴通讯技术，2013， 19（1）：53-56.

[3] 王小燕 基于云计算的大数据挖掘平台设计[J].电子设计工程，2017，25（13）：25-27.

[4] 石雷.云计算技术下的数据挖掘平台建构探讨[J].自动化与仪器仪表，2017（11）：159-160.

[5] 冯娜.计算环境下数据挖掘信息平台架构设计及实现[J].电脑编程技巧与维护，2017（18）：163-165.