云计算与物联网技术的数据挖掘分析

2021-04-04李长鹏程涛梁建国

电子测试 2021年13期

李长鹏，程涛，梁建国

（青岛港湾职业技术学院，山东青岛，266400）

1 物联网与云计算概述

1.1 物联网概述

物联网作为一种新兴的网络技术，其主要是以万亿节点作为表达对象，随后通过不同的传感器设备、网络服务器以及超级计算机集群来进行数据的处理与应用，并且包含了计算机技术以及通信技术等多个学科。物联网技术手段的应用，能够在结合物理对象的实际情况进行无缝信息系统的构建，实现对各业务流程的规划化与动态管理，保障业务流程的顺利开展，从而解决用户们的不同需求[1]。

1.2 云计算技术

云计算技术能够在结合互联网自治等性能基础上，强化用户的管理能力，随后结合制定需求进行海量数据的分析与计算。在云计算技术应用过程中，多采用的是分布式的计算平台，在海量数据内进行数据背后蕴含价值的挖掘工作，促进数据自身有效性进一步提升。通过分布式数据处理方法的应用，能够从分布式存储以及并行计算两部分入手，对于数据存储、计算以及容错等内容问题起到良好的解决效果，对于数据自身高性能以及安全性的提升也有着重要意义。

通过分布式并行计算系统框架可以实现对海量数据的背后价值进行有效挖掘，用户们在进行数据提取过程中，只需要关注任务的逻辑性，而不需要考虑到过多的技术细节，这样也能够促进数据的研发效率进一步提升，对于系统维护成本也能够获得良好的控制效果。在常见的分布式并行计算框架内，具体包含有MapReduce并行计算框架、Pregel迭代处理计算框架等等。

Hadoop平台作为分布式系统构成的基础性框架，其现阶段也能够为其他运算法提供良好的研发平台，通过Hadoop平台能够为云计算工作的开展提供良好基础，用户们通过该数据的应用，能够促进工作效率进一步提升。此外该软件的应用还能够为分布式程序的开发提供基础，在Hadoop平台中，主要是以集群方式，通过开源优势为使用者们进行强大的信息存储以及数据运算功能。因此通过分布式Hadoop平台的应用，可以为IT产业进行Linux系统的提供。而且Hadoop平台主要包含有HDFS以及MapReduce两部分构成，在良好的计算跟储存环境下，促进数据应用功能得以提升。

HDFS具备有容错率高以及伸缩性强的应用优势，能够满足用户们对Hadoop平台不同硬件系统中的具体要求，在此基础上构成分布式文件系统，对于文件使用质量的提升也有着重要意义。在MapReduce编程模式下，部分系统底层用户们能够实现对应用程序的不断研究跟开发，借助于相关数据信息实现对MapReduce系统的有效整合与完善，获得良好的数据处理与分析效果[2]。

2 数据挖掘技术概述

2.1 数据挖掘技术概述

一般情况下数据挖掘自身存在有一定的局限性，其发展与形成时间比较短，自上个世纪90年代发展以来，其应用范围也得到了进一步扩展，促进信息处理水平进一步提升，在生产生活等多个领域中也能够获得良好的应用效果。现阶段挖掘数据相关技术不仅属于科学研究区域，也是多元化的技术交叉领域，通过数据挖掘技术的应用，能够实现对海量数据的有效挖掘与分析，对于数据自身运行效能的发挥也有着重要意义。因此说数据挖掘技术在应用过程中包含有以下作用：一是在真实基础上进行数据的不断丰富与完善，在此基础上进行海量数据资源库的构建；二是通过对数据信息的挖掘跟汇集，可以实现对多行业服务的提供，为人们的生产生活提供便利性。

2.2 物联网数据挖掘技术应用中面临的挑战

物联网在运行过程中具备有一定的运营模式跟规律，但是在具体应用过程中还需要面临以下几点挑战：

（1）物联网技术缺乏有效的数据存储章法，杂乱无章，因此现阶段主要应用的是中央管理模式，对于分布式数据并没有良好的探知能力。

（2）数据存储规模比较大，可以对信息存在节点起到快速有效的处理效果，因此在结合了中央处理模式基础上，对于计算机硬件设备的质量跟性能也提出了更高的要求。但是目前在互联网技术应用中存在有基础设备不完善的情况下，促进数据信息挖掘有效性进一步提升[3]。

（3）随着大数据技术的到来，数据节点需求随之增加，可满足需求的节点也日渐减少，需求与供给之间矛盾随之增加。因此还需要对现有数据与挖掘技术进行不但优化与完善，及时采用新技术来对数据使用的实际问题进行明确。

（4）存在有较大的不稳定影响因素，还会受到数据安全性以及网络稳定性等多种因素的影响，对于物联网自身运行也会产生比较大的影响。

因此目前物联网数据挖掘技术在应用过程中还存在有一定的局限性，从而让物联网的数据应用效益得以充分发挥，让物联网自身的使用价值充分发挥出来。

3 基于云计算的数据挖掘关键技术

3.1 云计算数据挖掘技术

近年来随着社会经济的不断发展，数据的作用也变得越来越重要。各企业要想获得良好的行业竞争优势，也就需要积极挖掘数据的价值并加以利用，实现数据价值的最大化。随着云计算技术的不断发展，在数据挖掘跟处理中也获得了良好的应用效果，并且可以为数据资源价值的获取提供便捷的途径。通过云计算模式的应用，还可以实现各种数据的搜集、储存以及有效运算，对于数据背后的深层价值进行明确，促进自身的数据应用能力进一步提高。

3.1.1 数据汇集调度技术

借助于云计算平台的应用，能够实现对多种类型数据的汇集以及调度工作，从而实现数据信息的综合性管理与应用。通过数据汇集调度技术的应用，可以满足不同格式跟类型数据之间的有效交流以及连接，并且能够实现对多种数据的同步连接与处理。通过数据处理技术的应用，在设计问题解决方案时还能够保障支撑不同系统数据的生成格式，具体包含有联机事务处理系统形式数据、联机分析处理系统形式数据以及各种日志数据等等，这样才能够实现数据信息的深度挖掘与分析，对于数据自身作用发挥也有着积极意义[4]。

3.1.2 服务调度与服务管理技术

为了满足不同业务系统的实际服务需求，还需要在云计算平台应用过程中，需要具备有良好的服务调度以及管理功能。在服务调度功能中，需要在分析服务等级、资源匹配基础上，实现对优先级服务的调度工作。在该过程之中，还需要对不同服务间的隔离以及互斥情况起到良好的解决效果，促进云服务的安全运行空间得到进一步提升。在云计算平台的服务管理功能中，可以借助于服务注册、服务暴露等多种功能，给予用户们一体化的服务管理水平，促进云计算服务平台的服务能力得到进一步提升。借助于服务调度以及服务管理技术的应用，还能够实现第三方接入数据的有效挖掘，从而保障数据的挖掘功能得以充分发挥。

3.1.3 挖掘算法并行化技术

在云计算平台中还可以将挖掘算法并行化有效的基础能力技术，具体包含有可行化算法、并行化算法以及并行策略等多种技术水平。此外在数据挖掘算法应用过程中，其还包含有决策树算法以及关联规则算法等多种算法模式，能够帮助用户们实现对海量数据资源的充分挖掘以及利用。

3.2 云计算物联网数据挖掘技术

近年来我国网络技术得到了非常迅速的发展，通过云计算平台的应用，能够为服务平台的主要运行提供良好的联网数据平台。在该数据挖掘平台中可以在基于热点Hadoop基础上，实现对物联网技术运行过程中的数据分析，关键技术水平如下。

3.2.1 物联网感知层

通过在物联网感知层内构件大量的采集节点，还可以借助于摄像头、数据传感器等多种设备，完成物联网所需数据的有效采集跟传输工作，随后借助于物联网感知层获得良好的通信效果，通过无线传感网络促进工作效率得以提升。该过程中要进行网络汇聚节点数据的应用，在完成数据的汇总处理之后进行存储工作，将相关信息朝着云平台数据库进行传输[5]。

3.2.2 传输层

在传输层中需要应用到不同形式的数据感知网络形态，随后在数据网络中进行相关可靠信息的有效传输，对于数据自身高速性、灵活性的提升也有着非常重要的意义。通过传输层的应用，还可以实现对不同数据的有效处理，促进各种类型数据之间的连接效果。传输层的应用也能够实现对不同数据传输设备之间的有效监测，强化网络监测数据中的传输效果，对于数据挖掘技术水平的提升也有着重要意义。

3.2.3 数据层

数据层作为物联网运行平台中的重要组成部分，因为物联网数据自身还具备有海量性以及异构性的特征，在数据层运行过程中需要结合数据的具体特征进行运行方案的合理制定，促进数据存储的安全性以及可行性进一步提高。此外在数据层中包含的储存以及转化模块，还可以实现科学化的转化工作，对于数据自身应用效率的提升也有着积极作用。需要注意的是在进行数据转化过程中，要进一步提高数据自身采集水平，随后借助于相应的数据转换器来进行数据的多样化转化工作。

比如借助于物联网节点的应用，可以在结合了PML相关技术基础上进行建模工作，来让自身的数据存储以及传输能力进一步提高，促进建模质量得以提升，在互联网数据中还能够实现对位置数据以及物体属性两者的有效涵盖预处理，来实现对物品信息的科学化分析，对于物联网技术应用水平的提升也有着至关重要的意义。

3.2.4 数据挖掘服务层

在数据挖掘服务层是由多系列的模块构成，随后在结合了不同类型数据基础上，进行海量数据的有效挖掘。在结合数据挖掘引擎模块基础上，能够实现海量数据特征的区分以及演化，对各种数据之间的关联性进行明确，在此基础上也能够实现海量数据的偏差以及类似性分析工作。此外在数据挖掘过程中，还要积极引用引擎模块中的算法集来进行数据价值的明确。通过Hadoop平台也能够实现传统数据算法的优化跟完善，并且可以实现并行化算法的优化，获得良好的数据处理效果[6]。