云计算与物联网技术结合的数据挖掘分析

摘要：网络发达的现今社会，信息产业已经成为国民经济的支柱产业之一。云计算和物联网技术已成为推动人类文明迈向智能化方向发展的核心点，将云计算与物联网技术进行有效融合，能实现海量数据的有效挖掘，对于我国数据挖掘技术的优化与升级有不容小觑的重要意义。

关键词：云计算；物联网技术；数据挖掘

引言

信息技术发展速度的提升以及网络各种技术、标准的发展，促使第三次信息产业革命的到来，也就是物联网的出现。随着应用终端接入数量增多，物联网存储的数据不仅大规模增长，而且数据的格式和类型也变得错综复杂。同时，出现在物联网中的数据不断变化，这些数据中出现大量无用数据，而且部分数据在时间和空间的黏合度较高，具有动态分布和异构性，所以进行数据挖掘难度增大。云计算技术能够在非常短的时间内对海量数据进行处理，结合数据挖掘技术，利用算法，深挖有价值数据。通过云计算与物联网技术的有效契合，利用数据挖掘技术能有效提高信息数据的分析，保证网络数据的精准定位与安全存储。

1. 云计算与物联网的简要介绍

1.1 云计算

云计算不是实体化的资源，而是通过互联网的算法平台，将共享软、硬件上的信息和资源推送给用户。在数据处理过程中，云计算的分布式计算可以将庞大的计算进行拆分，并將拆分后的小分支依次分配到各个计算机上进行处理，最后整合计算结果，加强了数据的安全性，云计算中的并行计算能保证数据存储和计算的同时进行，在不胜枚举的数据群里对数据进行深层价值分析，促使数据有效，云计算的恰当使用，不仅优化数据，还能解决数据容错及存储问题[1]。

云计算受众很广，与其技术特点密不可分：第一，计算规模大。云计算技术需要使用的服务器数目众多，比如谷歌的云计算就有100多万台服务器，还有亚马逊、雅虎和微软有几十万台，私人企业最少几十台，最多上千台。第二，非实体化资源的使用。用户可以使用多种终端设备，突破地域限制连接数据中心得到自己的需求资源。数据并不存放在实体中，主要靠“云存储”，至于如何运行，用户不用关心。第三，稳固，适用范围大，扩展区域大。内容一样、同样结构的计算节点可以互相交换，在云的支撑下可以构造出千变万化的程序[2]。第四，按照需要提供服务，性价比高。用户可以按照自己的需求获得服务，就像在超市购物一样。

1.2 物联网技术

“物联网”提出的时间较早，但当时的科技发展水平和条件相对落后，所以并没有引起人们的注意。1999年，Auto-ID在射频识别技术以及互联网等基础上，首先提出“物联网”概念，同年，中国也提出了“传感网”。近年来，网络技术的成熟让物联网技术也得到了全面提升。此项技术是根据应用对象的实际情况进行数据建模，技术手段的使用能将物理对象的实际情况和信息系统的构建进行无缝对接，实现项目的规范化处理和监管，并将处理后的数据应用到不同领域，解决不同客户群体的实际需要。

物联网的核心是传感器之间相互连接组成传感器网络，以数据挖掘服务网络为基准，形成网络环境后，在各个节点进行传感器设置，让监测的内容包括温度、湿度、光照强度、辐射强度及移动速度等。数据挖掘服务网络在使用过程中配合，将获取的数据和信息通过无线网络传送给使用者，例如将无线监控摄像头安装于家庭，主人可以通过视频、音频传感器对家中的环境进行监控。传感器是物联网建设的基础[3]。

1.3 基于云计算的物联网特征

物联网可以应用于大量移动终端设备，起到实时监控作用。大量移动终端设备的接入，使数据骤增，数据的格式和种类也不再简单，如果仍然沿用过去的数据挖掘方法，对物联网应用需求会产生羁绊。为了解决存在的问题，需要使用更加科学的挖掘技术，而云计算中的并行计算优势可以突破重围，满足要求。物联网中的各类数据不止结构不同，不同时间及不同空间产生的动态数据也不同，这两种情况加大了数据挖掘难度。为了对数据有更加清晰的认识，需要花费较长的时间周期进行存储和管理，针对以上困境，将云计算技术应用于物联网，简化并降低了挖掘难度。通过云计算的分布式并行计算，可以让用户在海量数据中有效提取数据价值，而且不需要考虑技术细节，对控制系统维护成本有显著效果，其中包括MapReduce并行计算框架、迭代pregel等[4]。

Hadoop平台为云计算的开展提供良好基础，在Hadoop平台中，通过开放源优势结合集群方式给用户提供信息存储和数据运算的服务，平台中包含有HDFS以及MapReduce。HDFS容错强、扩展佳的优点，可以满足用户对该平台差异硬件系统的各种现实要求。MapReduce并行编程模型是将一个大规模的数据集，按照一定的规则发放到各个分节点处理后再次将结果进行合理整合，监控功能的使用能够处理失败和异常的节点，最终获得良好的数据处理与分析结果[5]。

2. 数据挖掘技术

2.1概述

数据挖掘技术从诞生到高速发展经历的时间并不长，因此存在的问题多，完善性也弱。但随着20世纪90年代信息技术的发展，信息处理水平的提升让数据挖掘范围得到了拓展，技术应用持续增强。数据挖掘工作开始在时代舞台上崭露头角，它可以归属于科学研究领域，也可以纳入交叉学科中。综合文献剖析，数据挖掘技术构成如下：第一，数据不虚假，延伸广。第二，数据被深度挖掘并提取价值。第三，结合分析后的数据做出判断，为决策提供正确及科学的指导。将数据挖掘与云计算技术进行衔接，通过挖掘得到的信息提供给更多的行业，给人民的生活提供便利。

2.2 特征

量大、短时有效、结构不同以及形态多样是物联网数据的特征。物联网的数据分布在不同的位置，数据的分类必须精确，因为数据量大且不简单，故需要将传感器节点配置到数据中，确保数据信息能够得到及时处理。

2.3 物联网数据处理技术要求

物联网数据的特性对数据质量的控制没法保证，数据查询、集成、存储、融合没有办法有效完成，因此，需要技术人员深入探索研究，摆脱困境。鉴于此，物联网数据处理有如下要求：

（1）异构性要求。由于物联网数据的异构性，要结合实际以软件作为入手点，合理使用操作系统，对于不同种类的感知信息要使用相应的数据结构以及数据库，不同的操作系统配置不同的中间件。数据库体系结构用来深度挖掘数据信息并存储价值数据。

（2）海量性与实效性要求。数据量大增加数据存储难度，反应速度和计算结果滞后。解决办法有两个：一是对服务器升级，将数据放置在服务器中处理；二是提高物联网每个节点的计算能力。

（3）数据传输要求。数据采集和传输主要依靠读写器、RFID 标签、传感器以及节点等数据提供者。为了确保系统域运行的稳妥，系统硬件必须满足功耗不高、可靠性高、抗干扰性强的特性。对于架构模型也必须以系统成熟、推广度高作为选用基础。

2.4 物联网数据挖掘技术应用中存在的挑战

物联网技术处于成长阶段，虽然在具体应用中掌握了一定的运行周期，但在一些更加具体的应用中还存在很多不足，特别是技术层面，如：

（1）对于数据存储手段不灵活，而且效用不高，大量的数据存储地点各异，应用的中央管理模式无法精准探知分布式数据。

（2）数据基数大，需要的存储空间也变大。对信息节点处理的有效性和实效性提出了要求，结合中央处理模式，对计算机硬件性能也需要进一步提升，但目前设施并不完善。

（3）节点的资源有限，数据放在中心节点的策略没有优化资源使用，越来越多的数据信息处理需要更多处理设备，但目前没有足够的设备能够满足需求。

（4）受物联网存在的外在因素影响，将数据存储到数据仓库，会涉及传输安全、数据隐私等因素，可靠性降低，网络的稳定性也会影响运行。

以当前分析，物联网数据挖掘技术存在的限制性对数据应用和使用价值产生了枷锁。

3. 基于云计算的物联网数据挖掘关键技术

3.1 云计算的数据挖掘模式

物联网数据类型并不单纯，物物之间的关联、特性差异化及应用的烦琐性造成与传统数据挖掘有很大的差异，使用时存在的问题举不胜举，究其根源，是物联网系统造成的。云计算的数据挖掘应当考虑到这些影响因子，关注物物的关系构成，特别是把数据在传输中存在的丢失和错误等问题进行有效杜绝。相关技术人员需要掌握物联网的数据特点，比如关联性、时空性、非结构性，并在云计算技术的应用过程中进行合理调整，结合物物之间的个体练习进行建模，如果是间接关系，可以使用SVD模型、拉普拉斯变换模型引导，在不同的数学模型表现出不同的展示结果。例如，超图物联网数据模型就可以预编点进行随意连接。如果是直接关系，要有利于物物间接关系的推导。针对物联网数据的繁杂关系，利用超标方式描述。对于稳定的外推非参数模型的建立要以事先进行事物联系为基准，明确关系，利用数据模型描述数量关系。

3.2 云计算的数据挖掘技术

信息化时代下，数据信息的重要性愈发突出，将数据的深层价值挖掘出来应用到行业领域可以为企业获取优势资源添砖加瓦。云计算和数据挖掘技术相得益彰，是获取数据价值更有效的方式，云计算模式的使用为实现各种数据的收集、储存及汇总提供了更强的技术支持。

3.2.1 数据汇总调度技术

数据汇总调度技术可通过云计算将不同类型的数据先汇总，然后对汇总后的数据根据情况进行二次调度。这种方式能够实现不同格式数据的交流，对多种数据的同步连接也有好的服务观感，对数据进行层次化整理、存放也有了灵活的排列存储方式。比如企业运营过程中对于运营资金管理要根据行业发展及企业业务特点，制定数据信息收集和整理策略规划，根据数据是否有效做好划分，建立企业内部的信息分析评估体系，在短时间内将重要数据推送给企业负责人，使企业决策有更强的指导性。

3.2.2 服务调度以及服务管理

每个行业、不同群体之间要求的实际服务是有差异的，云计算平台要从服务调度和服务管理两个方面齐抓共管。对于调度功能来讲，注重资源匹配与服务分析，实现对优先级服务的调度工作，在处理阶段要解决好不同服务之间的隔离和互斥，提升云服务的安全运行范围。

3.3 物聯网数据挖掘技术模块

物联网数据挖掘网络拓扑的可控性非常重要，利用挖掘平台划分技术模块，通常在Hadoop基础上，将技术模块按照功能进行层次划分，在每个模块上实现各自的数据分析，最终完成数据挖掘任务，划分如下：

3.3.1 物联网感知层

感知层是物联网的最下面层级，它利用层内的众多采集节点，以射频识别器、全球定位系统和红外感应器、摄像头等多种设备识别和获取各类事务的数据信息，并完成通信工作，利用无线网络汇聚数据至汇聚节点，通过传输层将汇总的数据传到云平台数据库。

3.3.2 传输层

传输层可以实现对不同数据的有效处理，为数据层提供数据传输服务，主要设计有线网、无线网及传感器，保证网络连接，快速将数据上传到数据中心实现全网通信。传输层的应用能够强化网络监测数据的传输效果，也能在不同数据传输设备之间起到有效监测的作用。

3.3.3 数据层

数据层隶属于技术体系的核心部分，直接影响技术可行性。物联网数据的海量性和异构性需要在数据层进行方案制定，促进数据的安全性和可行性。

3.3.4 数据挖掘层

数据挖掘层由数据准备模块、数据挖掘引擎模块和用户模块共同构建。数据准备模块需要将类型不同的数据进行清理、变化、数据规约。数据挖掘引擎模块进行数据明确，最终结果由用户模块中包含的数据挖掘平台用户接触端将结果进行可视化表示。通过以上几个模块将信息连接，对不同种类数据进行预处理，包括去噪、精简冗余数据、补充不完整数据等。对挖掘模式还可以进行测试评估。

结论

随着信息化社会的发展，物联网技术的开发程度已经趋于最大化。如果想在未来的数据分析应用中占据一席之地，还需要其他技术的支持与配合，而云计算给物联网提供了继续发展的机遇。物联网技术与云计算的联合应用，为物联网数据挖掘技术的发展提供了更多的可能，在实际应用中，及时发现问题并实时处理、总结技术经验，将其进一步优化，帮助技术人员对海量数据进行高效处理，对物联网技术的发展有非常重要的促进意义。

参考文献：

[1]王艳雨，刘萍.基于云计算与物联网技术的数据挖掘分析[J].科技创新与应用2021，（35）：94-97.

[2]赵建保，施烁.浅析基于云计算的物联网数据挖掘技术[J].信息系统工程2019，（10）：83-84.

[3]王宝龙.云计算与物联网技术的数据挖掘研究[J].产业创新研究2022，（12）：47-49.

[4]周鑫隆，梁婧.云计算与物联网技术的数据挖掘分析[J].电子世界2022，（2）：28-29，32.

[5]黄君，陈超雪.云计算背景下物联网数据挖掘技术研究[J].电子世界2021，（22）：4-5.

作者简介：白萍，硕士，副教授，研究方向：计算机科学与技术。