物联网的大数据处理

徐之欣 张皖哲 郑书朋 哈尔滨东北农业大学电气与信息学院 150030



物联网的大数据处理

徐之欣 张皖哲 郑书朋 哈尔滨东北农业大学电气与信息学院 150030

【文章摘要】

物联网中数据管理是一个重要的方面，考虑到一个相互关联的对象是不断进行各种信息交流的世界，是产生数据量和参与的过程，这就使数据管理成为关键的问题。我们打算验证和评估物联网的架构与大型数据库，根据大数据的概念我们将实现一个估计算法集成的物联网架构。此外，我们意愿在物联网体系结构中提出并验证跨层通信的可能性。

【关键词】

物联网；K-means算法；大数据；体系结构

1　物联网

物联网（IOT）是一种新的沟通模式，是虚拟扩展世界与物理世界的物体相互连接。运行大量的应用程序和服务，然后进行开发的同时必须克服极大的挑战使物联网得以实现。物联网涉及不同的知识领域例如普适计算、网络通信、目标识别和特殊的数据处理。在这样的背景下，我们引入模式识别机制，本文的重点是一个算法，利用大数据处理检测的离群点，以便选择和实施物联网架构。

物联网是一个全球性的网络基础设施，通过自动识别连接物理和虚拟的物体，具有数据采集和通信的能力。这个基础设施包括现有的和不断发展的互联网和其他网络。它将提供特定对象的识别、传感器的设置和自动的连接能力，是独立的联邦服务和应用开发的基础。这将实现高度自治的数据采集、事件传递，网络的连通性和互操作性，驱动与控制。

一方面，物联网构成一个网络的物理对象与嵌入式技术用于内部网络内的相互作用以及物与环境的相互作用。例子包括各种内置传感器，智能家居技术和尖端的通讯工具，如重量控制管理计划，摄影和视频设备，警报，扫描仪，游戏等

这里物联网的概念只是一个方面，它反映的是事物的性质与材料的组成。一个对象可以是物质（一个物质或一类事物）或者拟想（例如，权力的形象）。因此，

物联网可以被视为一种资源，用来创建一个象征性的资本，作为一个非物质的虚拟对象或者作为一个网络存在的互联网空间。

2　K-means算法

K-means算法，是由MacQueen 提出的，是一个基于对象之间的相似度的聚类算法。它的工作原理如下：算法中簇的数目为k，选取每一个质心为代表，1≤i≤K；它接收N个随机对象观察对比。在每一次迭代中，每个对象都被分配到一个最短距离的集群。在每次迭代算法之后，算法重新定位质心通过减少聚类中所有目标点的距离，当质心位置稳定了算法收敛。

3　大数据

3.1简述

Sun and Heller提出大数据是指难以存储、搜索、查看的大型数据集。Smith指出，大数据是指按常规工具不能被处理或分析的非常大的数据集。大数据需要大的计算能力，在合理时间内有效地处理这样大的数据集。这项技术涉及大规模并行处理（MPP）数据库，数据挖掘网格，分布式文件系统，云计算，互联网和可扩展存储系统。大数据的终极核心价值在于资源优化配置，具体来说，要实现大数据的核心价值，有两个重要的步骤：一是通过“众包”的形式收集海量数据，二是通过大数据的技术途径进行“全量数据挖掘”，最后利用分析结果进行资源优化配置。下面具体解释一下大数据的工作流程：首先，只靠单一的部门进行数据采集更新是缓慢的，并且数据时时变化总是进行修改浪费人力物力，因此将任务以自由自愿的形式承包给大型网络，从而形成海量数据。第二步通过海量数据进行数据分析结果，更准确全面。第三步资源优化配置，举例子来说，随着DMP（Data Management Platform）技术的不断成熟，我们就可以积累用户行为从而判断出性别，所以资源化配置最终目的是分步挖掘和深度学习。

3.2在物联网中的应用

大数据与服务业紧密相连，致使物体与网络的连接更加高效，农业上推出决策服务，用智能终端检测园地作物的数据解放双手；信息化工业化产业，利用大数据和物联网的结合，实现建筑的低碳、绿色、智能，信息化的分布式查询；交通运输业做到缓解交通压力，实时避免拥堵，加快运输速率；医药方面，增强仪器的鲁棒性，仪器联网后会加入更多等复杂的病例，增加可靠性。

【参考文献】

［1］Souza，A.M.，Amazonas，J.R..A novel smart home application using an internet of things middleware.In∶ Smart Objects，Systems and Technologies（SmartSysTech），Proceedings of 2013 European Conference on.2013，p.1-7.

［2］White，T..Hadoop∶ The Definitive Guide.O’Reilly Media，Inc.；1st ed.；2009.ISBN 0596521979，9780596521974.

［3］Owen，S.，Anil，R.，Dunning，T.，Friedman，E..Mahout in Action.Greenwich，CT，USA∶Manning Publications Co.；2011.ISBN 1935182684，9781935182689.

［4］Tan，P.N.，Steinbach，M.，Kumar，V..Introduction to Data Mining，（First Edition）.Boston，MA，USA∶ Addison-Wesley Longman Publishing Co.，Inc.；2005.ISBN 0321321367.

［5］Angiulli，F.，Basta，S.，Pizzuti，C..Distancebased detection and prediction of outliers.Knowledge and Data Engineering，IEEE Transactions on 2006；18（2）∶145-160.