基于物联网大数据处理的关键技术研究

王强

摘要：我们已经进入物联网时代，物联网那个是一把双刃剑，但是我们可以将物联网时代下产生的影响应该全面来看待，它给我们也提出了各种挑战，首先，物联网将生活中的人与物联网联系起来，产生了大量的数据，这是我们遇到的第一大问题，但是物联网也给我们提供了具体的解决措施—云计算技术、分布式技术，他已经渐渐成为物联网时代的一项基本计算技术。其次物联网上出现了大量良莠不齐的信息，所以我们应加强物联网的监管以及安全技术，最后，由于信息量的巨大，物联网数据的查询、分析以及处理也是一大难题。

关键词：物联网；大数据处理；关键技术

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）12-0029-03

1物联网以及大数据处理的发展现状

随着物联网技术的完善，社会经济也得到了很大的进步，物联网带来的收入就接近3000亿美元，相信未来物联网将会带来更加长远的发展，很多的领域的企业将互联网技术深入到自己的发展中来，所以物联网也是推动企业进步的一大动力，当然物联网的发展也给我们提供了更多的要求和挑战，事物与事物之间联系的加强，产生了大量的数据需要我们去解决，这个过程物联网也给我们提供了更多的思路去解决。

1.1物联网的发展现状

1）国外物联网的发展状况

国外很重视物联网的发展，他们对物联网进行了大量的研究，政府方面建立了相关的实验室，加大对无线传感器网络的研究。除此之外，各大高校与相关的软件公司或者硬件公司进行相关的研究，比如说微软、因特尔等。这是国外大多数国家发展物联网的大体路线。欧盟在物联网方面一直处于领先地位，欧洲启动了物联网行动计划，该项计划主要针对物联网的发展潜力，以及物联网发展中的问题比如说隐私问题、数据问题、监管问题等，提出具体措施为行动方案，建立管理机制，技术创新等。

2）国内物联网的发展状况

在20世纪末的时候，我国已经开始关注到物联网的发展。在这个新兴的领域，我国已经走在世界的前段，我国就对物联网的发展给予了相当的关注，在这个过程中，政府发挥了很重要的作用，温家宝同志视察物联网研发中心时提出发展物联网应该树立长远目光，江苏省在物联网的发展中也有了更加明确的内容，势头良好。我国国家整体的形式就是快速发展的转型期，但科技领域仍处于初级阶段，物联网那个状态下的经济发展还没有成型，但是我们能够肯定的是物联网发展潜力不可估量。

1.2大数据处理的发展现状

物联网时代的到来带来了大量的数据，尤其在中国这个人口大国，大数据的环境下，很多的领域都面临着挑战，在竞争中失去优势。我们应该转危为安，利用大数据来发挥我们，而不是被他阻挡住。

很多的企业面对大量的数据出现了很多的问题，比如对数据的处理能力弱，利用率低、混乱，高成本高消耗等等，国内的IT行业针对这些问题应该做出相应的调整。政府正对大数据时代处理的问题也提供了相应的对策，进行大数据研究，引导企业发展，“十二五”计划中也涉及大数据处理方面的问题，发展原则是以市场为中心，创新技术，政府引导发展。当前大数据发展的主要问题有数据量庞大、复杂、技术不完善，而用户的要求越来越高，政府针对大数据处理提出一下几点建议，首先尽心数据分析技术的创新，这个过程设计到智能技术。其次是数据的处理技术与他技术的发展，三是对大数据技术的运用技术的开发。

2物联网以及大数据处理的介绍

大数据具有的特点就是数据量的庞大，所以他更加需要现代的机遇物联网基础上各种技术的发展来实现大数据处理技术的发展，比如说数据库技术，数字化技术，云计算技术等等，近些年，随着物联网以及大数据处理的技术发生了变化，这些你内在的问题更加亟待解决，在这一领域的研究者要解决这些问题，就要先从本质上去发觉，我们对他们的概念，定义甚至它的特点应该做一个明确的了解。

2.1物联网的介绍

1）物联网的概念

物联网听起来跟互联网有点相似，她就是在互联网、传统通信技术的基础上发展起来的，将一切无关联的人、事、物联系起来，也就是我们常说的T2T、 H2T、H2H之间的互联，这样可以使事物之间的链接更加简化，这也是它的技术目的，物联网一般为无线网，物联网可以通过一个中心数据端将繁杂的事物集中一个中心实现统一的控制。比如现在比较关注的家庭的智能控制。

2）物聯网的特点

首先，它是感知技术的集合，具有实时性的特点。物联网是基于互联网技术发展起来的，但是它还是有很多自身的特点，与互联网相比，他还集合了其他的技术，比如说有移动网络技术，数字化技术，虚拟技术等等，不同的技术的原理以及发挥的效果不一样，但我们知道融合了各种优秀元素的技术应该是更加完善的，融合了多种技术的物联网技术传播讯息更加的及时、快速，我们可以不断地更新数据。

第二，它是建立在互联网的基础上发展起来的，所以它具有互联网的某些特征——虚拟性、不可控性、大数据等。物联网那个主要依托的依旧是互联网，借助有线以及无线网络实现的发展，将很多信息传递到接受者的彼端，物联网那个传播的信息量是巨大的，所以又称为大数据处理，物联网环境下信息的传播并不是完美无缺的，由于所处环境的虚拟性，还产生了一定的危机，我们同时需要加强网络监管。

最后，物联网处理技术具有普通媒体具有的传播信息的作用，它还能够实现智能技术控制与管理。只要是媒体就有传播信息的作用，这个不言而喻，我们在上文已经说过，物联网是各种感知技术的集合，所以物联网那个能够实现智能的控制与管理也是必须的，他可以利用数字化技术、云计算技术、远程控制技术实现这些目的。

2.2 大数据处理的介绍

1）大数据处理的概念

“大数据”根据它的名称我们也能够略知一二，他又称为巨量资料、称大数据或海量资料，这指的是物联网状态下产生的繁杂的大量的数据，它是不能够通过普通软件工具处理，只有利用物联网技术（云计算）基础上创新技术，整合共享，反复利用能够实现利用的能够创造巨大财富的超大规模资讯。

2）大数据处理的特点

首先，我们说的数量大，大数据是在物联网那个技术的状态下诞生的，在这个过程中然而自然的利用到大量的数据。其次我们物联网状态下产生的数据书量大，从而产生的种类也多，其中一个原因是涉及很多的社会领域，其次承载数据的载体也多种多样，比如说企业的发展，以及社会的经济状况等等。第三，价值密度低。就是大量的数据可以被利用的有价值的信息很少，这就需要依靠有效的技术手段进行筛选。第四，大数据容易被处理。大数据是在物联网的基础上产生的，同时它也需要依靠物联网来处理，物联网的特点就是处理速度快，因为它可以与其他的技术相结合。

3 物联网与大数据处理的关系

物联网已经进入到市场领域，影响到我们的经济发展，主要用于远程监控，环境管理等，应用较多的有通信、机械、医疗等领域，这些利用物联网感知系统下产生的大量数据为依托，开发具有潜力的信息，占领市场并与各个领域相融合，开发出更大的利益，这就是互联网促进大数据的发挥在那，从而带动社会经济常态发展，除了物联网状态下，大数据创造大量的商业利益之外，它也带来了很多的挑战，物联网那个产生的大量数据由于烦琐以及复杂。

3.1 大数据为物联网那个创造大量的商业价值

大数据时代，主要是来自物联网通过感知技术将各种人、事、物联系而产生的，它来自各种各样的领域，经济领域、政治领域、科技领域，所以它在整理以及检索方面有一定的难度，但是将大数据如果处理好，会形成很多的商业模式，就会产生巨大的商业效益。具体举例来说，比如说在汽车的开发生产方面，我们可以通过物联网进行试产定位，策略决策，从物联网那个终端搜集信息、数据，然后利用物联网技术进行信息的有效整合、分析，从而确定我们的消费人群，以及市场定位。物联网通过对数据的处理，产生了特定的商业价值。

3.2 物联网不能够全面的大数据问题

大数据环境是在物联网技术状态下产生的，物联网是一种感知技术的集合，所以在这种技术下产生的大数据也是繁杂的，所以大数据处理起来也是不容易的，物联网环境下产生的数据具有大量、非结构化、碎片化的数据，在处理方面即使是物联网技术也会遇到很多的问题，目前我国的物联网，中国物联网数据处理技术仍处在起步阶段，我们需要更多的投入来创新大数据处理技术。

3.3 物联网对大数据处理的促进作用

1）物联网形成产业链

我们已经了解到物联网的信息包含社交网络信息，以及感知信息两种，在这种状态下，产生了大量涉及社会各个领域的非结构化、碎片化的数据。物联网产生的数据给我们生活的各个领域带来了各种各样的影响，其中教育、医疗、电器等领域都有涉及，物联网将涉及的领域的数据结合起来，给某些企业带来了更大的商业利益，因为它可以让企业更好的分析自身所处的经济环境，合理定位自己的市场价值，延伸自己的生产链，从而促进自身社会价值以及商业价值的发展。据有关部门预测，随着互联网以及云计算的发展，我国物联网那个将有一个更好的发展势头，同时也会扩大现有的市场规模，同时物联网所形成的产业链各个环节的牵绊将会减少，才能够实现数据的高效率利用，以及物联网的更大发展。物联网进入商业领域没有什么不可能。这样物联网就容易成为世界的中心，变成商业发展的动力，让更多企业的发展与物联网结合起来。物联网能够促进并带动大数据发展。大數据的采集和感知技术的发展是紧密联系的。

2）物联网产生大数据

大数据的出现是由于各方面的影响，电子商务的发展促进了互联网经济与传统经济的结合，这种经济的模式下，更容易催生大数据。我们已经说了物联网形成了产业链是在产生的大数据的状态下产生的，所以产业链的发展依托的是大数据，所以我们还是应该从物联网时代产生了大数据说起，物联网通过感知技术的结合产生了社交网络数据以及传感感知数据，数据量想当庞大，复杂，加上云计算技术以及互联网技术的发展，数据也变得更加复杂多样，这些数据会涉及教育、医疗、电气等各个领域，这些大数据的出现给了我们很多发展的机会，我们可以对这些数据进行反洗，真核，寻求规律性以及价值型，从而促进相关行业的发展，比如说我们在调查我们的汽车的生产改进方面，我们可以通过物联网进行较差，然后进行数据的整合，从而确定我们的改进方法，以及消费群体等。

4 基于物联网大数据处理的关键技术

物联网环境下大数据的发展已经是社会发展的主流，他的发展给社会的各个领域带来了改变，醋精了商业产业链的发展，开创了新的盛业模式，提升了企业的价值，但是由于数据量的巨大，在分析检索方面也给我们带来了很多的挑战，但是目前的很多技术尚不能解决这些问题，我们应该在新时代潮流下积极寻求以及创新大数据处理的方法，不仅需要有关研发部门的支持，还需要政府的相关政策支持，我们相信蕴藏着巨大潜力的大数据与一定会被我们的技术所利用，促进我们社会的发展，下面我就针对基于物联网形势下，大数据处理技术的创新展开详述。

4.1 移动通信网络中大数据处理的关键技术——云计算

云计算作为一种物联网技术，产生大量繁杂、碎片化以及非结构化的大量数据，两者都源于物联网，都有相同之处。所以大数据的处理一定会应用到云计算技术。大数据与云计算产生的环境具有相似性。我们已经链接到大数据也分为结构化以及非结构化的数据，如果简单的利用原始的技术加以处理会大大的加大处理的难度以及人工成本，有了云计算以后，加上物联网技术。云计算应用原理是，云计算是承载了大量分散的决策中心，团结的力量总是强大的，无数个决策中心对数据的处理最终会形成一个超级决策，所以云集在数据的整理、计算以及决策方面发挥了巨大的作用。大数据的价值也是无穷的，只要创新技术加以合理的利用。大数据处理的两大趋势分别是数据极度膨胀，数据在整理分析方面的难度以及数据分析深度增加，这也就给我们在大数据的处理的实效性方面带来了很大的挑战，所以我们应该顺应时代发展的潮流，更大的开发物联网基础上的云计算技术，谷歌在处理分析大数据方面推出了——分布式文件系统、 并行编程模型、 并行执行引擎注等技术

4.2 数据筛选——数据清洗技术、去冗余技术

下面我们来具体地介绍云计算在数据的整理方面具体应用到了那些技术，在物联网的环境，产生了涉及社会各个领域的大量复杂并且难以判断的信息，这些信息具有的特征主要是可靠性低、数据的不正确，存在误差等问题，难以判断其价值性，在这个过程中，移动网络通信利用数据都安静型信息的筛选，这时候我们就需要通过数据清洗技术对虚假，不良的社会信息进行淘汰，遗留下有价值的可供我们利用的信息，其次就是去冗余技术主要是提取信息中最有精华的部分，其实数据清洗技术在很早的时候已经出现了，但是它出现的环境主要针对的是传统的结构化的数据，但针对物联网状态下出现的大量的碎片化以及非结构化的数据，我们需要进一步开发适应社会发展的数据清洗技术以及去冗余技术 。

4.3数据储存——分布式技术

1）分布式文件系统，是一个庞大的软件框架，所以在硬件方面的成本会比较低，利用分布式文件系统这种软件更具有灵活性，顾客可以自由的修改自己的代码，它主要的任务是对大数据进行计算以及储存。

2）分布式缓存 也是分布式技术的一种，并且它在大数据处理技术方面的应用越来越广泛，它的出现可以减轻储存大量信息的数据库的负载，他可以通过利用你内存对数据以及对象进行缓存，从而减少数据进入数据库的次数以及数量，这样就大大提高了物联网运转的速度，提升了物联网的性能，所以我们可以说分布式缓存是一个技术大数据值得被应用，可靠地存储引擎。

3）分布式数据库又是分布式技术的一个种类，这一种技术又是主要根据大数据时代的特点而产生的一种技术，它主要的任务是对大数据的查询，并且是数据大规模的进行处理以及完全无共享架构，建立在谷歌系统基础上的分布式数据库系统，专门的人员可以进行数据的提取、转换和开发。除了此种数据库系统，还有非关系型数据库系统。非关系性的数据库系统主要用于数据的存储，它具有高可靠性、可伸缩等特点。他可以构建大规模结构化的存储型集群，将大量的数据集合起来。

4.4 数据处理——文本信息处理技术

1）遗传算法

该种大数据处理方法主要依据生物学中优胜劣汰的原理，从而产生的一种随机化搜索方法，主要针对的是数据的检索，利用这种技术我们可以再大数据环境下自动获取和指导优化的搜索空间，遗传算法这种技术易被广泛地应用与机器学习、信号处理等领域。

2）数据挖掘

数据挖掘的方法主要有：

第一、分类分析。文本处理技术利用的原理之一是利用分类分析，是对大量的数据在分类的基础上，对数据进行分析，我们常见的应用主要有我们通过数据分类预测我们的消费人群，购买率、流失率等；还有聚类分析，它是一种集合分析的方法，和分类分析有点相似，内部的对象都是具有相似性。

第二、关联规则学习。关联规则学习就是加强各种数据之间的联系，通常见到的例子就是市场购物分析，销售者可以确定那些产品可以一起购买以及如何使用信息，可以进行数据的融合和集成。

第三、情感分析。情感分析不再知识利用数据进行理性的分析，而是更加深入的进行感性分析，我们利用文字处理技术从数据当中提取主观信息，来实现自然语言处理和分析方法的应用 ，情感的分析内容主要是对数据表达情感的特征和作品等，我们在应用方面主要的实例有对我们同常用的社交软件，我们用的qq、微信等确定客户的态度。

第四、空间分析。空间分析主要是利用的是数据的空间特性，因为数据通常来源于各种地理位置信息系统，主要的应用实例有空间回归或模拟，除了空间分析之外，还有时间序列分析。

4.5 可视化技术

可视化技术又是大数据处理的一大手段，可视化是数据蓬勃发展的重要领域，可视化技术可以建立图片、图画等，这样可以将各种数据更加直接生动的进行理解沟通、传递给别人，帮助读者迅速感知文本中最突出的概念；还有一种是聚类分析可视化技术，是在聚类分析的技术上的可视化技术，我们在上文已经说过聚类分析是数据的集合，加上可视化技术之后我们的聚类分析会更加的生动形象。

5结论

随着物联网时代的不断发展，人与人的联系更加密切，产生了大量可以值得我们去利用的数据，由此，我们进入了大数据时代，大量的数据给我们的生活提供了诸多的便利，我们可以利用数据来开发市场促进，商业发展，改善执政水平，提升素质等等，但是它们带来了更多的挑战，我们呢这篇文章主要针对物联网时代以及大数据的特点进行了详述，还有物联网对大数据之间的关系，后来又详述了物联网下大数据处理的关键技术，我们主要说了云计算技术，数据处理技术等等，我们利用这些技术可以更好地对大量繁杂、碎片化的数据进行分析，利用，但是由于社会的发展，数据也变得更加复杂，大数据处理也会受到限制，有待进一步开发，所以在新环境下，开发适应社会发展的大数据处理技术。

参考文献：

[1] 孟小峰，慈祥.大数据管理：概念，技术与挑战[J].计算机研究与发展，2013.

[2] 孙敏.无线自组织网络中基于网络编码的可靠中继多播方案[J].计算机系统应用，2011，20（5）：60-63.

[3] 樊昌信，曹丽娜.通信原理[M].北京：国防工业出版社，2008.

[4] 梅德明.大数据时代语言生态研究[J].外语电化教育，2014（1）.

[5] Titov I， McDonald R. Modeling online reviews with multi-grain topicmodels[C]//Proceedings of the 17th international conference on World Wide Web. ACM，2008： 111-120.

[6] 孟小峰，慈祥.大數据管理：概念，技术与挑战[J].计算机研究与发展，2013.