面向物联网的信息处理技术研究
2017-04-26何军莉
何军莉
摘要:物联网在现代信息社会中发挥着越来越重要的作用,该文分析了物联网信息的特点,基于其特点讨论了面向物联网的信息处理技术,并指出了目前面向物联网的信息处理技术存在的问题。
关键词:物联网;信息处理技术
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2017)06-0034-02
Abstract: The internet of things has played a more and more important role in the modern society. In this paper, the characteristic of the information of the internet of things is analyzed. Based on the different characteristic, the information processing technology is discussed. At the same time, the existing problem of the technology is pointed out.
Key words: Internet of things; information processing technology
1 概述
物聯网是通过安装在物体上的射频识别装置(RFID)、红外线感应器、全球定位系统(GPS)、激光扫描仪以及各种传感器,能够在任何时间、地点与物体之间进行信息交流和通信,从而真正实现精确定位、准确识别、智能监控和管理的一种网络[1]。物联网应用范围广泛,在医疗系统、智能交通与公共安全等领域发挥重要作用。物联网的开展具有规模性、广泛参与性和技术性等特征,是各行业共同参与融合的产物。近年来,随着物联网的普及和发展,人们对物联网的研究越来越关注。
2 物联网信息特点
物联网的智能主要体现在可以处理传感器实时传递的大量数据,物联网的信息呈现海量性、复杂性与时效性的特点。
2.1 海量性
物联网是通过大量的“物”相互连接组合在一起的网络,每个“物”都有自己的传感器节点,传感器的数量和采集的信息种类丰富。由于数据是固定周期连续采集的,因此物联网的信息量也很大,物联网正是由这些海量的小数据所组成。
2.2 复杂性
物联网信息的复杂性主要分为异构性和多态性。由于采集数据的传感器的结构和性能的不同,所采集的信息在内容和格式上具有差异。此外,由于位置和环境等因素的影响,不同位置的同类传感器采集到的信息也会存在差异。因此,物联网中的感知设备种类与体系架构越复杂,信息的异构性和多态性就越突出。
2.3 时效性
在物联网中,大量的传感器在不停地周期性地采集新信息,对收集到的历史信息和新信息进行实时性地融合和处理是有效使用信息的关键。物联网中心信息处理设备必须实时快速地响应各种事件。反馈速度和响应时间反映了物联网系统的可靠性和可用性。
3 物联网信息处理技术
物联网信息的特点决定了面向物联网的信息处理技术不同于传统的信息处理技术,现根据其主要特点分别阐述。
3.1 信息的分类和筛选
物联网是通过对收集到的海量数据进行有效地分类和筛选来提高系统的整体效率。目前主要采取的信息分类策略是聚类算法。聚类过程是将一组物理的或者抽象的数据对象根据相互之间的相似度来划分成若干簇的过程。在这个过程中,一组相似的数据对象构成一个簇。聚类算法是根据收集到的信息来搜索和确定该信息所包含的价值意义。目前广泛应用的聚类算法包括K均值算法、高斯分布测试算法和G均值算法。
3.2 信息的存储
物联网信息的存储,目前主要有集中式存储和分布式存储两种方式。
在集中式信息管理系统中,各传感器按照一定的采样规则,将所采集的数据上传到数据中心进行统一的存储管理,数据的查询和处理可以直接在数据中心完成。由于数据中心具有相对强大得多的存储与计算能力,因此这种方式可以支持各种复杂的、密集型的查询,更加适合于物联网的相关应用环境。集中式信息管理技术目前又主要分为云计算和并行数据库技术。
云计算是通过一种协同机制来动态管理上百万台计算机所具有的处理能力,按需分配给全球用户,从而具有稳定而快速的存储能力。云计算管理系统主要属于“键-值”数据库,如Bigtable[2]、Dybama[3]、HBase[4]、PNUTS[5]和HIVE[6]等。这类数据库能够高效地处理基于主关键字的查询,但不能有效地支持物联网数据的时空关系表示与存储、时空逻辑条件查询以及属性约束条件查询等。
并行数据库是通过将多个关系数据库组织成数据库集群来支持海量结构化数据的处理。但这种方法在处理关键字查询时的性能要远低于“键-值”数据库,无法根据传感器的标识快速地检索到所需要的数据。
分布式存储的应用得益于分布式数据库(Distributed DataBase,DDB)的产生。分布式数据库通过对物理上分散的各结点信息在逻辑层面上进行重新划分,从而实现局部自治和全局共享。分布式数据库的算法包括关联规则挖掘算法、精简频繁模式集和关联规则的安全挖掘算法以及事物流的动态可串行调度算法等[7-8]。同时,数据库技术可以与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术相互渗透与结合,使其在物联网的应用中具有极大的优势。
3.3 复杂事件处理系统
目前国外对复杂事件处理的研究中代表性的原型系统有SASE[9],Cayuga[10],RCEDA[11],Esper[12],Cascadia[13]等。在这些系统中,Esper在物联网中的应用最为广泛。Esper是基于Java开发的事件流处理和复杂事件处理的CEP引擎,它提供了丰富的事件描述语言,能够快速地集成到独立应用中去。在Esper系统中,复杂事件表达模式由原子事件atom和事件操作符两部分组成,其中事件操作符可以反映atom之间的逻辑组合关系和时间约束关系。SASE是针对RFID数据开发的原型系统,但是它没有办法处理信息不确定性。Cascadia基于信息的概率特点进行建模,因而它可以解决信息的不确定性,但是却没有对概率事件流上的复杂事件监测与概率计算做详细的研究与优化。
3.4 实时信息的处理
目前对于实时信息的处理,主要是通过预处理、分布缓存和复用中间结果的方法避免信息流到达时的历史信息重复处理开销,并使得信息流处理本地化,减少了节点间的信息传输开销。而针对本地化的信息流,可以采用事件驱动阶段化处理架构[14],利用线程池技术减少每次处理的初始化开销,并通过划分阶段和当前阶段间的异步信息传递,消除不同阶段之间的信息同步。在分布式的环境中,主要是通过多个节点上的平衡算子来保障系统的伸缩性[15],但是处理能力仍然受单个节点的信息处理能力,在面对大规模的历史信息情况下的伸缩能力仍然显得局限。
4 总结
本文分析了物联网数据的海量性、复杂性和实效性的特点,并分别针对各个特点讨论了目前面向物联网的信息处理技术。受限于物联网信息的特点,目前的信息处理技术仍然显得不足,尤其是在信息定义与匹配和实时信息的处理这两方面依然存在着很多问题。物联网的快速发展对建设智慧型城市具有极其重要的作用,因而对物联网信息的处理必须更加重视,不能抛开物联网信息的特点空谈信息处理,必须两者结合,才能使物联网发揮越来越大的用途。
参考文献:
[1] ITU internet reports 2005:the internet of things [EB/OL]. (2005-10-05). http://www.itu.int/dms_pub/itu- s/opb/pol/S-POL-IR.IT-2005-SUM-PDF-E.pdf.
[2] Chang F,Dean J, GhemawatS et s1.Bigtable;A distributed storage system for structured data[C]//Proceedings of the 7th Symposium on Operating Systems Design and Implementation (OSDl06).Seattle,USA,2006:205-208.
[3] DeCandia G,Hastornn D,Jampani M et al.Dynamot: Amazons highly available key—value store[C]//Proceedings of the 21st ACM Symposium on Operating Systems Principles (SOSP,2007).Washington,USA,2007:205-220.
[4] Carstoiu D,Lepadatu E,Gaspar M.Hbase: Non SQL data-base,performances evaluation[J].International Journal of Advancements in Computing Technology,2010,2(5):42-52.
[5] Cooper B F, Ramakrishnan R,Srivastava U et al.PNNTS:Yahoo!s hosted data serving platform[C]//Preceedings of the 34th International Conference on Very Large Data Bases (VLDB2008). Auckland, New Zealand.2008:1277-1288.
[6] Thusoo A.Sarma J S,Jain N et al.Hive:A warehousing solution over s map-reduce framework[C]//Proceedings Df the 35th intemational Conference on Very Large Data Bases (VLDB,2009).Lyon,France,2009.
[7] 贾洞,刘群,姜晗.分布式数据库的精简频繁模式集及其挖掘算法[J].浙江师范大学学报:自然科学版,2010,33(2):132-137.
[8] 梁雄友,薛永生.基于分布式事务流的动态可串行调度算法[J].计算机工程与应用,2010,46(8):144-147.
[9] Wu E,Diao Y, Rizvi S.High—performance complex event processing over streams[C]//Proceedings of the 2006 ACM SIGMOD International Conference On Management of data.New York:ACM,2006:407-418.
[10] Brenna L,Demers A,Gehrke J,et al.Cayuga:A high—performance event processing engine[C]//Proceedings of the 2007 ACM SIGMOD International Conference on Management of data.New York:ACM,2007:1100-1102.
[11] Wang F.SH.,Liu S.R.,Liu P.Y.,et al.Bridging physical and virtual worlds:Complex Event Processing for RFID Data Stream[C]//Proceedings of the 10th International Conference on Extending Database Technology.Berlin:Springer,2006:588-607.
[12] BERNHARDT T.Esper[EB/OL]. (2012-09-15).http://esper. Codehaus.org.
[13] Welbourne E,Khoussainova N,Letchner J, et al.Cascadia:A system for specifying detecting and managing RFID event[C]//Proceeding of the 6th international conference on Mobile systems,application,and services.New York:ACM,2008:281-294.
[14] Welsh M,Culler D,Eric Brewer E.SEDA:An architecture for well-conditioned,scalable Internet services[C]//Proceedings of the 18th ACM Symposium on Operating System Principles (SOSP 2001).Lake Louise,Banff,Canada,2001:230-243.
[15] Chandrasekaran S, Cooper O,Deshpande A et al.TelegraphCQ:Continuous dataflow processing for an uncertain world[C]//Proceedings of the 1st Biennial Conference on In novative Data Systems Researeh(CIDR 2003).Asilomar,USA,2003:200-211.