物联网数据融合技术浅析
2016-04-29刘召华
大数据时代的到来,要求我们需要使用更加有效的数据处理方式,但实际应用中获得大量数据相当一部分是冗余和无效的,这些数据在网络中传输和处理会极大降低效率,数据融合技术是比较理想的解决办法。
物联网与互联网结合起来形成了一个巨大信息网络系统,在这个系统中,有大量感知数据,需要选取适当的融合模式、处理算法进行综合分析,才能提高数据质量,获得最佳决策和完成评估,这些工作的完成需要使用数据融合技术。
一、物联网数据融合
“数据融合”是20世纪70年代美国国防部针对多传感器系统而提出,经过40多年发展,现已被应用在多源影像复合、智能仪器系统、无人驾驶飞机、图像分析与理解、自动目标识别等多个领域。
数据融合是利用现代计算机技术对时序获得的若干感知数据,在一定准则下加以分析、综合,以完成所需决策和评估任务而进行的数据处理过程。数据融合的目标数据是全空间的,即包括所有确定的和模糊的、全空间的和子空间的、同步的和异步的,数字的和非数字的,是复杂多维多源的;数据融合是内部特征,是系统动态过程中的一种数据综合加工处理;数据融合是数据的互补,即表达方式互补、结构互补、功能互补、不同层次互补,只有互补数据融合才能使系统发生质的变化。数据融合的实质是针对多维数据进行关联或综合分析,选取适当的融合模式和处理算法,用以提高数据质量,为数据处理奠定基础。
二、数据融合原理、步骤和分类
数据融合可以是物联网多个传感器的信息融合,也可以是多个传感器信息和人机界面观测事实信息融合。原理是先将多个不同类型传感器获取数据收集;对传感器输出数据进行特征提取的变换,提取代表观测数据的特征矢量Yi;对特征矢量Yi利用聚类算法、神经网络等模式识别处理完成各传感器关于目标的说明;将各传感器关于目标的说明数据按同一目标进行关联;利用融合算法将每一个目标传感器数据进行合成,得到该目标的一致性解释与描述。例如故障诊断系统中,从获取数据中提取征兆信息,在推理机作用下,将征兆与知识库中的知识匹配,做出故障诊断决策,继而提供给用户使用。也可加入自学习模块,故障决策经自学习模块将获得的新知识、新经验反馈给知识库,并对知识库置信因子修改,从而实现知识库更新和扩充。
数据融合有六个基本步骤:(1)连接所需多源数据库并获取相关数据,(2)研究和理解所获得的数据,(3)梳理和清理数据,(4)数据转换和建立结构,(5)数据组合,(6)建立分析数据集。
数据融合技术最早应用于声呐信号分析和遥感影像,目前根据融合水平由低到高可分为像素级融合、特征级融合、决策级融合三类。
三、数据融合研究内容和意义
数据融合是针对物联网系统使用多个或多类传感器展开的一种数据综合处理方法,主要用来解决“大数据”分析中数据相关对准、识别、不确定、不完整一致、虚假数据等问题。在数据融合时要解决的关键问题首先是数据融合节点选择,因为节点选择与路由协议密切关联,需要依靠路由协议建立的路由回路数据;并且使用路由结构中的某些节点作为数据融合的节点。其次是融合时机、算法,物联网需要使用大规模传感器,因为传感器检测范围和可靠性有限,在实际应用中,为了增强网络采集信息的鲁棒性和准确性,传感器节点检测范围相互重叠,就会导致近距离传感节点传输数据有一定冗余,如果每个节点传输全部感测信息,就会产生大量冗余信息,导致网络中传输数据能耗远远大于处理数据能耗,所以选择合适时机和算法对完成数据融合非常必要。
数据融合技术是近年来快速发展的应用技术,涉及概率统计、模式识别、模糊数学、信号处理等多学科,广泛应用于工业控制、导航、农业、遥感、医疗诊断、图像处理、模式识别等领域。数据融合技术充分利用多个传感器资源,把多个传感器信息在空间或时间上冗余或互补信息依据某种准则进行组合,获得被测对象的一致性解释,实现相应决策和估计,从而使系统获得正确、充分的信息。
四、结束语
传统的统计分析经常是对单一数据源(营销数据、问卷调查等)进行深入的追踪和分析,分析人员对数据的来源和结构有一定的控制和深层的了解。在大数据时代,数据源是多样的,海量的数据常常是半结构或无结构的,这就要求专业人士驾驭多样、多源的数据,将它们梳理后进行挖掘和分析,在这个过程中,数据融合就成为不可或缺的一步。数据融合与数据仓库、数据一体化不同,它的目的不是将一个企业或组织的所有数据集中在一起并标准化而产生唯一的真相,它是以产生决策智能为目标将多种数据源中的相关数据提取、融合、梳理整合成一个分析数据集。这个分析数据集是个独立的和灵活的实体,可随数据源的变化重组、调整和更新。另一方面,数据融合能包容多源数据,胜于数据仓库和数据一体化。
如今移动互联网、大数据分析、云计算、物联网等技术和应用之间不是孤立的,而是一个相互融合的应用与发展。在数字化经济迅速崛起的趋势下,这种创新融合使得今天的IT业不再像过去那样只是提供简单的服务,而是通过技术的不断的发展与创新,以及在行业中的不断渗透,为客户创造更多价值。相信数据融合技术的不断发展,可以帮助企业和用户获取真实有效数据,为其提高决策效率和管理水平产生更多帮助。