一种面向环保物联网汇聚节点的数据管理方法

陈恒如，赵宁社，陈天运

（西安文理学院 软件学院 陕西 西安 710065）

目前在环保环境监测系统中，物联网技术起着重要作用。物联网通过标识、感知、传送和信息处理四个关键环节，将环境中的观察对象紧密地连接在一起，并依托软件技术智能地感知、推理和分析。物联网实现对数据进行管理和智能处理，主要包括数据的采集、存储、查询、融合与挖掘等，其数据面主要负责数据的分组和传递[1]。而环保物联网的数据具有其自身的业务特殊性，其主要由污染源前端监控系统、传输网络、监控中心组成。数据通过有线专网或无线的网络传输方式将污染源在线监控数据传回监控中心。其中数据采集设备包括数据采集终端以及其它需要的控制组件和辅助设备等。将数据采集终端与在线监测仪器连接，采集监测设备原始数据、完成数据的本地存储、并通过传输网络与监控中心上位机进行数据通讯传输，数据最终存储在监控中心。来自采集终端的数据在整个环保物联网的架构中具有重要地位，它是一切高端数据融合与业务应用的基础。感知数据的管理与处理是实现以数据为中心的物联网的核心，感知数据管理与处理技术包括感知网数据的存储、查询、分析、挖掘、理解以及基于感知数据决策和行为的理论和技术[2]。在嵌入式终端中的数据管理通常会考虑使用嵌入式数据库，如SQLite等。但这种管理方式通常对嵌入式操作系统、内存及微处理器的支持均有较高的要求。而在低端的嵌入式系统中,常用的数据管理方法是对数据存储空间按顺序编号,数据存储与删除均根据编号顺序操作。这种管理方法一方面增大了程序编制的难度,软件响应时间长，另一方面可能造成存储空间利用率不高[3]。环保物联网的末梢节点通常都是一些资源比较有限的瘦节点，同时由于业务的不同，环保物联网数据管理也有其自身一些具体特点，因而需要寻求一种适合环保物联网汇聚节点实际使用的数据管理方法。

1 环保物联网数据采集

环保物联网由于其业务的特殊性，因而数据采集技术也具有其特点，以下从数据采集架构和数据特点两个方面来分析环保物联网内在的数据采集需求。

1.1 数据采集架构

在研究中，我们把环保物联网的数据采集架构可以分为三层，即感知层、逻辑层与业务层，这种分层架构与我国环境保护行业标准HJ/T212-2005兼容[4]。感知层通过对其敏感数据的测量，完成原始数据的采集，并将逻辑层感兴趣的数据通过汇聚节点传输给逻辑层，传输链路分为有线和无线方式，目前以无线方式居多；逻辑层收到感知汇报数据，通过各个逻辑模块之间的横向联系，以数据融合手段形成业务层所需要的融合信息整体视图，数据融合大部分是根据具体问题及其特定对象来建立自己的融合体系。

1.2 汇聚节点的数据特点

数据处理面临的首要问题是数据量大，流程复杂。在环保物联网中，感知层的汇聚节点所面临处理的数据大致可以分为以下几类：1）实时数据，即来自AD转换设备的模拟量与来自于通讯的数字量；2）历史数据，来自对实时数据的统计处理结果；3）报警数据，来自报警监测，挑报警的通道数据上报实时数据和报警类型标识；4）通信数据，按照通信协议的格式组合而成的字符流；5）消息数据，对不同队列，消息格式也稍有不同，可携带数据。通常环保物联网是24小时运行的，因而数据量比较大，数据交织比较明显，这几种数据在环保物联网运作中呈现出复杂的数据流程。

其次是数据源的异构性。在环保监测中，感知层的各个感知节点被分布在地里环境上不同的位置，每个节点的工作环境各不相同，采集到的环境指标也有较大差别。汇聚节点面临这些异构性质的数据时，对每种数据源都给定一种具体的处理是一种传统的做法，但此种做法会导致两种后果，其一是使得程序控制的复杂性增加，二是使感知层的可扩展性受到影响。

从以上分析可知，在环保物联网实际运作中，数据量大且来源复杂，处理流程较为复杂。因而从整个数据采集架构来看，感知层汇聚节点在其中扮演着一个重要的角色，不仅要完成数据的接收，而且要针对逻辑层模块需求对数据进行压缩和梳理，一个科学有效的数据管理机制显然是提高工作效率的关键。

2 物联网汇聚节点数据管理架构

针对以上分析，汇聚节点的数据管理涉及到数据的梳理、组织与存储，研究中通过反复研究比较，我们为感知层数据采集提出 “数据匣子”的理念，即在汇聚节点上通过软件手段加入一个便于管理及使用数据机制。

感知层的汇聚节点与感知节点通常是强或弱的耦合关系，依靠有线或无线方式的链接通路来联系。设计中我们在汇聚节点的控制软件中设置一个链路相关的数据管理机制，即在下位链路创建的时候，依据这个创建动作，触发一个例程为每个上报节点动态分配一个自定义数据对象，如图2所示。在技术上包括总体设计、数据结构及算法方面的论述。

3 协议设计

此处的协议解决的问题是采集数据中汇聚节点与感知节点如何交互。设计到链路形式，交互方式，以及支撑所需的数据结构与交互流程。

图1 环保物联网数据采集架构Fig，1 Data collection framework of environmental IOT

图2 汇聚节点数据采集机制Fig，2 Data collection mechanism of sink node

协议首先规定通信方式，要管理的数据对象依据其来源可以分为两大类，即模拟量与数字量，因而通信链路形式依据数据源类型可分为两类，即AD采集的硬连线和数字采集的各种现场总线。就其实现形式上，可以是有线或无线的链路，如图2所示，感知节点与汇聚节点的之间，实线连接代表有线，虚线连接代表无线。就通信方式而言，其中AD采集为主动实时同步方式，数字采集则有被动间歇式和异步主动问答式。

一般下位感知节点数据采集有几种形式：

1）全主动式，即无需上位干预，总是间隔单位时间就上传其数据，这样当链接建立之后，感知节点就以出场协议规定的数据帧格式自动输出其感知到的数据；

2）异步问答式，若没有上位询问，则下位感知节点一直沉默，不反馈其测量结果。若收到上位询问，则感知节点以协议格式输出数据帧；

3）开关式，即连接建立后需要上位汇聚节点发送一个启动命令，感知节点收到该命令后，即响应命令，以单位时间为间隔由链路输出协议格式规定的数据帧。

其次在汇聚节点上为感知节点定义用以通信和存储的数据包格式，应包含类型域，节点标识及数据。其中类型域反映数据源类型为模拟量或数字量，节点标识包含了能反映出感知节点身份的数据源唯一标识。

3.1 数据结构

由于感知节点的数据通常受其厂商标准限定，其通信协议具有异构性，因而每个感知节点的通信特征不同，具体体现在其帧头、帧尾，还有询问命令字。

为了对采集的数据进行统一管理，每个感知节点的数据对象定义在汇聚节点上，这种做法的一个明显的优势是系统介入度较小，软件设计除了对汇聚节点有要求外，不对感知节点造成任何影响，并且支持不同的下位通信协议。对感知节点特征对象定义，就其逻辑结构而言它是一个综合结构体，数据以线性表形式组织。而位于汇聚节点的数据盒子，其逻辑形式为链表结构。

综合以上分析，汇聚节点数据盒子的字段结构应包含以下信息，如图3所示。

图3 汇聚节点管理数据包格式Fig，3 Management package format of sink node

1）感知节点标识，它是为感知节点分配的一个编号，是每个感知节点的唯一标识；

2）感知节点数据类型，代表是模拟量还是数字量；

3）感知节点协议类型，取值代表全主动式、异步问答式及开关式；

4）感知节点数据特征字，即记录起始标识位与结束标识位；

5）感知节点数据采集过程地址，存放指向针对该节点采集数据的解析函数的指针；

6）感知节点的数值，存放最新采集到的节点实时数据。

另外，汇聚节点上报数据应包含汇聚节点的标识和所有感知节点的数据。对逻辑层上位而言，可能还需要知道感知节点的逻辑意义，以便完成信息融合。基于这个考虑，上报的数据包除了包含汇聚节点标识信息，从数据盒子中抽取的实时数据外，还需要包含所有感知节点身份标识。若是数据融合放在感知层进行，则上报时只需上报融合后的结果，否则还需要所有感知节点的身份信息。

3.2 算法设计

1）数据盒子生成

感知节点向汇聚节点传输采集到的原始数据时，先要检测其耦合链路是否存在，若不存在，则创建链路，同时为该下位节点创建数据收纳盒对象；若存在，则数据盒子也存在，则将执行数据采集过程。

2）感知节点编址与寻址

对于一个汇聚节点来说，为了便于管理其连接的感知节点，需要对节点进行编址。对感知的编址要保持与创建链路同步，只要汇聚节点为感知节点成功创建一个链路，即为其分配一个局部唯一的节点编号。需要考虑的是，汇聚节点的下位链路分为无线与有线两种，无线链路建立时可以容易地触发创建编址过程；而有线连接的感知节点通常各式各样，接口、协议也不尽相同，因此这些感知节点的编址需要用起始帧作为启动条件，因此可以由起始帧来触发创建编址的过程。另一个需要考虑的问题是感知节点的扩展问题，当在感知层加入一个新的感知节点，汇聚节点应能识别并管理此节点，当该感知节点加入后，若未对其编址，则在其建立链路时，对其编址。

汇聚节点对于感知节点的寻址主要是根据一个节点的标识来确定其位置，寻址一般使用直接寻址，用于在接收到某个数据包时，在链表结构中查找对应的数据盒子。

3）汇聚节点数据上报

汇聚节点数据上报算法至少需要包含两个操作：

感知数据提取，感知数据提取涉及到每个节点数据的解析，对于没有首位标识的数据包，一般都是定长数据，依据其遵行的数据格式进行转换得到结果，如符合IEEE754标准的浮点表示；而对有首尾标识的数据包，长度不定，其数据字段的长度也不定，因而应按照协议规范来分解字段，从而得到数据结果。将得到的数据填充到对应的数据盒子中，这个操作按照设定的间隔周期性执行，即实现汇聚节点周期性实时数据刷新。

汇聚数据包的组织，以线性链表遍历的形式，依次抽取数据盒子的实时数据，感知标识，组装成一个新的结构体链表。

4 结束语

环保物联网也是一个数据敏感的应用领域，对数据进行科学的管理尤其关键。本文提出的感知层汇聚节点数据盒子的理念，适合于轻量级的数据管理，不需嵌入式操作系统支持，不需要动用嵌入式数据库，并且软件设计中可以容易地做到与数据库兼容。同时该方法能够满足国标与现实应用的需求。

[1]耿盼盼.通用物联网数据采集与分析平台的研究与实现[D].青岛:中国海洋大学，2013.

[2]李建中，李金宝，石胜飞.传感器网络及其数据管理的概念、问题与进展[J].软件学报，2003（10）:1717-1727.LI Jian-zhong，LI Jin-bao，SHI Sheng-fei.Concepts， issues and advance of sensor networks and data management of sensor networks[J].Journal of Software，2003，14（10）:1717-1727.

[3]徐艺文，魏云龙.利用μC/OS任务调度算法实现嵌入式数据管理[J].单片机与嵌入式系统应用，2011（5）:25-27+69.XU Yi-wen，WEI Yun-long.Embedded data management using C/OS task schedule algorithm[J].Microcontrollers&Embe dded Systems，2011（5）:25-27+69.

[4]HJ/T212-2005，Data Transfer Standard for On-line Automatic Monitoring Pollution Sources and Control System[S].2005.

[5]吴建，裴峰，王琣楠，等.基于LabVIEW的多通道数据采集系统设计[J].电子测试，2013（Z1）:52-54.WU Jian，PEI Feng，WANG Jun-nan，et al.Design of multichannel data acquisition system based on LabVIEW[J].Electronic Test，2013（Z1）:52-54.

[6]任晓莉.基于物联网与客流估计的智能公交调度设计[J].电子设计工程，2013（4）:22-25.REN Xiao-li.Design of intelligent bus scheduling based on internet of things and passenger flowestimation[J].Electronic Design Engineering，2013（4）:22-25.