论动环物联网数据处理能力

2017-09-27景强陈超

物联网技术 2017年9期

景强+陈超

摘要：为了更合理地将物联网相关思想和技术运用到动环监控领域，文中采用对数据处理过程进行分层的方法分别论述数据的来源和特性，并分析各层对于数据处理的功能需求和质量需求。在分析过程中，以深圳中兴力维技术有限公司的数据分层架构和相关实际产品为实验对象，做了相关数据流汇聚、接入、处理等实验，获得了各数据分层典型的性能数据结果，得出“以中间件服务为核心对不同行业应用提供数据”的结论。

关键词：物联网；动环监控；中间件服务；数据

中图分类号：TP393 文献标识码：A 文章编号：2095-1302（2017）09-00-07

0 引言

自上世纪90年代末提出物联网概念以来，经过近20年的发展，全人类的思维正逐步从互联网下“人的信息化”认识过渡到物联网下“整个世界的信息化”认识[1]。

物联网系统是全行业的融合，凡是产生的信息都能够接入，且这些信息的采集不再依托人的感知，而是靠设备本身的感知能力，感知所产生的海量数据通过物联网利用云计算和边缘计算使得物与物直接进行通信交流，从而自动、智能的为人服务 [1]。

物联网将过去分散的、无法自我表达的一切事物注入灵魂，并放到互通的网络里进行交流、分析并产生价值[1]。同时也为我们提供了望远镜和显微镜的功能[2]，鉴于信息的碎片化和多样化，新的商业模式在此基础上产生[1]。

从历史的发展来看，每一次技术革新都会带来产业革命并推动社会变革，它们通常遵循新技术+原有产业=新产业的模式[3]。产业升级示意图如图1所示。

随着物联网的发展，其各项技术及相应的意识形态犹如洪流渗透到各个产业，同时也为传统动力环境监控产业带来了全新的面貌和发展机会。作为深耕20多年有着深厚积淀的动力环境监控企业——深圳中兴力维技术有限公司（简称“中兴力维”），在这股席卷全球的浪潮中准确把握信息脉动，创新性地提出以信息数据流为导向创建企业研发架构，根据数据采集、数据汇聚、数据接入、数据处理以及数据呈现等信息处理环节对架构进行分层，并在各层中部署公司的各项核心技术，通过横向和纵向组合各项核心技术发展各种软硬件产品。

本文的主旨在于探讨分析动环物联网中环境及动力设备的特性以及所产生的数据流向及处理过程。

1 数据的“物”

物联网将整个世界信息化，意味着信息化后的数据是物联网的血液，为物联网中各项应用输送养分。故在将数据应用到业务中前，需从品质关注点分析数据来源及数据组网过程。

在动环物联网中，主要利益相关者是通讯行业、电力行业、交通轨道行业、数据中心等拥有基站、通讯机房、数据机房的用户，提供的主要服务是对基站及机房内环境及动力设备进行监控、管理，通过数据综合分析及对事件及流程的综合管理，来保障基站及机房的安全、高效运行。所以动环物联网的数据主要来源于环境的传感接入、动力设备接入、安防设备/系统接入、第三方动力环境监控系统接入。数据源如图2所示。

1.1 传感器

传感器根据接入类型可分为有线接入和无线接入，其细分种类和特性见表1所列[4]。

对于动环物联网来说，由于受到低功耗及应用场景（机房内有机柜障碍或用户明确规定不使用无线传感）的限制，比较常用的三种传感器分别为模拟传感器、单总线传感器和ZigBee无线接入传感器。

在传感领域，中兴力维自主研发了多种有线、无线传感器，如模拟温湿度传感器、水浸探头、空调控制器、防盗傳感器、单总线数字温湿度传感器、ZigBee无线传感器等。

1.2 智能设备

在动环物联网中，凡是能够提供特定硬件通讯接口连接到采集器，可通过特定数据交互协议与该设备进行通讯，从而获取该设备提供的数据信息的设备统称为智能设备。一般的智能设备在实现特定功能的同时，自身集成了很多传感器，可实现一些状态监测、调整、干预和报警等功能。

硬件接口一般分为串口、网口以及无线接入（通过端对端无线转换，最终通过有线方式接入采集器）。对中兴力维所接入的2 000多种智能设备进行分析，得到表2。

大多数基站及机房设备提供的接口为串口，因为通讯速率要求不同而导致数据接入速率不同，同时也因为数据交互协议不同而再次对数据接入速率进行约束，智能设备所支持的协议分析表格见表3所列。

对于动环物联网来说，出于成本、数据量以及实现的原因考虑，纳入监控系统的智能设备多以串口为主。而在可选的串口硬件类型中，考虑到布线方便、抗干扰能力以及传输距离，又多以RS 485（最远可达1 200 m）为主。

中兴力维技术在动环领域研发和应用了多款具备综合采集能力的智能设备产品，如温湿度采集设备、UPS蓄电池组的高压监测设备，具备蓄电池电压/温度/内阻以及均衡活化功能的蓄电池综合管理设备、实现油机控制切换的ATS设备、实现空调控制的红外控制设备、单路以及多路电表设备等。

2 数据的“网”和“联”

在传统动环监控领域中，基本的组网模式如图3所示。

从各层的命名上，我们不难看出传统动环监控系统的分层理念是以功能划分为主：

（1）FSU：实现传感器和智能设备的数据采集，并提供上行接口实现采集数据的上报；

（2）LSC：实现采集数据的处理、存储，在区域监控中心提供平台，为用户提供数据监控、告警管理、报表查询输出、流程及事件管理等功能；

（3）CSC：一般在大型系统中，在集中监控中心提供平台，为用户提供全网管理功能。

即在传统动环监控系统中，强调功能概念而非数据概念，数据只为当前的功能服务，并未充分考虑数据网络需要的品质特性（海量增长可用性、数据通讯及时性、数据存储可靠性、数据访问安全性）。同时没有把数据作为宝藏对其深度挖掘，未体现其潜藏的价值。endprint

针对上述问题，中兴力维充分认识到动环物联网时代中接入的传感、设备所产生的数据犹如人类的供水系统，各种面向用户的系统都在此基础上诞生，而系统中使用的软硬件均围绕如何更好的管理和利用“水流”而设计。基于“数据为王”的理念，发展出的动环物联网系统架构如图4所示。

2.1 数据原始积累

在动环物联网中数据的原始积累过程主要集中在数据感知层的传感器以及智能设备、数据汇聚层的物联网关以及数据接入层的接入存储平台。

数据感知层的传感器以及智能设备作为数据的原始来源已在前面有所分析。从分析结果看，当前动环物联网系统中涉及的智能设备多以串口接入为主，所以后续分析物联网关接入能力时，以串口智能设备接入为主。

以数据流向决定的分层架构最符合物联网中对于“网”的构成以及“联”的创想。以数据的生产和分析处理做出定量和定性的分析。

物联网关接入能力是指在单位时间内能够接入的传感器以及智能设备采集的监控点数量。

监控点代表传感器或智能设备所能提供的能表征或改变某个环境或设备状态的信息点。一般根据信息的可操作性和数据特性分为如下几项：

（1）模拟输入监控点：传感器或设备上有连续变化的信息，则采集的数据一般使用浮点数表征，如环境温度。

（2）数字输入监控点：传感器或设备上有离散变化的信息，则采集的数据一般使用整形（一个位或一个单字节）表征，比如空调只有开和关两种状态，用一个位即可表征，再如蓄电池有浮充状态、均充状态、测试等多种状态，需要用多个位或一个字节表征。

（3）模拟输出监控点：传感器或设备上有连续变化的信息，可通过设置此信息改变传感器或设备的状态。比如空调的温度设置点，我们可以通过设置来改变空调的运行状态。

（4）数字输出监控点：传感器或设备上有离散变化的信息，可通过设置此信息改变传感器或设备的状态。比如油机开关，我们可以通过控制来使油机运行或停止动作。

2.1.1 物联网关汇聚及接出能力

评估物联网的汇聚能力主要根据其硬件处理能力、对外提供的端口数量（包括传感器端口和智能设备端口数量）、传感器或智能设备通讯速率，以及传感器或智能设备提供的数据格式。

物联网发展技术的必要条件之一就是嵌入式软硬件的性能提升和价格下降，当下嵌入式处理器的运算能力均为几百Mb/s或者更高，而对于绝大多数为低速接入的传感器或智能设备而言，虽然不构成直接瓶颈，但一般由于物联网关需要通过多进程或多线程的方式管理多种硬件端口数据通讯以及其他事务（如自检、北向通讯、存储等），所以处理器的资源不会完全使用到数据采集上，通常保守估计约60%。

传感器数量对于单台物联网关而言一般不会超过50个，所以我们对传感器的接入可忽略不计。

对于一般的串口智能设备来说，其数据通讯效率受以下几方面影响：

（1）受其他功能的影响而无法完全占用处理器资源，保守估计约60%；

（2）假设可达到的最高速率为115 200 b/s（每个字节在传输过程中占用10位），但其提供的采集点有可能是占用多个字节的模拟量，或者1个位/字节的数字量。根据历史经验综合来看，其提供的每个监控点平均占用2 B，理論上每个串口每秒能够提供的监控点数量为115 200/10/2=5 760，然而综合上述各种影响因素分析，其接入能力公式如下：

Cin=（115 200/10/2） ·Rd·Ng·Rg；

其中：Cin代表采集监控点数量；Rd代表智能设备通讯效率；Ng代表串口数量；Rg代表物联网关通讯效率。

而物联网关的接出能力（与数据接入层的接入存储平台之间的数据交互能力）也可称为数据读取速度，主要受通讯接口速率以及处理器效率的影响。

中兴力维根据不同的应用场景，推出了高、中、低三款物联网关产品。

低端的IG1000产品应用于小型化接入场景，比如商场冷柜监控接入、铁塔拉远站监控接入等，提供2个串口。其通讯效率约为50%，其采集能力见下式：

Cin（IG1000） = （115 200/10/2）×60%×2×50%>3 000个监控点/s；

2个串口支持485并接，IG1000能够支持100台设备的汇聚采集。IG1000北向提供100 M网络和移动无线宽带通接口，数据读取速度可达10 000条/s。

中端IG2000产品应用于各行业及运营商站点以及各种数据机房。其通讯效率约为60%，最多可提供16个串口。其采集能力如下：

Cin（IG2000） = （115 200/10/2）×60%×16×60%>30 000个监控点/s；

16个串口支持485并接，IG2000能够支持1 000台设备的汇聚采集。IG2000北向提供100 M网络和移动无线宽带通接口，数据读取速度可达80 000条/s。

高端IP3000采用Intel处理器解决方案，融合业务平台管理功能，主要应用于独立中小机房或大型机房。可以接入50个基础物联网关，在实现业务平台功能的同时，其采集能力高达200 000/s，可支持10 000台设备汇聚采集。IP3000北向提供1 000 M网络和移动无线宽带通接口，数据读取速度可达1 000 000条/s。

2.1.2 接入存储平台

接入存储平台位于数据接入层，在动环物联网系统中的作用犹如巨大的储水罐。

（1）入：同构或者异构接入采集物联网关获取物联网关上采集的传感和智能设备数据；接入视频设备；接入第三方数据采集系统（比如安防系统、异构数据平台等）；

（2）储：为各类采集数据提供快速缓冲式存储以及持久化存储；endprint

（3）出：为“数据处理层”提供实时和历史数据访问接口。

物联网的数据量在以每年50%的速度增长，预计到2020年，相较于2010年，数据量将增长近30倍。而随着物联网的发展，通讯网络的升级势必造成大量站点接入动环物联网系统；数据信息的爆炸式增加势必造成大量及大型数据中心的出现并接入动环物联网系统。

根据中兴力维对数据中心的数据量的分析，得出在低密度采集数据方案下，每天采集数据14亿条，相当于288 GB，每年的数据总量达到195 TB。而在高密度采集数据方案下，每天采集数据168亿条，相当于3.45 TB，每年的数据总量达到1.26 PB。

面对如此巨大的数据量，传统动环监控系统下的组网方式以及结构化数据库存储架构已经完全无法满足“大数据”的需求。

在充分研究分析并掌握动环物联网系统的“大数据”特性之后，中兴力维深入研究了分布式及云存储技术，结合多年积累的数千种接入协议，打造出适用于物联网系统的新一代接入平台iCap，采用分布式架构，支持横向堆叠扩充。其单台服务器的接入能力高达3 000 000 数据/s，或600 MB/s。

2.2 数据分析处理

在传统的动环监控系统中，数据的处理主要分为图5中的两种处理方式，

在早期的动环监控系统中，受嵌入式技术发展的限制，FSU主要作为采集单元负责采集传感器和智能设备数据，并提供北向接口被动接受平台的数据查询，在性能需求的基础上加入主动上报变化数据的功能。

随着嵌入式技术的发展及价格的下滑，各行业对于北向接口（B接口）的规范化，顺应动环监控系统的扁平化需求，同时由于动环监控系统中接入设备及监控点数据的猛增，为减少平台处理压力，平台侧的告警以及统计分析功能下沉，在FSU側实现标准化的告警及统计分析（为保证数据完整性并且提供存储功能），如目前铁塔监控系统的搭建就基于这种模型[5]。

我们之前分析传统动环监控系统的架构主要基于功能进行分层，而进入物联网时代以后，动环监控系统打上了物联网的烙印，动环物联网系统的架构主要基于数据进行分层。

动环物联网的数据首先无法脱离“5V”特性，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实）。对于数据从产生到商用的全生命周期过程，需要包含一系列处理过程，我们根据纵向和横向特性进行分析，其完全符合“竹蜻蜓”模型，如图6所示。

竹蜻蜓是一种中国传统的民间儿童玩具，流传甚广。竹蜻蜓由竹柄和“翅膀”组成。在玩耍时，双手一搓，然后松开，竹蜻蜓就会飞上天空，旋转一会儿后落下。

竹柄的作用有两点，一个是用于搓动，带动翅膀的旋转；二是稳定在空中的飞行姿态。其形状类似数据分层结构中纵向的数据流向及处理过程，其功效与数据的推动性及可靠性暗合。

翅膀的作用是旋转产生浮力，使竹蜻蜓飞翔。其形状类似于通过数据使“物物相联”的数据横向流向及处理过程，其功效与数据真正价值暗合。

感知层主要用来产生数据，由于传感器受成本及简洁性约束条件的限制，持续不断地采集数据，通过简单的硬件设计保障数据的可用性、可靠性，而不会通过软件对数据进行加工处理。如果需要通过软件对数据进行加工处理，势必会增加传感器的硬件成本。对于智能设备而言，其内部拥有智能处理单元，可以对自身采集的传感数据做一定处理，通常采用去毛刺、滤波等处理方法。接入动环物联网的传感器及智能设备来自不同厂家的不同型号，所以其数据处理过程不是动环物联网的主要研究对象。换言之，如果在感知层做太多的数据处理，反而会影响被感知环境的真实性。

2.2.1 纵向数据处理

我们对于数据处理的讨论主要集中在数据汇聚层、数据接入层、数据处理层和数据业务层。从分层角度透过数据流向看纵向过程，数据处理可以在不同层进行，每一层都有其优缺点。

传统的数据处理过程基于业务功能考虑，即主要根据业务属性进行数据处理，比如告警判断和统计分析。告警判断是指根据业务需求（用户指定的告警需求，或者各种接口数据交互协议规定），将采集到的监控点数据的不同取值或者范围定义为不同等级的告警区间，当采集值处于规定范围内时产生告警信息，并将告警信息直接或在加工后间接呈现给用户，比如温度的多级告警（过低、过高、超高等）。而统计分析是指为实现特定的业务功能，选择相应的采集监控点，设定相应的数据密度采样策略，以达到业务分析的目的，比如电量的整点统计（每半点或者整点采样电量）。

在目前大多数的动环监控系统中，从不同的角度考虑，告警和统计分析的数据处理过程可以放到数据汇聚层，即FSU侧，其目的是可运用FSU的分布式计算能力，但FSU侧的分析算法可能会经常根据用户的不同需求进行调整和优化，从而影响FSU提供数据的性能。告警和统计分析的数据处理也可以放到数据接入层（也是呈现层），即业务平台侧，其目的主要是便于根据用户需求快速实现告警和统计分析处理与呈现，但在大规模系统中平台的处理性能有可能会出现瓶颈。

中兴力维根据数据的分层架构，重新定义数据特性及数据汇聚层与数据接入层对于数据的处理实现。

在数据的纵向处理上，将业务特性从数据基本属性中剥离出来，将数据的汇聚过程抽象和简化为订阅和查阅两种。

订阅方式种类多样，主要根据业务需求采用不同的订阅策略参数来进行控制。可包含如下订阅方式：

（1）门限订阅：类似于之前的告警主动上报，主要通过限值的判断达到订阅目的；

（2）变化订阅：通过变化阈值（绝对/相对）来达到订阅目的；

（3）周期订阅：通过设置和调整周期长短达到订阅目的；

（4）整点订阅：通过设置整点（或半点）方式达到订阅目的；endprint

查阅分为实时数据查阅和历史数据查阅，由上位机发起，由下位机应答。

基于纵向数据梳理的品质需求（完整性、及时性、可用性），中兴力维定义了数据汇聚层与数据接入层之间的动环物联网交互协议（B接口协议），并对已经接入的2 000多种智能设备做了全面的分析，形成了力维的字典表。字典表中包含各类设备和各类监控点的标准化信息（如名称、类型编码等），以及与类型相关的数据抽样采集密度的经验属性参数。

数据汇聚层的物联网关主要的数据处理就是根据字典表规范化采集数据，并通过简洁的B接口协议快速提供数据到接入平台；而数据接入层的接入平台主要的数据处理就是根据字典表接入、整合以及存储由物联网关提供的采集数据。

2.2.2 横向数据处理

大数据时代带来了密集采集的需要与全生命周期的跟踪，给了我们密切关注被监控设备在整个生命周期中表现的良好机会，所以动环物联网要对接入的传感器及设备进行全生命周期管理，势必带来四大挑战：

（1）数据采集的密度以指数形式上升，对于数据各承载环节的数据吞吐能力和处理能力是一个挑战，因为CPU有限；

（2）只有在物物相联的基础上，才能够横向运用物联网设备，整个产业才会兴盛，但如果将数据分析放在前几层则无法进行数据碰撞；

（3）不同行业领域的个性定制化需求及数据的持续挖掘；

（4）智能设备的“去伪智能化”：弱化人工干预控制，简化用户操作，提供更加完善的服务；

中兴力维认为，在大数据时代的最佳数据处理方式，是在数据处理层置入一个用于数据清洗、处理、分析的中间件，即动环大数据分析引擎DCG-D。对动环大数据分析引擎DCG-D有如下要求：

（1）能快速导入及存储速率高达3 000 000数据/s的数据；

（2）能提供高速查询，100亿条/s；

（3）能利用预置模型进行在线机器学习与告警分析。

由此以来，可以达到以下几个目的：