探析面向大数据物联网的中间件技术

摘 要：物联网IoT技术栈获得快速的发展，将传感器的感知数据与云端平台相耦合，广泛应用于社会各个领域，然而随着大量感知数据的产生，传统的物联网技术难以进行大数据环境下的机器学习，为此要重点关注和探讨面向大数据物联网的中间件技术，设计和应用一种通用、轻量级的面向大数据的IoT中间件平台，打造端云一体化的界面，满足用户的使用需求。

关键词：大数据;物联网;中间件;技术

一、 引言

物聯网中间件技术通过链接智能硬件设备和云端，能够对感知层物联网智能硬件进行灵活扩展和动态更新，实现物联网的实时感知和云端耦合，充分展示端云一体化的局面，体现出其高效稳定性的功能。

二、  MDM-IoT中间件平台总体方案设计

（一）MDM-IoT中间件平台架构设计随着智能硬件终端的数量激增，MDM-IoT体现出高效稳定数据承载能力和大数据训练能力，该平台主要实现以下几个功能。

1. 海量数据处理功能。大数据服务器集群集成有多种算法，如：分布式哈希负载均衡算法、加权轮询负载均衡算法，实现多任务的并行运行。并采用分区存储的方式，将单个大数据服务器划归为一个区，实现对海量数据的处理。

2. 动态算法扩展功能。利用算法服务器的注册接口，实现数据分析。并在容器技术的支撑下，实现定制算法的灵活快速扩展、部署和管理。

3. 远程监控功能。利用长连接机制实现智能硬件终端和MDM-IoT中间件的链接，并添加自主设计的心跳数据，实时监控智能硬件终端的状态，并完成智能硬件终端应用程序升级、工作状态切换等功能。

（二）大数据服务器架构设计

1. 通信长连接方案设计。要建立并保持服务通信长连接方案，由信道进行后续信息请求的发送和传输，能够有效实现高并发、大流量条件下的负载均衡。

2. 负载均衡算法设计。可以采用源地址Hash算法，当采集物联网终端的IP信息后，由服务器进行Hash计算，预先设置好每一个服务器的最大连接数，实现服务器与智能终端的IP绑定和链接，当超出其阈值时即更换其他服务器完成响应。也可以采用加权轮询算法，以时间较长的某台物联网智能终端数据量为重，数据量最小的为轻，通过增添权重概念的方式，减少数据量大的终端所需等待的时间，提高系统负载的均衡与稳定。通过上述两种算法进行负载均衡，实现数据传输和固件升级服务。

3. Node节点设计。引入一致性Hash的理念进行Node节点故障的自动排查和扩展，体现出平衡特性、单调特性、分散特性和负载特性。

4. 数据分区分级缓存设计。按照优先级别采用异步队列，多进程并行执行信道数据的分级缓存、解析和封装处理，包括心跳数据、监控数据、感知数据等，为算法服务器提供数据支持。

5. 远程IoT终端固件升级设计。要改变传统物联网终端功能单一的状态，必须在大数据服务器的支持下进行重新定制开发，将Hex固件直接远程下发至物联网终端，进行自身功能的更新和固件升级。

（三）云计算算法服务器的设计引入容器技术，利用Docker镜像做算法镜像，方便算法更新，减少系统资源的无谓损耗，体现出极其轻量、秒级部署、移植简便、弹性伸缩的特性，实现大数据训练的高效可靠性扩展。同时，在进行算法镜像打包、建立、认证、部署、命名等操作时，要依循如下两大标准：算法运行标准和算法镜像标准。

三、  MDM-IoT在感知层的耦合设计

MDM-IoT支持主流串口、网络和无线等多种协议，并设计有自主研发的数据不丢包耦合协议，实现丢包数据的及时补发和处理，确保大数据处理的稳定高效性。

（一）MDM-IoT大数据服务器网络模型设计

MDM-IoT的消息推送技术主要是依据TCP/IP协议进行重新封装和优化处理，利用其内核特性重点监控活跃的fd，并构建IO多路复用模型，打造高并发的消息中间件系统。

（二）MDM-IoT大数据服务器通信协议设计

基于物联网的智能硬件设备作为Client端，要对通信整体数据流进行解码、校验、数据完整性查看、数据分类、数据分析和数据展现，之后再进行Cache域感知数据的发送和及时清空，设定三次重新数据发送机制，当三次心跳数据传输均没有获得 MDM-IoT中间件响应数据时，即视为传输网络出现故障，默认自动重新链接。

四、  MDM-IoT在应用层的耦合设计

（一）应用层耦合框架设计在Web前部分采用Tornado异步服务，快速响应MDM-IoT数据中转信息。在Web部分则采用Django和BootStrap两种架构，以更好地适应快速部署和应用服务扩展升级。

（二）远程升级终端应用服务框架设计MDM-IoT集成远程应用升级服务，对远程可控的物联网设备进行应用升级，并采用反向追踪算法，查找设备fd并下发更新指令，完成设备自动升级。主要包括有：云端追踪终端服务架构、云端升级终端服务架构。

（三）云端算法服务器算法注册更新设计MDM-IoT集成算法注册接口，采用Kuberbetes平台管理算法服务器数据流，用户可以根据自己的算法文件进行上传绑定，实现大数据下的训练模拟。

五、 结语

综上所述，随着物联网的快速发展，要进行大数据服务器网络架构和算法服务器架构的设计，实现智能硬件与云端技术的一体化融合，通过将物联网MDM-IoT中间件技术与智能硬件相对接，并配合云端算法服务器的接入，提高系统的可扩展性和安全稳定性，摆脱传统物联网在本地的局限性，使整套物联网架构更加具有生命力。

参考文献：

[1]聂祥.软件定义物联网分布式控制机制研究[D].长沙：湖南大学，2019.

[2]张衡.蓝鸽校园版物联网管控软件交互设计研究与实践[D].长沙：湖南大学，2019.

作者简介：王练练，中博信息技术研究院有限工程。