基于MongoDB的大容量测控数据集成平台设计

天地（常州）自动化股份有限公司 高 文

基于MongoDB的大容量测控数据集成平台设计

天地（常州）自动化股份有限公司 高 文

针对目前远程测控数据集成工程中大容量数据集成平台可用性不高和价格昂贵的问题，提出了一种基于MongoDB的大容量测控数据集成平台设计方案，重点阐述了远程测控数据集成工程的现状与问题、基于MongoDB的大容量测控数据集成平台设计方案架构、功能组成和关键技术。

MongoDB；数据采集；测控

1 引言

远程测控数据集成工程是近年来新兴的一类自动化数据集成工程项目，这些工程项目的特点是并发性高、数据量大、实时性要求相对较低。随着企业不断发展，工业过程日益复杂，现场产生的测控数据采用传统的关系型数据库和单机实时数据库已经无法满足现有的数据处理要求[1]。

笔者从方案的高扩展性、低成本和实用性方面考虑，设计了基于MongoDB的大容量测控数据集成平台方案。该平台可用于采集、处理和存储海量的测控数据，并支持用户快速的对数据进行各类前端可视化。本文将着重阐述远程测控数据采集工程的现状与问题、基于MongoDB的大容量测控数据集成平台架构设计和关键技术。

2 远程测控数据采集工程的现状与问题

近年来，随着各类远程测控数据集成工程的实施和应用，生产管理人员可以随时掌握现场生产情况，及时指导现场管理，大大提高了生产效率[1]。信息管理系统要求能够处理多样性的数据类型，包括结构化、非结构化数据和Web数据等，要求能够实现海量数据的高效率存储和访问需求[2]。

但是在实际工程实施和应用中，大部分现场仍然采用传统的关系型数据库存储实时数据或单机版实时数据库产品。这些方案主要局限性在于以下几点：

2.1 单机数据库产品容易出现纵向扩容瓶颈

使用量较大的单机数据库很少完美支持大规模横向扩展的特性，一般仅支持计算机硬件的纵向扩展。在远程测控数据集成工程的实际应用中，由于越来越多的项目是一个厂区、一个集团公司甚至一个地区所有的测控系统数据集成，因此常常出现性能不够的情况，

2.2 后端数据处理平台与流行的前端界面技术兼容性不佳

对于使用了专业实时数据库的集成平台来说，前端界面一般由组态软件提供。但是对于流行的大多数基于Web技术的前端界面与这些平台的交互就比较困难，没有成熟的接口，并且经常出现托管型代码调用非托管API出现的内存越界和内存未正确释放等问题。

2.3 专业实时数据库支持的数据类型较单一

大部分专业的实时数据库归档能力较强，但是支持的数据类型比较单一，比如仅支持模拟量、开关量等数字类型，一般不支持用户自定义结构类型或者字符串类型等。这样就在实际应用中产生较大的局限性，类似人员行走轨迹数据、文字数据、语音数据和图像视频数据就不方便归档存储。

3 基于MongoDB的大容量测控数据集成平台架构设计

基于MongoDB的大容量测控数据集成平台整体架构共分五大部分，分别是数据采集、数据缓存、数据处理容器、数据存储和前端界面。

数据采集模块负责从子系统中采集原始数据，可支持OPC、文本文件、Http以及自定义等几种采集方式；数据缓存模块负责在内存中暂时缓存数据，并提供常见的缓存失效、刷新机制；数据处理容器提供了一个数据处理插件运行的环境和框架，容器可提供加载、卸载、重启、监控等功能；数据存储模块以MongoDB为基础，提供了多种类型数据库的存储接口；前端界面模块使用当前较流行的Web技术开发，与后端数据库无缝集成，提供了丰富的数据展现形式。采用上述的架构方案后，集成平台将形成一个简洁的内核。在这个内核的基础上，再以插件的方式开发业务功能。

4 基于MongoDB的大容量测控数据集成平台关键技术

4.1 测点和数据类型的设计

无论集成平台集成的是什么类型的数据，本次设计均把这些数据归类为有限的几种测点类型。平台支持的数据类型如下：

整型：32位无符号整型。

数值型：保留8位小数的数值。

字符串型：长度不超过150字符（英文字符）的字符串。

轨迹类数据的设计：轨迹类的数据也是按时间流逝产生的大量记录，但数据本身是结构化的记录，由于MongoDB中文档内的结构是可变的（无模式），因此可以直接支持这样的兼容性设计。

其他类型的数据设计：对于大文本数据、语音数据和图像视频数据，可以直接存入MongoDB，也不需要额外的工作。

4.2 数据库选型

平台选择MongoDB作为商业实时数据库的替代方案。MongoDB的设计采用横向扩展，面向文档的数据模型使它能很容易地在多台服务器之间进行数据分割。如果一个集群需要更大的容量，只需要向集群添加新服务器，MongoDB就会自动将现有数据向新服务器传送[3]。MongoDB支持各种类型的数据，无需转换格式。

4.3 数据接口设计

常用的公共接口寄宿在数据处理容器服务中，对外发布WCF-http类型的接口。业务密切相关的定制接口也寄宿在数据处理容器服务中。这些接口对外发布的接口类型由开发人员自己根据实际项目情况确定，可以是HTTP接口，也可以是RS232/ RS485等接口。

5 结语

本文梳理了常见测控数据集成工程的需求、现状和问题，提出了一种基于MongoDB的大容量测控数据集成平台的设计方案。作为分布式监控系统，系统设计的关键是高并发服务调用的负载均衡和异构大数据的存储和分析[4]。该方案支持多种数据类型的集成，支持横向扩展来应对性能不足的问题。该平台已经在多个实际工程中应用并取得了较好的效果，但也存在MongoDB技术支持力量比较薄弱，同时文档模式的存储方法对于开发人员的要求较高等问题，这些问题将在后续平台的完善中不断改进，从而进一步满足用户需求。

[1]徐升,吕健,刘文强,等．实时数据技术在某选矿厂MES系统中的应用[A]．现代矿业杂志社．中国矿业科技文汇--2015[C],安徽:现代矿业杂志社,2015．588-590．

[2]刘茜,毛善君,武建军,等．基于传感网的煤矿瓦斯监测数据发布系统关键技术[J]．煤炭科学技术,2015,43(5):100-105．

[3]霍多罗夫．MongoDB权威指南（第2版）[D]．人民邮电出版社,2014．

[4]张华丽,杨帆,于海平．分布式数据监控系统的设计和实现[J]．计算机与数字工程．2013,41(8):1298-1301．

高文（1981―），男，山西朔州人，工程师，主要研究方向为煤矿信息化软件、监测监控软件、云计算和大数据应用等。

A large capacity measurement data integration platform design based on MongoDB

GAO Wen
(Tiandi(Changzhou) Automation Co., Ltd., ChangZhou 213015, China)

In view of the present remote measurement and control data acquisition project in capacity data integration platform availability is not high and expensive problems, puts forward a large capacity measurement and control based on directing a data integration platform design, expounds the present situation and existing problems of remote measurement and control data acquisition project, large capacity measurement and control based on directing a data integration platform design of architecture, function and key technology.

MongoDB; data collection; Measurement and control

研发项目：天地（常州）自动化股份有限公司研发项目（14GY001-01）。