大数据背景下工业乙醇数据管控分析平台研发与应用

王 梦，田晓俊，刘小辰，郑淏月，林海龙，刘劲松，杨 萌，温广瑞

（1.国投生物科技投资有限公司，北京 100034；2.西安交通大学 机械工程学院，陕西 西安 710049）

0 引言

2020年9月22日，习近平主席在第七十五届联合国大会上向世界表达了中国推动疫情后世界经济“绿色复苏”的美好愿景和决心[1]。2022年，《政府工作报告》提出，有序推进“碳达峰”“碳中和”工作，持续改善生态环境，推动绿色低碳发展，实现“双碳”目标是我国向国际社会作出的庄严承诺。站在新的发展起点上，作为绿色低碳可再生能源，生物工业乙醇迎来了新的历史机遇[2]。

随着世界从 IT 时代进入到 DT 时代，数据价值理念逐渐深入人心，未来世界将由数据驱动。在大数据时代开展数据管控工作已成为科研院所和企事业单位的重要工作之一[3]。工业乙醇工厂作为流程型企业，生产过程存在数据总量大、数据种类多、传播速度快等特点[4-5]。近年来，“互联网+”快速发展，工业乙醇行业发展趋势和企业经营管理对大数据背景下的企业海量数据管控的要求也越来越高。

本文针对工业乙醇工厂生产运行数据采集、存储、计算、统计及分析的全流程管理，将互联网技术应用于工业乙醇工厂的控制系统环境，研发设计工业乙醇数据管控分析平台（EthanolMax），为用户提供生产运行过程中关键指标的监控和管理功能，并实现高效准确的实时数据分析，对提高工业乙醇全生命周期大数据管理水平具有指导意义和参考价值。

1 平台架构

EthanolMax 系统平台由六个部分组成，包括：独立部署在工厂控制系统区域数据采集层的服务器，集中部署在EthanolMax 的中心服务器集群，数据接收层，数据运算层，数据存储层，数据交互层，如图1所示。

图1 EthanolMax 系统架构

为保证平台运行的稳定性和扩展性，核心功能代码使用跨平台的计算机程序设计语言Python 进行开发，并使用关系型数据库、时序数据库及对象数据库搭建数据仓库，实现数据的存储和管理功能。

2 系统设计与实现

EthanolMax的主要功能是以自动化方式高效地执行乙醇工厂生产运行数据采集、存储、计算、统计及分析的全流程数据管理任务。平台主要包括数据采集、数据转发、数据接收和数据加工模块，如图2所示。

图2 EthanolMax 系统功能

EthanolMax 系统中，数据采集模块通过工业控制系统采集实时生产运行数据[6]，并存储至本地时序数据库。本地前置服务器通过数据转发模块从工厂本地数据库提取固定时间范围的原始数据，并执行聚合运算；将原始数据去除异常值后，聚合为分钟数据，并将聚合结果发送至EthanolMax 的消息队列服务接口；对所产生的异常值单独储存在本地时序数据库，在聚合分钟数据上传完毕后再进行上传。消息队列服务接口在接收到本地数据转发模块推送的分钟聚合数据后，将调用数据接收模块，将数据存储至EthanolMax 的数据仓库中，并调用后续的数据加工模块。将所接收的异常值单独储存留作设备运行记录，数据加工模块根据接收到的属性字典，从EthanolMax数据仓库中获取更新的生产运行数据，对数据执行进一步的加工及运算，并将计算结果存储至数据仓库中。各功能模块的具体介绍如下：

（1）数据采集模块部署在工厂本地前置服务器上，通过OPC UA 协议接口，建立与工厂控制系统间的实时数据发布/订阅机制，按照指定频次（≥1 秒/次）定期对所监控的设备进行数据采集，将采集的数据先在本地服务器存储。

（2）数据转发模块部署在工厂本地前置服务器上，按照批处理的方式，定期将本地时序数据库中更新的原始生产运行数据进行聚合运算，获得分钟级别的聚合结果，并将结果转换为JSON 消息便于传输；然后推送至EthanolMax 系统中心平台的消息队列服务接口，完成数据本地至中心平台的同步，实现本地生产运行数据的轻量级清洗、聚合及推送功能。

（3）数据接收模块部署在EthanolMax 中心服务器上，当中心服务器的消息队列接口服务接收到由工厂本地前置服务器数据转发技术发送的JSON 消息后，会自动触发数据接收技术；数据接收技术会对JSON 消息进行解析，生成DataFrame 数组，并根据JSON 消息的属性字典，确认消息需要存储的数据库、数据表及消息转存完成后需要执行的后续程序；之后，数据接收技术会根据解析后的信息，将数组同步至指定数据库的数据表中，并触发后续数据加工及处理等计算程序。

（4）数据加工模块是通过数据接收模块触发执行，当数据接收模块将工厂就地更新的生产运行数据写入EthanolMax数据仓库的时序数据库时，数据加工模块会对写入数据库的数据所属时间内的分钟数据进行聚合运算，并将聚合运算的结果写入数据仓库的关系型数据库。对于较复杂运算通过引入公用API（如数据分析可视化系统、专家系统或ERP 系统）接口来达到高效处理，并将结果保存至服务器，便于之后的调用。

3 关键技术

为实现工业乙醇数据管控分析平台全流程有效管控，在平台开发中采取了以下多项关键技术：

（1）数据采集技术（SyncDataAcquisition）通过以下步骤实现控制系统数据的采集与本地存储功能：获取需订阅的控制系统测点清单，并生成DataFrame 数组；调用opc_subscribe 功能，建立与控制系统OPC Server 间的连接，并根据测点清单向OPC Server 订阅相应的生产运行数据测点；建立与时序数据库之间的连接；将订阅的生产运行数值生成数组，并写入本地时序数据库。

（2）数据转发技术（DataTransmitter）通过以下步骤实现将本地存储数据转发至EthanolMax 中心服务器上的消息队列服务接口的功能：程序默认运行周期为每分钟执行一次，每次执行时会自动获取上一分钟存储至本地时序数据库中的原始测点数据，并生成DataFrame 数组；本地时序数据库中的数据按照秒级频次存储，而在EthanolMax 数据仓库中的数据颗粒度为分钟级，因此对本地时序数据库中的数据进行聚合运算后，再转发至EthanolMax 数据仓库；当获取到分钟聚合数据后，脚本会将DataFrame 数组转换为JSON 消息，并生成消息的属性字典；在生成JSON 消息和属性字典后，脚本调用数据转发功能块，将所获取信息推送至EthanolMax消息队列服务接口。

（3）数据接收技术（MessageReceiver）通过以下步骤实现从消息队列接口服务中获取数据，并将数据存储至EthanolMax 中心服务器数据仓库的功能：通过message_parse_sqs 功能，解析从消息队列接口服务推送的JSON 消息及属性字典；生成DataFrame 数组后，程序会对JSON 消息的属性字典进行解析并将数据写入对应的数据表中；当数据成功同步至EthanolMax 中心平台时序数据库后，按条件触发程序运行。

（4）数据加工技术（DataAggregation）通过以下步骤实现对原始数据执行聚合运算：获取由数据接收技术提供的任务属性字典，并从字典中解析出源数据库、源数据表以及待处理的原始分钟数据的时间和区间；对DataFrame 数组执行数据清洗及对应时间和区间内的聚合运算；在生成小时聚合数据集后，脚本将聚合结果写入EthanolMax 数据仓库的关系型数据库中[7]。

4 应用分析

为验证工业乙醇数据管控分析平台的可用性、稳定性及准确性，本文选取生物乙醇生产线进行平台部署，并进行相关功能实验。选取包括粉碎、液化、发酵与蒸馏4 道关键生产工序在内的生产线，涉及设备产能、设备负荷、生产时间相关数据[8]，其生产工序间关联性强，数据结构复杂，是一条具有代表性的工业乙醇生产线。部署平台如图3所示。

图3 工业乙醇数据管控分析模拟平台

平台对工业乙醇生产过程产生的海量多源异构数据进行实时监测，并对工业乙醇生产过程中的数据进行管控分析。

通过对工业乙醇数据管控分析平台（EthanolMax）进行数据采集功能实验、数据转发功能实验、数据接收功能实验以及数据加工功能实验等，证明了平台能够较为稳定地完成工业乙醇生产全生命周期的数据管控，实现数据采集、转发、接收并进行实时分析，为企业管理层及用户层的决策及实施提供可靠依据。平台功能如图4所示。

图4 数据管控分析平台功能示意图

5 结语

工业乙醇数据管控分析平台（EthanolMax），从数据采集、数据转发、数据接收及数据分析等方面对工业乙醇生产全生命周期进行数据管控，能够有效审核和管理工业乙醇全流程数据，避免数据流转错误，提高手工数据审核准确性[9,10]。该平台已应用于国投生物能源（铁岭）公司的工业乙醇生产过程中，通过数据管控分析，能够实时监测生产数据并进行数据分析，为提高企业生产效率和管理水平提供科学保障。后续研究中将进一步基于大数据挖掘融合、机器学习及数字孪生等技术探索工业乙醇生产全生命周期的数据反馈及交互，为工业乙醇智能生产运维提供支持。