一种基于服务的选矿流程实时数据采集
2021-08-25严忠新李亚超王文飞赵建强
严忠新,李亚超,王文飞,赵建强
(1.江西铜业集团有限公司 德兴铜矿,江西 上饶 334000;2.北矿智云科技(北京)有限公司,北京 100083)
1 引言
随着国家智能制造战略的推进,企业实时数据在经营管理当中发挥越来越重要的作用。在矿业生产中,实现自动化数据的规范化采集管理,有助于矿石选矿工作智能化水平的提升[1]。实时数据采集有两种应用,一种是面向生产操作与实时控制为主的数据采集,由PLC或DCS系统完成;一种是面向管理和服务的数据采集,由SCADA或MES系统完成。这两种数据应用既有区别又有关联。
1.1 数据采集的对象和目的
DCS系统数据采集的目的是满足生产一线操作工对工艺过程的实时监控和操作的要求,因而对实时性的要求最高,避免因为采集滞后造成操作滞后、进而影响到生产的安全和质量[2]。面向管理和服务的数据采集,服务对象主要是管理人员和技术人员,他们更加关注对历史数据的挖掘利用,从中发现问题、寻找关联、优化操作规范和决策,如图 1所示,第一种应用主要服务于PCS层,第二种主要服务于MES和BPS层。
图1 应用服务的数据采集体系结构
1.2 数据采集的结构差异
在实际工业场景中,同一现场会存在多个设备构成、采集范围、复杂程度各有差异的PLC或DCS系统,它们可以独立的完成各自的控制与操作任务。由于系统集成商的集成习惯、业务认知和技术规范上的差异,这些系统的变量命名规则、数据交互接口、控制逻辑的差异很大,因此难以实现数据和信息上的“互联互通”和“协调统一”,即形成了“数据孤岛”。面向管理的数据采集需要能够掌握整个工业场景的完整数据和信息、才能够对生产中的状况了解全面,对存在的问题分析透彻,进而才能形成正确的决策[3]。因此后者必须将这些分散的“数据孤岛”整合并且重新编制,使其在命名规范、数据有效性、调用机制、交互接口达到统一。例如将磨矿自动化系统中球磨机的处理量和电能监测系统中的磨机供电进线的耗电量进行整合计算,可以获得球磨机的单耗参数,反应出磨矿工艺的经济指标是否合理。
1.3 数据采集的基本原则
无论是哪一种数据采集,均需要满足完整性、准确性、持续性这三项基本原则:
(1)完整性。必须要将数据源中的有效数据完整的同步到目标系统中,数据的时间跨度和空间分布要符合项目要求,不能丢项漏项,不能失真。
(2)准确性。同步到目标系统中的数据要与源系统中的数据保持一致性,不能因为数据的同步而导致数据有效信息的丢失[4]。比如:时间精度、数据精度等。
(3)持续性。数据集成工作机制必须是持续不断的进行的,因断电、重启等工作环境原因造成不可抗的中断时,工作环境恢复后数据集成进程应能自动恢复,持续工作,无需人为干预。
2 数据采集的关键技术
本文探讨面向管理和服务的数据采集系统是如何构建和实施,面向管理和服务的数据采集的关键技术包括:
(1)网络架构和数据通讯技术,网络需要能够兼容不同通讯协议和网络配置的自动化装备,包括标准通讯协议的PLC、DCS系统,也包括一些专有通讯协议的系统,比如能源管理系统、在线分析系统等。
(2)实时数据存储和管理技术,实时数据具有采集频率高、数据体量大、信息价值低的特点,因此调用和存储既要保证速度和效率,也要避免不必要的资源浪费。
2.1 网络架构与数据通讯
数据采集网络基本构架和数据流向如图 2所示:框架整体分为工业现场(PLC层、HMI层)、数据采集层、数据存储层、数据应用层和客户端层。面向服务数据采集的数据源为PLC集成的现场设备和仪表在动态生产过程中产生的实时数据,共有三种采集方式:第一种方式为PLC将实时数据传输到现场上位机HMI中的数据库,然后利用ETL工具将数据库中的数据按照特定的表结构将数据同步到实时数据库中,这样存在的弊端是数据转换过程中存在较大的滞后性,且数据同步对计算机性能有一定的要求,会给上位机带来较大的负荷;第二种采集方式为在现场安装工业数据采集机直接通讯PLC,省去中间数据同步的过程,但对PLC而言增加了一项数据传输的客户端,庞大的数据吞吐量给PLC造成很大的负荷,存在宕机的风险性;第三种采集方式便是同样安装数据采集机,利用通讯协议将数采机和HMI进行通讯,然后将数据传输到实时数据库,这样既保证了实时数据的时效性,也不会对PLC造成风险。
图2 网络架构
数据存储层包含实时数据库和关系型数据库,实时数据存入数据库中首先会统一标签化,部分静态数据也会同步到Mysql数据库中,为数据应用层提供数据支撑;数据应用层为矿山数据应用平台和数据分析系统,将数据库中来自不同DCS系统的数据进行统一管理,方便进行各种分析计算,例如电能单耗指标计算以及通过可视化将计算结果展示给用户和管理人员。
因为工业现场各DCS中控系统品牌不同,通信总线也只是用于自身各工作站、工程师站之间(如以太网)以及生产线现场控制站各个模块之间使用(如DP总线),难以方便高效地实现来自不同厂商的应用程序与硬件设备之间的数据通信,所以应用服务的数据采集使用OPC通讯协议解决了不同DCS系统之间通讯协议的不兼容性的问题。OPC是一个工业标准,是以微软的OLE、COM(部件对象模型)和DCOM(分布式部件对象模型)为基础的技术,连接数据源(OPC服务器)和数据的使用者(OPC应用程序)之间的软件接口标准[5]。OPC接口适用于很多系统,可以向用户提供不依靠于特定开发语言和开发环境的可以自由组合使用的过程控制软件组件产品。
2.2 实时数据库
实时数据库起初诞生于美国上个世纪80年代,当时随着流程工业和航天工业的发展,大量的测量数据需要集成和存储,采用关系数据库难以满足速度和容量的要求,而且接口访问复杂,不适合科研和监控的需要,因此开始诞生了以工业监控为目的的实时数据库[6]。
实时数据库作为核心的关键技术之一,在流程工业企业综合自动化中起着极其重要的基础数据平台的作用[7]。因为在事务处理上存在着时间和资源调度问题,所以要能有效地解决事务间的并发性;所以实时数据库需要具备如下功能:
(1)构建基础生产过程中来自现场的数据的采集接口,建立原始基础数据库,集成各种异构通讯协议的数据源,形成统一的访问实时数据接口[8]。
(2)完成对实时数据的集中海量存储,实现数据库各级压缩功能,并根据企业要求对规定时间内的历史记录进行管理,可以对冗余作废数据自动删除。
(3)支持实时数据读写操作和历史数据的高效查询,具有生产数据查询、手工删除、添加、修改等功能。
(4)系统内部的数据通过处理和转换要同系统中的其他部分进行交互,从而使用户能够通过多种方式看到各种数据。
图3所示是一种较为通用的实时数据库应用结构:通过现场适配层适配现场的各种接口,采集接口通过各种工业通讯协议访问现场PLC或者上位机采集数据,通过实时核心,完成数据的采集。数据落入数据库后可以进行实时计算、报警计算等二次处理,历史数据被不断泵入磁盘历时存储,形成可追溯的历时信息,同时通过向应用层提供各种适配接口,支持各种开发语言和各种应用需求的访问。
图3 实时数据库基本结构
3 基于服务的数据采集
3.1 数据采集场景
泗洲选矿厂隶属于江西铜业股份公司德兴铜矿,是矿山建设中最早投入生产的选矿厂,最初的矿石日处理能力为2500t/日,在历经三院设计、四次扩建和六次改造,现在已经形成了矿石日处理能力3.8万t/日的生产规模。选矿厂的主要设备包括中、细碎圆锥破碎机、球磨机、680m3浮选机、130m3浮选机等。
泗洲厂在采集实时数据、消除数据孤岛方面已经先行一步,通过在全厂和中控的HMI系统部署iFIX的通讯控件,将各个工段自动化系统的数据实时同步到厂内中心机房的SCADA系统,并且存储到了数据服务器的历史数据库中,同时配有WEB服务器负责网页发布。
为了能够更好的将实时数据与其他的生产管理系统的数据融合,为全厂的生产管理和调度提供服务,泗州选矿厂将iFIX系统与全矿的数据采集系统对接,进而实现自动化系统实时数据与LIMS系统、能耗系统、在线分析系统和其他即时人工录入数据的集成,从而可以开展更深一步的面向管理和服务的应用开发。
3.2 数据采集实施
应用于服务的数据采集首先要将数据采集机部署在与工程师站处于同一局域网段,并且可以连通矿山数据中心的服务器,确保满足数据通讯和传输的物理条件;其次采集机的操作系统登录名称和密码要与工程师站相同,确保满足OPC通讯的DCOM配置条件。在矿山数据中心服务器安装庚顿实时数据库和应用服务平台,用来满足实时数据存储和管理的要求。
实时数据采集的具体实施操作是:在工业现场安装具有双网卡的数据采集机,一端连接HMI层网络,用来通讯控制层的网络采集数据,另一端连接矿山数据中心网络,用来将数据传输到矿部数据中心。工程师站含有iFIX的OPC Server,在数据采集机安装庚顿数据库的采集接口GoldenOPCInterface 作为 OPC Client,与工程师站的OPC Server做DCOM配置,以OPC通讯的方式采集iFIX OPC Server中的实时数据,然后再通过与数据中心通讯的端口传输到实时数据库,从而实现了从 DCS、PLC、现场控制系统与实时数据库间的实时数据通讯。
3.3 矿山数据采集平台
3.3.1 平台数据流结构
德兴铜矿部署的矿山数据采集平台是江西铜业股份有限公司承担国家发改委“互联网+”重大工程项目《矿山智能化服务平台建设》的建设成果,该平台具备数据采集、分析和可视化等功能的二次开发能力,是一种面向矿山工程技术人员和管理人员进行业务“零代码”开发的工具平台。数据来源一部分是由现场的数采机采集现场的自动化系统实时数据,然后通过网络传输到矿山数据中心服务器的实时数据库;另一部分是利用数据同步工具,通过解析表结构、转化服务平台设计的特有的表结构、将数据装载到设计好的表结构这三个步骤,把信息化数据同步到Mysql数据库。平台将这些来自不同系统的变量进行统一结构的标签化命名,可供取平台的计算服务系统进行调用。
3.3.2 数据标签化
矿山数据采集平台按照矿山的组织架构逐级对每一代表层级进行编码,将来自不同PLC、不同组态的原始变量,都可以使用一种统一的、结构化、层级分明的标签来命名:首先根据矿山层级建立生产组织结构,按照厂级—车间(工段)—作业—设备—电机(仪表)依次构建(如图 4,标号①),每一层级、每一设备以及变量代表的生产状态(例如仪表的测量值、累计值,电机的运行停止信号、电流)都有其特有的编码,再根据设备或者电机仪表所在的层级和生产状态,将现场PLC或者HMI变量进行对应的关联,形成平台特有的变量标签和描述(如图 4,标号②)。如果解析一条变量代表的自动化含义,只需在平台变量字典里进行查看,就可以得到对应设备或电机仪表所属层级、生产状态等一些的信息。结合应用服务平台进行数据采集,将实时分析汇总数据,更方便对变量的管理,保证各个部门都能够有效利用自动化设备数据采集系统,提高部门的工作效率和工作质量。
图4 生产组织结构标签
3.3.3 数据计算服务
数据计算服务得益于矿山数据采集平台的数据标签化,可以对来自不同系统的数据进行统一的管理与计算。目前计算服务可以对采集的实时数据配置KPI计算,目的是发掘现场仪表测量值更深层次的价值。计算结果被存储为特定的KPI变量标签,一方面可以进行数据可视化,另一方面可以被报表自动化调用。报表自动化是计算服务在配置简单的KPI计算之上另一种二次开发出的计算,目前泗洲厂已经实现厂级电能报表按每日的周期频率自动制作,计算模板可以根据现场实际生产情况进行自定义设置,计算数据便是调用了泗洲厂的电能系统和磨矿系统的实时数据配置KPI计算,形成KPI指标后再次被报表系统调用,计算结果如图 5所示。
图5 每日电能报表
3.3.4 线性回归分析
利用线性回归分析算法分析两种或两种以上变量间相互影响的定量关系,是开发优化控制策略最常用的一种统计分析方法。矿山数据采集平台集成并该种算法并设计成了可配置的分析工具。如图 6所示,通过左侧结构树查询要进行分析的自动化变量,分别选为自变量X和因变量Y并选取合理的时间区域进行回归分析。
图6 球磨机给矿量、功率回归方程分析结果
3.3.5 实时监控
矿山数据采集平台的实时监控功能是将Grafana平台嵌入到计算服务系统中。Grafana是一款用Go语言开发的开源数据可视化工具,可以做数据监控和数据统计,带有报警功能,如图 8所示.可视化应用开发者基于平台的生产组织架构和数据标签化计算,可以快捷的实现任何一个标签的快照数据的可视化,从而实现任何一个移动终端和PC端都能够实时同步的监控的生产过程。
图7 泗洲厂数据可视化
4 结论
矿山数据采集平台提供了基于服务的实时数据采集和应用开发的环境与工具,把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。本次数据采集首先从数据入手,梳理矿业数据的存在、含义、作用和关联,参照德兴铜矿泗洲选矿厂生产形态,进行了数据集成、使得数据价值被挖掘的初级条件,具体体现在:
(1)能够将来自不同DCS系统的数据集成到统一的数据采集系统,并且按照矿山结构进行统一编码命名,方便管理;每个标签能够完整的反映出当前设备所在的逻辑位置以及生产状态,提高了用户对变量的辨识度;不同系统间的变量可以存放在同一数据库,提高了变量利用的灵活性和可利用率。
(2)能够利用科学的数值分析算法进行科学统计与计算,如单个变量的统计特征分析、多个变量的线性回归分析等,是开发智能控制策略的基础;通过KPI计算服务实现技术经济指标的技术,实现生产班、日报表的自动化,极大的提高了生产调度管理效率。
(3)提供了一种数形结合查看数据的平台,区别于现场DCS系统组态软件简单的历史趋势,应用服务的数据采集实现了查看数据历史趋势的时间步长可控,极值、均值、方差等过程参数一目了然;通过多种多样的数据展示模板,可以更方便、更直观的将数据的变化趋势以及设备状态展现出来。