基于大数据的煤矿综合业务管控平台开发

2021-10-28赵耀忠田文明赵晋松刘聪睿

热力发电 2021年9期

张波，赵耀忠，刘跃，田文明，赵晋松，王涛，刘聪睿

（1.华能伊敏煤电有限责任公司，内蒙呼伦贝尔 021130；2.西安西热电站信息技术有限公司，陕西西安 710054）

随着云计算、大数据、物联网等信息技术逐步进入工矿企业，工业智能化发展趋势越来越明显。伊敏露天矿作为全国第一家煤电联营企业，提出利用其生产经营数据，建立面向不同业务部门按需服务体系，实现生产管理、设备维修、安全监管等全过程智能化管控[1-2]。本文以此为目标，采用大数据技术，建立了一个信息互联互通、数据共享交换、功能协同联动的综合业务管控平台。该平台实现了露天矿数据统一管理以及应用资源的管理与运维、监控等功能。

1 综合业务管控平台架构设计

1.1 总体架构

伊敏露天矿业务系统划分为4 个区，分别为外网区、集团内网区、II 区和III 区（图1）。外网区在互联网侧，主要包括人员定位、车辆定位、边坡监测、防疲劳驾驶等系统。外网区系统在外网运行，将相关运行数据通过安全隔离措施共享到数据中心。集团内网区为集团企业资源计划（ERP）系统，通过数据抽取转换工具（ETL）读取SAP 接口来获取主数据，并存储到数据中心。II 区为工控采集系统区，包括卡车、电铲、半连续、辅助车辆、疏干水泵等设备的数据采集，历史数据的存储，实时数据的展示等，在该区域数据的无线远距离传输通过虚拟私有拨号网络（VPDN）实现。III 区为系统原有“卡调系统”“企业监管系统（CIS）”“管理信息系统（MIS）”“运行管理移动应用”等。

图1 综合业务管控平台总体架构Fig.1 Overall architecture of the integrated business management platform

综合业务管控平台建设的主要内容为III 区系统，需要充分融合几个已有系统，并合理优化系统功能结构。数据中心作为综合业务管控平台的重要部分，部署在III 区，其主要内容是关系型数据库、实时数据库、文档数据库。数据中心的自定义报表、商业智能（BI）分析展示、人工智能（AI）深度分析展示都是以Web 页面呈现，发布在综合业务管控平台的Web 框架内。

1.2 功能架构

该综合业务管控平台业务功能（图2）大致划分为5 大系统，分别为设备管控、生产管控、采矿设计、矿山无人化、安环管控[3]，其他辅助功能有基础数据管理和三维可视化显示。

图2 综合业务管控平台业务功能Fig.2 Structure diagram of business function of the integrated business management platform

生产管控主要包括运行系统、卡调系统、交接班、巡点检、工作票、操作票[4-5]、各类智能监测系统[6]、生产统计报表等，主要服务于生产部与调度集控。

设备管控主要包括设备台账管理、设备日常维修、设备定期工作、缺陷管理、技术监督检查、物资管理、工单管理，主要服务于检修部和物资管理部门[7]。

采矿设计实现采矿专业管理功能，主要包括地质管理、测量管理、采矿管理，主要服务于露天矿生技科的各类采矿技术人员。

安环管控主要包括班组管理、安全监督检查、安全培训、车辆人员定位、扬尘监测等安全管理功能，服务于全体工作人员和露天矿安监科[8]。

矿山无人化主要包括无人驾驶运输卡车[9]、电铲远程监测等。

2 综合业务管控平台

综合业务管控平台采用微服务框架、容器化部署、消息队列等技术实现系统全面解耦和弹性扩展，提供分布式缓存服务、消息队列服务、数据库集群等服务，通过提供统一的权限认证、单点登录、ETL 引擎、工作流引擎、权限引擎、负载均衡服务、消息队列和日志服务等基础服务组件，实现系统高可用性。

综合业务管控平台本质是一个工业级的PaaS平台[10-11]，它包括容器平台、仓库管理、开发和运维平台以及数据中心4 部分（图3）。

图3 工业PaaS 平台架构Fig.3 Architecture of the industrial PaaS platform

1）容器平台基于K8s 与Docker 等开源产品，搭建轻量级Kubernetes 集群服务，包括容器管理、节点管理、网络管理、存储管理、插件管理以及监控日志等功能[12-13]。将容器平台与TPRI-DMP 平台相结合，采用微服务框架、容器化部署方案、容器编排技术实现煤电企业的PaaS 平台的容器服务能力。TPRI-DMP 平台是华能自主知识权，基于Java语言集开发、运行、管理于一体的分布式应用软件开发工具，可提供工业企业云原生应用开发的基础服务和组件。

采用Rancher 作为K8s 的前端管理界面，实现K8s 集群和应用容器的部署、维护和监控。采用EFK方案实现容器、应用和系统日志的采集，提供日志存储、查询、分析及可视化展示。采用Prometheus+Granfana 的组合方案实现对集群组件、服务节点、容器实例、服务、负载、网络及资源使用等各项指标的监控。

设计微服务架构，建立微服务应用开发体系和规范，开发微服务管理平台，实现微服务治理和微服务健康监控，包括业务服务注册与管理、API 网关、数据安全通信、多开发语言下的服务熔断机制优化、业务服务均衡优化、智能路由、灰度发布、流量管理、微服务健康监控、流量监控、链路追踪、日志管理等。

2）仓库管理仓库管理是工业PaaS 平台的标准内容，主要包括Yum 源管理、源代码管理、Docker镜像仓库管理以及持续集成与交付工具。露天矿的PaaS 平台主要运行在企业内网，所以需要将互联网上一些Linux 工具和资源下载到企业内网，建立企业内部的PaaS 仓库管理工具链[14]。

源代码管理采用开源工具Gitlab，项目代码可按组、人员多维度进行管理。Gitlab 是一个分布式的版本控制工具，用来保存工程源代码、维护代码历史状态、提供多人协作开发。Gitlab 的分支合并以及分布式代码管理机制，提高了云原生代码的协作开发能力，具有Wiki 和Issue 跟踪功能，提高了协作开发的沟通效率。

开发人员编写及测试完成代码后，需要将程序打包成Docker 镜像，并在容器中运行。各种应用程序的镜像管理是一个复杂的工程，本文综合业务管控平台采用Harbor 管理Docker 镜像。Harbor 是一个开源的用于存储和分发Docker 镜像的企业级管理工具。Harbor 相比Docker 官方的镜像管理工具，其拥有更丰富的权限管理机制和完善的架构设计，适用于大规模Docker 集群部署和仓库管理。

企业内网的Linux 集群在安装和维护过程中需要建立私有的工具资源仓库，以提高在Linux 系统上软件的安装、更新、维护、升级的效率。Nexus3是一个开源的私有工具资源仓库，能极大地简化本地仓库的维护，减少对外部仓库的访问次数。本文综合业务管控平台采用Nexus3 搭建Yum 私有源及npm 私有源，Yum 私有源用于内网Centos 系统的软件仓库，npm 私有源用于开发平台前端项目的Js私有仓库。

Jenkins 是一个开源的持续集成与交付工具，基于Java 语言开发，用于监控持续重复的软件系统测试和发布工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。本文综合业务管控平台采用Jenkins 作为持续集成工具，实现源代码编译、Docker 镜像打包、测试系统发布的自动化，提高了系统的交付能力。

伊敏露天矿的PaaS 平台上采用仓库管理和持续集成技术，提供应用系统不断迭代的能力，支撑露天矿不断增长的业务需求，同时能适应不断变化的组织机构调整和业务流程优化，为后续不断推进的智能矿山和大数据应用提供了技术支撑。

3）开发平台本文综合业务管控平台采用基于Kubernates+ Istio+TPRI-DMP 的云原生架构，通过Kubernates 实现Docker 容器的动态编排及资源调度，通过Istio 面向服务网格的技术理念实现微服务的连接治理、流量管控以及日志追踪等基础功能，通过TPRI-DMP 实现业务系统的开发与集成。

Kubernates 与Istio 相互集成、取长补短，共同为应用程序提供一个集高可用、弹性伸缩、动态调度及扩容、服务自愈等功能于一体的云原生运行环境。TPRI-DMP 通过可重用业务组件、通用微服务模块、业务流引擎以及JWT 无状态协议来实现云原生应用的快速开发。TPRI-DMP 的整体云原生功能架构如图4所示。

由图4 可见，TPRI-DMP 平台以可重用业务组件为核心，通过业务流程设计器实现业务流程模型的可视化编排，并通过业务流程引擎实现业务模型的解析与执行。平台中通用的功能如工作流引擎、工作流模型管理、消息待办、附件服务、ETL 等以微服务的方式提供和部署，各微服务之间通过JWT无状态协议实现认证信息及基础数据的交互并通过Istio 服务网格提供的基础设施实现服务之间的接口注册、动态发现、路由、熔断、限流以及调用链追踪等功能。

图4 云原生功能架构Fig.4 The function architecture of cloud native

为了提供各微服务或者应用系统之间的松耦合调用，平台通过ActiveMQ 消息队列集群实现各服务之间数据的异步推送以及订阅发布，并通过平台中的触发器实现对异步消息队列数据变化的监听，并驱动相关的业务流程实现针对该数据的业务处理。

为了提高系统的性能并且满足各系统之间的数据共享，平台通过Redis 集群实现各分布式系统之间的数据缓存及读写，并借助Redis 的单线程机制来实现系统间的分布式锁功能。

工作流引擎在开源Activiti 的基础上进行二次开发，符合业务流程建模规范（BPMN）2.0，通过接口扩展或者视图等方式实现与行业基础数据以及权限认证等信息的整合，满足电力和矿山行业对流程管控的定制化需求。工作流引擎采用无状态模式进行交互，通过独立部署（多实例）实现多系统共享以及跨不同应用系统的流程扭转，并且可通过多租户实现针对不同应用系统流程的数据隔离。通过工作流模型管理服务可实现工作流程模型的在线设计、修改以及发布等。

统一权限认证服务基于开源的统一认证服务（CAS）5.3 版本进行二次开发，在其提供的基础功能之上增加基于JWT Token 的无状态认证及传输模式，其认证流程及认证方式如图5所示。

图5 统一权限认证流程Fig.5 The authentication process of unified authority

由图5 可以看出，该认证方式能够同时为多个基于前后端分离的无状态应用以及基于Session 的有状态应用提供单点登录认证服务。

3 大数据中心

大数据中心包括企业的核心业务数据库和用于数据挖掘分析、决策支持的数据仓库及数据交换平台，能实现数据采集、抽取、处理、存储、挖掘、分析等功能，是企业数据的集中分析和决策支持中心。本文综合管控平台大数据中心作为PaaS 平台的信息集散地，提供管控平台所有业务系统的各类型数据库。

1）大数据中心功能大数据中心包括MySQL集群、MongoDB 集群和Rython 实时库，对关系型数据、文件数据和实时数据进行集中整合，实现对矿山经营管理、业务执行、设备实时运行等各类数据统一存储和管理，打通各业务系统间的数据共享。Rython 实时库是华能自主知识权，基于C 语言开发的毫秒级、百万点、工业级实时历史数据库，在国内能源行业中得到了广泛应用。

大数据中心首先需要建立业务主数据管理功能，对主数据进行统一维护，提供公共业务数据的访问接口和同步机制，保证各业务系统与主数据的一致性。

搭建BI 平台，业务人员可通过BI 分析工具以拖拽的方式自主进行数据分析，最终给出决策方案。BI 分析工具能够通过完善的图形界面与简单的拖曳操作，完成复杂的数据计算、可视化图形的快速生成与配置、交互式的数据探索以及分析报告的布局与设计。

搭建AI 平台，让用户能够基于平台内置的数据处理及算法节点，以拖拽方式迅速完成机器学习、深度学习、自然语言处理等算法模型构建，实现数据的关联分析、未来趋势预测等AI 应用，帮助用户发现深层数据关系，精准预测未来。

2）大数据中心架构大数据中心由5 层架构组成，即数据源层、集成层、数据存储层、计算层和应用层，大数据中心架构如图6所示。

图6 大数据中心架构Fig.6 The architecture of big data center

由图6 可见，数据源层为接入数据中心的各业务系统数据、定位数据和文件数据。集成层包括数据采集器和数据同步服务，其中数据采集器负责采集各业务系统的数据并传向数据存储层，数据同步服务负责为各业务系统提供主数据同步接口。

数据存储层包括数据库、数据分发器以及数据消费程序与主数据同步程序。数据库包括关系数据库、文档数据库和实时数据库，其中关系数据库采用MySQL 集群，文档数据库采用MongoDB 集群，实时数据库采用Rython 数据库。数据分发器负责将传入的数据分发至各数据库或实现与外网数据同步服务。数据消费程序包括关系数据消费程序、文档数据消费程序和实时数据消费程序，负责将数据写入各自的数据库。主数据同步程序负责读取并返回数据同步服务请求的数据。

计算层使用AI 平台工具读取数据中心的数据并对AI 分析和BI 展示提供算力支撑。

应用层包括AI 分析、BI 展示和自定义报表功能，支持用户通过托拉拽方式实现前台报表、BI 展示以及数据建模。AI 分析、BI 展示和自定义报表均从数据中心读取数据，而非直接读取业务系统数据库。

3）内外网数据通道数据传输通道（图7）可根据流向分为从外网到内网（以蓝色线条表示）、从内网到外网（以红色线条表示）和双向交互（以绿色线条表示）3 种。由图7 可见，在外网到内网的传输方向，外网采集服务器数据或通过接口读取数据库的方式将数据抽取出来并穿过网闸调用数据分发器，数据分发器根据指示将数据传递给相应的数据消费程序，数据消费程序将数据存入各自的数据库中。在内网到外网的传输方向，由外网数据同步服务提供数据传输接口，外网业务系统通过调用该接口发起数据请求，外网数据同步服务穿过网闸通过数据分发器调用内网数据同步服务，并将获取的数据返回外网业务系统中。个人手机和专用终端通过移动应用服务器访问数据分发器并调用内网业务系统接口，从而实现数据的内外网双向交互。

图7 数据传输通道Fig.7 The data transfer channel

4）可视化图形展示采用三维可视化工具，利用航测影像生成高精度二维、三维数据模型以及高精度地图，并发布在地理信息系统（GIS）平台上，本文综合业务管控平台的信息综合展示界面如图8所示，该展示界面也称矿山一张图。图8 中矿山的空间位置信息，如地表地形地貌、水文地质及地质构造、矿山地质储量、开拓开采方案、已完成的采矿工程等均得到数字化显示。

图8 综合业务管控平台的信息综合展示界面Fig.8 Information comprehensive display interface of the comprehensive business management platform

该模块实现可视化数据提取、结算、分析功能，能够进行矿区范围内采排工作面、设备、车辆、输配电、道路等关键信息注记[15]；能够进行二、三维地图浏览，包括人员定位、卡车、电铲设备的实时信息、运行轨迹显示，历史轨迹查询，报警数据显示以及查询；可实现基于GIS 的标注、测量、方量解算功能；可实现当班产量统计，地图区域标注、点标注等；可提供电子围栏管理和区域报警功能。