数据中台在煤矿重大灾害预警中的应用

王洪权 赵青山 孙学峰

（兖州煤业股份有限公司，山东 邹城 273500）

为了对煤矿中的瓦斯突出、一氧化碳超限、矿井透水以及应力释放导致的顶板断裂、底板底鼓、冲击地压等灾害进行预警，兖州煤业建设了重大灾害预警系统。在系统建设过程中首要工作是收集、整理以及存储安全监测系统、应力监测系统、涌水量监测系统等监测数据。这些数据格式不同、实时性高，一般的数据库和数据仓库无法满足存储和分析的要求。数据中台提供了数据的采集、清洗、存储、实时分析功能，因此采用数据中台技术作为煤矿重大灾害预警平台的数据管理平台。

1 煤矿重大灾害预警平台

煤矿重大灾害预警平台按照统一的标准对煤矿安全风险数据进行采集、传输、清洗、加工、交换，应用大数据技术对大量事故案例进行深入挖掘，多维度、多角度分析事故发生的内在关联和规律性，并通过BP 神经网络模型实现事故的预测预判，使煤矿安全生产管理模式由“事后管理”向“事前预防”转变，有效提升煤矿安全管理能力。

煤矿重大灾害预警平台主要包含风险的识别、风险的评估、风险的监测和风险的管控。平台集成了安全监测、人员定位、水文地质、微震、矿压、视频等监测监控系统，按照统一格式和标准存储实时和历史数据，完成数据融合，为煤矿提供风险管控治理建议，为制定执法计划提供参考。

2 数据中台技术

数据中台的定位是一站式数据中台PaaS，目标是通过产品化的方式，构建数据共享能力中心。数据中台包含了数据采集、数据分析、数据挖掘、数据查询这一完整的数据应用过程，覆盖了建设数据中台过程中所需要的各种工具，同时支持离线计算和实时计算两种数据处理方式。

数据中台采用先进的大数据生态底层技术，通过Spark、Flink 等开放的体系架构提供实时/离线计算框架，具备高性能且功能丰富的大数据处理能力，可以最大化的分析数据价值，实现数据应用的闭环。在提供开发环境和平台接口的同时，对大数据离线计算、实时计算、数据仓库建设、煤矿图谱等多种应用提供有效支撑。

2.1 数据中台设计理念

数据中台是一个承接技术、引领业务、构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求[1]。数据中台建设内容包含：

（1）集成和存储煤矿安全生产相关数据。根据煤矿重大灾害预警平台要求，集成和存储测风数据、束管防灭火监测系统数据、水文监测系统数据、冲击地压微震监测系统数据、设备管理系统数据等安全相关监测系统中数据，并存储到历史库中。

（2）制定数据的企业标准和集成规范。集成的数据格式多种多样，数据中台通过数据分层架构模式，把异构数据格式化为规范的结构化数据，实现了指标口径统一。

（3）建立数据资产管理中心，把煤矿中所有数据作为数据资产进行管理。对数据资产可以进行分析、应用以及优化，实现数据价值。通过数据资产管理中心统一管理煤矿中的数据资产，降低管理成本、管理难度和技术门槛。

（4）提供统一的数据服务。数据中台内部对用户是透明的，用户不需要了解数据的存储方式和存储位置，只需要使用数据查询逻辑即可使用数据中台中的数据，为用户提供了统一的接口。

2.2 数据中台技术架构

数据采集、数据计算、数据服务、数据应用是煤矿重大灾害预警平台中的数据中台技术架构中划分的四个层次，如图1。

（1）数据采集层。数据采集分为实时采集和离线采集，实时采集分为多种方式，采用主流的采集技术工具来接入，离线采集使用主流的批量数据同步工具。

（2）数据技术层。从采集系统中收集了大量的原始数据后，数据只有被整合、计算才能洞察商业规律、挖掘潜在信息、实现大数据价值，达到赋能生产、安全预警、创造价值的目的。OneData 是数据整合及管理的方法体系和工具。现有煤矿系统存在重复建设的问题，煤矿中各类数据存在大量冗余，形成了大量的离散的“孤岛数据”，在数据整合过程中需要规范数据格式、去除数据冗余、建立数据关联。使用OneData 构建重大灾害预警平台中统一、规范、可共享的数据资源池，充分发挥大数据海量、多样性方面的独特优势。

（3）数据服务层。数据服务层是未来所有基础信息数据交换、处理及共享等大数据服务的核心，包含数据集成整合、数据治理及服务几部分。数据服务可以使应用对底层数据存储透明，将海量数据方便高效地开放给煤矿内部各应用使用。数据服务以数据仓库整合计算好的数据作为数据源，对外提供数据服务，主要提供数据推送服务等特色数据服务。

（4）数据应用层。平台数据准备完成后，需要通过合适的应用提供给煤矿，让数据最大化地发挥价值。应用将以微服务的形式呈现在PaaS平台上，煤矿的相关数据或主题分析将直接取结果数据进行相关展示和重大灾害预警。

图1 数据中台技术架构层次图

3 数据中台在煤矿重大灾害预警平台中的应用

3.1 数据中台作用

重大灾害预警平台使用数据中台作为统一的数据管理平台。数据中台采集各监测系统中的数据，对数据进行清洗、规范化和分析整理，然后提供数据查询逻辑和数据接口。通过数据中台打通了各监测系统，实现了数据的融合，提高了数据的利用率，最终实现数据资产的增值。数据中台不是分布式数据存储库，其包含了数据的规范标准和完整的数据处置过程。数据中台采集数据、规范化数据、完整性校验数据、分析数据、提供数据，煤矿中的海量数据，经过数据中台的处理成为具有价值的数据资产，同时能被灵活使用，并快速扩展。数据中台的本质：

（1）从关心某个数据指标、单独的数据应用转向关注数据整体的梳理、数据质量。从打基础开始，逐步构建完整的数据体系；

（2）将所有数据统一的汇聚；

（3）整体的建模；

（4）统一的数据治理；

（5）期望以后的数据指标和应用综合成本降低50%以上。

在充分利用虚拟化资源池的基础上，全面加强对各类基础信息的实时采集、动态录入，做到数据全、信息准、底数清、情况明，并通过构建统一的数据中台实现全域数据资源的整合共享以及业务应用的协同联动，进而有效盘活煤矿各类数据资产，最终推动数据应用的融合化建设。

3.2 数据中台功能

数据中台涵盖数据从采集、加工、处理、分析以及服务的全流程能力，其具备多元化的采集手段，依托统一的元数据、主数据以及数据资产管理形成了一套数据治理体系，并以此为基础构建了包括各类基础信息、数据仓库以及大数据资源三大类数据资源，最终通过API 服务的形式形成统一的数据服务平台。数据中台具有以下功能：

（1）数据同步。数据同步是在各个存储单元之间执行数据交换的管道。为了在数据中台内进行大规模数据集的挖掘与计算，通常的做法是在任务执行前将数据传输至数据中台，并在任务执行结束后将计算结果传输至外部存储单元（例如MySQL等应用数据库）。

（2）数据开发。用于构建数据清洗、统计或数据挖掘的计算逻辑。煤矿内进行数据分析的场景多种多样，周期执行的任务、临时取数、数据挖掘任务都会同时存在，数据中台提供多种任务模式，分别满足不同分析场景。

（3）数据模型。数据模型不仅是数据中台提供的抽象工具，用来对现实世界进行数据抽象化，还提供了抽象后的数据的表示方式，以及数据的操作方式。数据模型是现实世界中实体的数据化，是概念的集合。这些概念通过数据完整性约束被严格定义，包含现实世界实体的静态数据、动态数据以及完整性约束。数据的组织结构、数据操作和完整性约束是数据模型的组成部分。

（4）数据地图。数据地图是可视化的数据资产中心，用户可以在数据地图模块中查看平台内的所有数据表情况，同时可以进行全方位的管理中台内的数据资产。

（5）数据质量管控。数据质量包括及时性、完整性、一致性、准确性，数据中台中数据质量划分为规则的配置、校验结果的查询等。

（6）数据服务。数据服务主要解决统一管理对内对外数据服务。API 管理者可利用产品化的配置工具生成各类API 服务，监控所有API 的调用及订购情况，让自己的数据资产价值对外输出，同时可见、可管。与此同时，对于API 使用者，可以看见API 市场中所有的API，根据需求自助选取合适的API，极大地提高了使用效率与易用性。

4 结语

通过构建统一的数据中台实现全域数据资源的整合、共享以及业务应用的协同联动，进而有效盘活煤矿各类数据资产，最终推动数据应用的融合化建设。