冶金矿山数据治理及管控平台建设实践

牛石柱 牛睿港

（1.太原钢铁（集团）有限公司矿业分公司；2.沈阳东硕信息技术有限公司）

目前，我国矿山智能化建设整体处于初级阶段，矿山智能化发展仍不平衡、不充分，绝大多数矿山企业原有子系统分散建设、兼容性差，矿山基础数据编码不统一，设备厂商接口与协议不开放，导致系统集成难度大，在企业生产、设备、经营、安全、管理数据中形成了“数据壁垒”和“信息烟囱”［1］，难以实现真正的数据融合共享和智能化应用，制约了矿山智能化建设的高质量发展。因此，本文结合太钢矿山数据治理与数据管控平台升级改造实践，讨论数据治理的工作要点及其数据管控基础平台建设的基本方法与思路，以期为矿山从综合自动化向智能矿山过渡提供有益借鉴。

1 冶金矿山数据治理的基本需求

智能化冶金矿山数据具有数据规模大且分散、数据类型多样、采集及处理速度快、数据价值密度低等一般大数据的特征，另外还具有数据时序性强、数据关联性强等特征［2］。数据治理主要有以下几个方面。

（1）实现对数据进行统一采集和存储，打破信息交互壁垒，汇聚融合多源数据，促进数据跨系统、跨领域流动，最终达到数据赋能给各个业务板块，以提升业务的运营效率和精细化管理能力。

（2）对低质量数据进行数据清洗与标准化处理，提升数据质量和规范性，实现数据采集的准确性、及时性、全面性，满足应用分析过程中的要求［3］。

（3）进行统一的数据标准和信息资源规划，规范和指导各应用系统的数据存储与应用［4］，形成标准的数据资产并提供数据的标准共享服务，防止数据和信息未经授权或不恰当地被使用，确保数据和信息资产的有效利用和价值最大化。

（4）通过深入了解矿山的信息需求，不断提高数据和信息质量，加强矿山数据的分析应用能力，最终形成智能化应用。

2 冶金矿山数据治理主要方法

冶金矿山数据治理的重点是解决智能矿山建设过程中的信息孤岛问题，实现数据共享和业务协同［5］。数据治理项目实施的成功与否，主要取决于项目本身的复杂度以及项目管理人员的把控能力，项目实施时需认真做好项目规划，摸清需求、背景、可投入资源等，最好具体到业务、数据、技术等层面。重点应做好管理体系建设、系统能力建设与应用能力建设。

2.1 数据治理管理体系建设

数据治理平台是基础，管理是保障。数据治理管理体系包括数据管理组织、数据管理流程及配套的数据管理制度等。

（1）数据管理组织由数据治理领导组与数据治理推进组组成，领导组由企业高层组成，主要负责确定管理目标，决策数据管理的制度、流程、职责等核心问题；推进组由数据管理中心、专项数据管理组和专家团队构成，负责落实管控，指导使用数据的单位和部门实施推进项目。

（2）数据管理流程包括数据生命周期管理流程、数据标准管理流程、数据质量管理流程等。

（3）数据管理制度包括数据管理工作的程序、章程及考核方法，是进行数据管理活动的行为规范和准则。

2.2 数据治理系统能力建设

通过技术手段搭建数据治理平台，为数据治理工作提供高效的运营支撑，实现企业数据资产的统一管控，应重点做好以下几个方面。

（1）数据采集、转换包括数据源管理、批处理作业配置、流处理作业配置、任务管理等。

（2）建立承载数据的底盘（数据湖、数据仓库设计）。

数据首先根据存储特性，分类为结构化数据和非结构化数据。结构化数据即行数据，存储在数据库里，可用二维表结构来逻辑表达实现的数据，如CRM、MES 等业务系统的数据，这类数据是大部分市面上的企业留存的数据资产，是最可能进行数据治理的数据资产。非结构化数据一般是无法形成规则的数据，如网页、合同、音频和视频，不方便用数据库二维逻辑表来表现的数据，这部分数据会通过OCR技术和RPA 技术提取核心数据，做成结构化数据进行。

数据根据存储属性划分后，就会通过ETL 进入到数据准备层ODS层。

数据准备层ODS 层（Operation Data Store）也称为贴源层，数据源中的数据经过抽取、转换、加载，也就是ETL 过程之后进入本层。该层的主要功能有3个，ODS 是后面数据仓库层的准备区，为DWD 层提供原始数据，减少对业务系统的影响。

数据仓库层DW 从上到下又可分为数据细节层DWD、数据中间层DWM、数据服务层DWS 3 层。数据细节层DWD（Data Warehouse Details）是业务层和数据仓库的隔离层，保持和ODS 层一样的数据颗粒度；该层主要对ODS 数据层做一些数据的清洗和规范化的操作，如去除空数据、脏数据、离群值等。数据中间层DWM（Data Warehouse Middle）是在DWD层数据的基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，提升公共指标的复用性，减少重复加工的工作。数据服务层DWS（Data Warehouse Service）是基于DWM 层上的基础数据，整合汇总成分析某一个主题域的数据服务层，用于提供后续的业务查询、OLAP分析、数据分发等。

（3）主数据与参考数据的建立。

主数据（Master Data）指的是企业中多个系统中都存在的，现实世界中存在的数据，通常用于建立与事务数据的关联关系来进行多维度的分析使用，其特性是跨多个领域和表的共同数据，要求同源多用和重点进行数据内容的校验，如部门基础数据、人员基础数据、供应商基础数据等。一般这些基础数据都是由不同的部门来进行维护的。在实际项目中，主数据表是会有时间维度的影响因子存在，所以建立主数据时，需要按月份进行增量追加模式。

参考数据（Reference Data）是对业务数据的企业定义的分类或是计算统计规则，是实现业务规则的核心数据，根据企业生产环节的实际状况设定和调整。在实际项目中需要跟业务线更近的部门去维护该部分工作，可以通过现场调研或下发调查问卷收集整理业务特点，提炼出业务数据治理规则。

（4）数据治理。数据治理的核心是对元数据进行管理。数据治理主要通过对元数据的管理建立起可提供一致的、可识别的主数据对象来支持整个企业的业务需求。

元数据（Metadata）是关于数据的组织、数据域及其关系的信息，它包含有关如何、何时、由谁收集特定数据以及数据格式的信息，如数据的名称、属性、分类、字段信息、大小、标签等。根据内容的不同，元数据又分为业务元数据和技术元数据。业务元数据包括定义主题域、最小颗粒度、字段含义、来源说明，技术元数据包括定义数据库、数据表名、数据字段。

冶金矿山的元数据可以按照矿石流、业务流为主线进行定义，例如通过定义元数据的基础属性（时间、地点、位置、主体等，也称维度），然后汇聚数据按照元数据进行归纳提炼，形成面向矿石流的关键节点（探、掘、采、运、提、选、售）的底层数据。通过定义元数据的业务环节（计划、调度、验收、统计、核算）与管理主题（人、财、物、地质资源），形成面向业务流的底层数据，在数据存储时也要考虑必要存储内容、更新周期、检索方式等因素。

（5）数据安全管理，聚焦于数据安全管理理念，实现数据脱敏。对敏感数据按规则进行脱敏变形，避免敏感数据泄露；同时数据脱敏后保持了原有数据的一致性和业务关联性，应用于开发或测试环境、数据交换、数据分析、数据共享等场景。

（6）报告数据。报告数据是通过领域模型，进行建立和梳理指标库，来支持不同部门的视角需求，提高数据安全性和数据规范，以及统一数据规格和数据说明。报告数据就是给非IT人员使用的数据集。

数据治理的管理体系架构见图1。

2.3 数据治理应用能力建设

数据治理应用能力建设主要指需求范围的管控。需求管理会贯穿至项目整个生命周期，每个需求的变化或调整都会对项目的整体进度或发展产生影响。通过对数据的挖掘分析，能更好的构建相应需求的数据服务和数据应用。

（1）数据服务。数据服务是为了隔离具体的数据利用业务和数据资产，形成标准的数据资产并提供数据的标准共享服务［5］，通过数据接口API 对外提供数据服务，实现数据发布、数据分享、数据交换等核心功能。

（2）数据应用。在数据治理基础上场景化的数据应用，主要有数据资产报表、客户定制业务报表、智能化应用等，如通过图表、大屏等可视化方式将数据进行分析展示以及数据挖掘等应用。

3 太钢矿山数据治理与协同管控平台建设

3.1 建设项目背景

太钢矿业生产、设备管理业务的信息化管理基础已经具备，但报表数据很多都是手工录入，信息化系统互联互通不够，落地数据、数据孤岛现象明显，对采、选、公辅现场信息的获取掌握不全不准，与自动化融合不深，没有实现通过信息化对现场精准管理。需要建立一套由基础自动化实时数据转化为生产管控所需关系型数据的协同机制，通过数据应用达到矿石流和数据流“两流”结合的效果，提升企业管控矿山生产和经营过程的能力，从而实现矿山的精益化管理。

3.2 系统建设方案

生产过程数据治理与协同平台按照“开源、降耗、节能、增效”的原则，利用Xln3Pla、数据存储技术、时序数据转储技术、数据通信技术等信息技术，集数据填报、数据处理、数据可视化、信息发布、平台管理、知识管理等功能为一体，以经营管控系统和生产过程控制系统数据为源头，根据中国宝武大数据标准规范，将数据进行加工处理，建立标准统一的数据模型，实现跨系统数据共享和数据资源整合。通过采矿、选矿、能源公辅等矿山生产经营管控应用的建设，提升基础自动化、生产集控的数据接入、统计分析能力，满足矿山与太钢矿业总部的信息化管控系统数据交互，多角度洞察业务，辅助数据智能决策。生产过程数据治理与协同管控平台架构见图2。

（1）技术平台架构。基于Xln3plat 为企业提供了一种具有前瞻性的技术解决方案，可以帮助其快速构建高性能、高可用、可扩展的分布式应用系统。iPlat4J V6 作为后端开发框架，具有分布式、微服务、云计算等特性，可支持大规模并发请求，提供高可用性和高性能的数据处理能力。Vue 作为前端开发框架，则具有易于开发、便于整合等特点，可轻松实现页面之间的跳转和数据传递。通过将iPlat4J V6 和Vue 相结合，企业可实现业务的快速开发和部署，同时提高开发效率和代码质量。

DB2数据库采用了传统的分布式关系型数据库架构，可支持大规模的并发访问。iHDB 是一种基于内存的实时数据库，可实时地处理实时数据。因此，在iHDB 中，数据库的架构可能与DB2不同，需要针对实时数据的特点进行特殊处理，通过IHDB 提供的功能强大的二次开发接口技术，采用接入JAVA 软件开发套件（SDK），在iPlat4J V6 开发环境开发应用服务，实现实时数据转储至关系型数据库（DB2）。

（2）数据的汇聚与处理。数据汇聚包括数据采集和数据存储2 个流程［4］。数据汇聚是数据协同平台建设的第一个环节，其主要目的是打破数据的物理孤岛，形成统一的数据汇聚中心，为后续数据资产价值挖掘提供原始数据，以支撑协同管理平台对数据获取的稳定性和管理的便捷性，形成数据的高度集中管理。

现场设备运行和生产相关的结构化数据通过建立各种通讯将全厂边缘数据源上传至关系型数据库，矿山建立统一的数据存储与管理平台后，通过对元数据的管理建立起可提供一致的、可识别的主数据对象来支持整个企业的业务需求，规范数据由细节层到综合层的集成路径，为智能矿山中的数据逐级汇总、决策支持、生产运营分析等智能化管理主题提供支持。

非结构化数据，如视频数据入库后，运用视频、图像等处理技术对原始数据进行初步清洗，再将清洗后的数据交由运算服务器进行特征提取、身份识别、周界识别检测和人员行为分析等处理。融合事件日志、行为日志等结构化数据，进行数据深度挖掘分析。在融合数据的基础上快速建立个体、群体的常模，模型初始化完成后，模型能够实现自主学习功能，进而实现快速甄别违章行为等，并做出管理决策要求，完成智能监护的闭环流程。

数据存储按照贴源数据层、公共数据层和应用数据层3层逻辑数据架构进行数据处理，使得来自不同业务系统的数据在进入统一数据存储平台后，能形成一定的标准性和一致性。

（3）数据的标准化服务。围绕公司业务战略，对数据进行组织融合与建模治理，为矿山生态圈内的各类业务场景提供敏捷高效的数据服务，过程中持续不断地沉淀标准化数据服务能力和数据资产运营能力，实现“数据服务业务、洞察业务、驱动业务”。通过统一的设计和逐步推进，逐渐理清企业数据资产，形成资产目录，并通过数据接口API 对外提供数据服务，让企业清楚掌握数据从哪里来，经过了如何处理，形成了哪些数据资产，被哪些应用调用。

（4）数据的智能化应用。从各个作业区、生产管理部门的不同岗位，实现班组、车间、厂部级的生产或业务报表，替代现场的原始纸质化报表，实现数据不落地。

通过综合展示大屏，直观展现生产实绩数据、生产关键指标数据过程管控等内容，便于现场管控中心人员统一、便捷管理。以六个主题（生产、设备、安全、环保、能源、计量检化验），一个集中（组织机构）为核心，突显了易于理解，提高可视性，突出重点，提高效率，简化复杂数据，辅助决策，更好的数据比较使人们更容易理解数据的优势，让人更加明白可视化的价值所在。

建立一个智能化、多功能、全天候的动态视频智能识别系统，做到视频机器视觉识别与工业控制相结合，既能实现对人员行为的识别，也能实现对矿山环境及物品（设备）状态等的识别，达到安全、节能的目标。

利用生产数据协同平台的移动端APP 实现了“数据随身带，指标掌握在手中”，解决管理层的后顾之忧，提高业务运营效率。

4 结 论

（1）我国矿山智能化发展目前仍处于起步阶段，还存在各信息化系统互联互通不够、数据质量低、数据治理体系缺乏、数据赋能不够充分等问题，需要运用先进的数据治理理念和数据安全管理思维，建立统一的数据治理及管控平台，应用数据治理的3个能力建设理念，结合冶金矿山数据治理的基本需求，提高数据治理能力，形成标准化的数据资产。

（2）在智能矿山建设上，要充分发挥大数据技术的价值，优化算法，提升算力，通过数据的集成，利用信息化手段进行数据分析，深入挖掘内在联系，以此推动管理变革，提升管理水平，实现技术与管理的融合。