准能数字矿山生产实时数据库

褚福南，苏海南

（国家能源集团准能集团公司 生产指挥中心，内蒙古 鄂尔多斯 010300）

随着信息技术的迅速发展，基于数据指导生产方法的研究正在引起工业界与学术界的普遍关注[1]。准能集团在系统建设方面取得了大量成就，目前已建成了边坡稳定性监测系统、卡车盲区监测系统、车辆预警系统等33 个监测、生产系统，但系统之间大多相互独立，数据不互通，没有对数据进行深度挖掘[2]。为打破“信息孤岛”和解决“数据浪费”问题，实现生产业务数据、生产实时监测数据的集中存储、管理和展现，为各管理系统提供数据共享服务和数据应用服务，提升企业生产数据的访问应用效率，需要构建1 套生产实时数据库系统。

1 系统规划

1.1 系统建设方向

生产实时数据库系统作为准能数字矿山工程的一个子系统，主要包括数据标准化体系建设、生产实时数据库平台建设、数据采集存储共享建设、数据仓库建设、数据分析建设5 个部分内容。

1）数据标准化体系建设。数据标准化体系建设是以数据应用和价值为驱动，依据企业当前信息化建设的成果，设计、编制生产数据标准化体系，提升数据管理和数据质量水平，促进生产数据的标准化，为后续的系统整合、数据共享和数据分析等方面建设提供依据和指导，主要包括生产数据标准体系框架构建，明确数据分类标准。

2）生产实时数据库平台建设。生产实时数据库平台建设包括实时数据库技术平台、关系数据库技术平台、数据仓库技术平台和大数据技术平台4 部分建设。实时数据技术平台支持实时数据采集、分发和存储，主要存储煤炭、电厂、运输及生产辅助单位各类生产监测系统数据，支持生产实时数据的集中存储和管理功能；关系数据技术平台用于满足对“操作数据”的存储，“操作数据”是“面向主题的、集成的、当前或接近当前的、不断变化的”数据；数据仓库技术平台，包括了数据仓库和数据集市2 部分，数据仓库用于存储全部的面向主题的业务数据，数据集市则是针对特定主题进行建设；大数据平台总体规划为数据采集区、数据存储区、数据分析计算区、数据应用区。

3）数据采集存储共享建设。操作数据存储，在生产实时数据库中包括实时操作数据和关系操作数据2 部分的采集、存储与共享。数据系统管理功能为系统管理和数据查询2 大部分：系统管理包含用户管理、字典管理、机构管理等9 项功能；数据查询包含实时数据查询、实时数据趋势图、历史数据趋势图等10项功能。实时数据采集、存储与共享是针对每一个实时数据来源系统。关系业务数据采集、存储与共享是针对每一个业务应用来源系统，实施步骤包括业务系统数据分析、接口方案设计采集器配置或定制、对接联调和数据核对检查。

4）数据仓库建设。数据仓库DW 是一个以更好地支持企业或组织的决策分析处理的、面向主题的、集成的、相对稳定的、体现历史变化的数据集合[3]。将原有分散的数据抽取、清理，经过加工、汇总和整理，消除不同源数据中的不一致性，保证数据仓库内的信息是一致的全局信息。而数据集市DM，则是按照分析需求进行数据分析模型设计，对数据进行再组织，便于分析展现。系统通过数据转换工具，将业务系统的数据经过抽取、清洗转换之后加载到数据仓库，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

5）数据分析建设。数据分析功能是基于数据仓库的数据进行分析，包括统计报表分析和大数据分析2 部分内容，统计报表分析是将企业数据仓库中的历史数据和极值数据形成报表；大数据分析是将各项数据进行大数据分析，形成大数据分析主题，总计包含9 个生产联动大数据分析主题。

1.2 系统架构

1.2.1 业务架构

1）生产数据标准体系框架是基于企业业务的架构，划分为生产运营管理和企业经营管理2 大业务域，并与数据分类相结合，构建数据标准体系框架。总体业务架构为基础，以降本增效为导向，通过企业运营核心业务能力定位关键指标，构建适用于企业的指标分析体系框架，为企业的生产实时数据库和智能应用建设提供数据基础，有效提升数据价值创造能力和科学决策水平。

2）指标分析体系框架。其中煤炭生产领域数据包含27 个指标，铁路运输领域数据包含23 个指标，发电生产领域数据包含23 个指标，生产辅助领域数据包含7 个指标，设备管理领域数据包含5 个指标，财务管理领域数据包含44 个指标，物资管理领域数据包含32 个指标，外购管理领域数据包含6 个指标，8 个领域数据总计173 个指标进行数据规范。

1.2.2 技术架构

生产实时数据库用于打通L2和L3层，实现数据共享、融合与分析利用，生产实时数据库定位如图1。

图1 生产实时数据库定位

生产实时数据库由数采系统、ODS（包含关系数据库、实时数据库）及数据访问服务、数据仓库、数据分析等构成。

1）数采系统。采用HiRIS10 的数据采集模块实现。用以支撑业务数据、感知实时数据的采集和共享，并将采集数据写入到ODS 中；同时，数采系统也支持数据的共享，将数据由ODS 推送至业务系统数据库的中间库中。数据采集系统与源系统数据库的变更数据捕获机制共同使用。源系统数据库提供的数据必须是经过转换的符合准能数据标准的数据。

2）ODS。存储关系数据的数据库采用Oracle12g企业版；存储实时数据的数据库采用HiRIS10 数据存储模块。ODS 对外提供数据访问服务，其中实时数据部分提供基于HTTP 的数据访问服务及定制数据推送服务。ODS 层数据存放近源的明细粒度数据，也保存来自于业务系统的统计汇总数据，以保证统计汇总数据的一致性。ODS 中的业务数据为用于共享的业务数据和用于为数据仓库提供的业务数据，需符合准能数据标准，且易于追溯。

3）数据仓库。采用Oracle12g 企业版。数据仓库用于存储海量历史数据；数据集市与数据仓库可部署在同一个数据库实例上，每个数据集市采用单独的Schema。数据仓库中的数据来自ODS，存储明细数据，并存储进行汇总加工的数据。数据集市中的数据均来自于数据仓库，避免出现不遵从此数据流向的情况出现。

4）生产联动大数据分析。生产联动大数据分析采用了大数据平台中的ETL 工具，实现用户从数据源抽取出所需的数据，经过数据清洗和加工，然后清洗整合，以形成标准化和规范化的数据装载到数据仓库中[4]。

2 系统实现的成果

1）标准体系成果。指标包含煤炭生产、发电生产、铁路运输、生产辅助、设备管理、财务管理、物资管理和外购管理，8 个领域数据指标，总计173 个指标进行数据规范。

2）采集和共享数据成果。采集和共享数据6 个实时数据系统和27 个业务系统，并且每个系统都进行数据正确性验证并签订验证报告。

3）数据仓库成果。数据仓库目前已实现500 多张数据库表的建设工作，并且在系统中实现指标（主题）管理、维度管理功能，在调度监控平台中对任务进行监控，随时查看监控任务情况。

4）数据分析成果。大数据分析是实时数据库标准化体系、采集共享数据、数据仓库成果的最终落脚点，能够检验生产实时数据库在生产应用中的成效[5]。生产实时数据库系统建立了10 类生产联动大数据分析主题，系统分为煤炭、电力、运输3 个板块，实现了业务横向贯通、纵向联动的效果。数据分析主界面反映了公司生产完成情况，主要从原煤、商品煤、剥离、外购煤、发电、运输多个方面进行了展示，并实现了进行自动统计和可视化分析，包括实际量、计划量、日超欠量、月均衡超欠量、年均衡超欠量。两露天煤矿、选煤厂、煤销公司、矸石电厂、铁路运输等分页面，对原煤、剥离、商品煤、外购煤、发电、铁路运输的详细完成情况进行了进一步分析，并对检修计划、电铲躲炮时间、卡车燃油单耗、工作效率、入洗比例、港口港存等多项指标进行全面反馈。同时，重点对主采设备的内外障情况、可动率和出动率情况，破碎站运行及产量效率情况，单铲单车完成量与各项生产指标之间进行联动分析，通过对异常数据的逐层钻取分析，让相关数据得到针对且具体的分析，找到数据支撑点，得出制约各单位自身生产、影响上下游各环节协同的主要影响因素，帮助企业领导做出正确决策[6]。

3 系统应用效益

数字矿山生产实时数据库的建设是企业生产领域实现信息化的先驱工程，是企业实现数字化转型的基石，实现了业务、应用、数据、集成和基础设施架构相互支持，成为了一个精准适时采集、网络化传输、规范化集成、可视化展现、自动化操作和智能化服务的数字化智慧体[7]。各系统之间形成了相互集成，确保流程的高效衔接和数据的共享，消除了信息孤岛，为企业的数据管理、数据挖掘、生产决策以及企业的发展提供有力保障。

1）完善了数据治理体系，提升了数据资产的价值。通过进行生产数据标准体系设计，设计了符合业务实际的数据管控体系框架和数据标准，包括（主数据分册、主数据属性标准、主数据分类标准、主数据编码方案）。通过建立主数据管理系统，实现20 个主数据管理，将数据标准落实到系统建设中。通过数据标准化体系的建立，将数据标准贯彻落实到应用建设中。数据治理体系的建设，为跨系统数据的集成应用奠定了基础，实现全局数据资产化成为可能。

2）通过生产实时数据库中ODS 的建设，在数据层面促进了企业应用系统一体化建设。生产实时数据库提供了全局数据集成共享机制，成为企业上层应用系统的业务数据枢纽，目前准能集团已有33 个系统与生产实时数据库实现了对接，包括6 个系统的实时数据、27 个系统的关系数据，800 多张数据库表。极大减少了数据录入的工作量，提高了数据准确性和及时性，提升了跨系统跨部门的日常业务协同效率，使企业的各应用功能系统不再是传统的部门级独立建设，而是在企业统一指导下的数据层面的一体化建设。

3）通过生产实时数据库中DW 的建设，提升了业务全局透明性，揭示内外部进展情况和影响因素，为生产计划制定和调度指挥提供了客观科学的数据分析依据。通过生产实时数据库融合集成生产业务数据、生产实时监测数据及经营业务数据，提供露天煤矿、选煤厂生产信息的大数据分析，生产单位可以及时了解上下游单位的配合关系、自身制约生产的重要因素及影响本单位生产的重要因素，在计划制定、业务联动、生产指挥上更加精确准确。

4）建立了生产联动大数据分析的煤炭、电力和运输3 大板块。系统包括了对商品煤、原料煤、剥离、发电量、上网电量和铁路运输的日、月、年完成情况进行上下游分析，针对同板块业务能横向联动、上下贯通的进行生产分析，并以最终的分析结果，以问题为导向，层层钻取分析，抓准影响生产和系统的问题所在，最终服务于决策层，将管理者的决策依据、管理思想、生产指标进行系统固化，紧紧围绕决策的有效性，将管理和决策分析提升到一个新的高度[8]。

4 结语

数据库的技术应用是计算机科学发展的有力证明，数据库技术让更多繁琐和复杂的工作都呈现得更加便利，而且彰显出计算机技术的重要应用价值。生产实时数据库系统实现了数据标准化、结构化、实时化的高效管理，打破了多系统间的信息孤岛，推进了企业的数据挖掘、数据分析工作，增强了企业资源优化配置能力，减少资源损耗，提高企业的生产效率，提升企业的核心竞争力。