基于敏捷型BI的矿业集团生产信息分析模型

修国林，黄雨笋，李国清，胡乃联，侯 杰，黄树巍

(1.北京科技大学金属矿山高效开采与安全教育部重点实验室，北京 100083；2.山东黄金集团有限公司，山东 济南 250100)

基于敏捷型BI的矿业集团生产信息分析模型

修国林1，2，黄雨笋1，李国清1，胡乃联1，侯 杰1，黄树巍1

(1.北京科技大学金属矿山高效开采与安全教育部重点实验室，北京100083；2.山东黄金集团有限公司，山东 济南250100)

为了解决矿业集团底层生产运营数据难以交互分析、无法直接转换为战略层面上集成信息，易形成数据孤岛的问题，本文基于敏捷型BI实施方案，采用多种现代化信息技术快速构建了矿业集团生产信息多维数据模型，并完成了相关的数据分析。从集团管控模式的角度出发，在科学规划生产数据的基础之上，进行了可视化的数据ETL处理和主题域的确定，搭建了矿业集团生产信息数据仓库，构建了生产信息多维数据模型，利用OLAP技术对模型进行了多角度、深层次的分析与研究，最后采用敏捷型BI工具实现了生产信息可视化的多维分析操作与图形展示。通过敏捷型BI生产信息分析模型在国内某大型矿业集团的应用，实现了集团下属矿山企业生产运营数据的汇总、统计分析及异常预警，促进了矿业集团生产信息智能分析和科学决策能力的提升。

矿业集团；生产信息；商业智能；敏捷型BI；多维数据模型

矿业集团是现代矿山企业发展的高级组织形式之一，集团管控模式可以针对宏观战略目标，通过层级管理的控制、资源的协调分配、生产经营的风险控制，进而优化业务流程和组织架构，使成员企业集中资源要素、减少内耗，最终达到最佳运作效率并实现更好的经济和社会效益[1]。矿业集团化经营可以实现专业化经营与集团化管理的双重优势，但这种管控模式也存在着管理层级复杂、管控集中程度多样化、成员企业生产类型与产品类型个性突出等诸多不利因素的影响。

在集团管控模式下，管理者需要随时了解和掌握集团下属企业的生产运营情况，包括生产数据、财务成本、技术经济指标等信息，并通过对生产状况的综合分析，及时发现生产经营过程中存在的问题，进而改进集团及其下属企业的计划规划，辅助企业的经营决策[2-4]。矿业集团目前处理底层生产经营数据的方式是报表系统，然而矿山企业的生产与经济指标体系庞杂，呈现数据量大、维度多、统计路径多样化等特点，随着生产数据的增多和集团需求的提高，传统的报表系统逐渐面临数据量丰富、信息知识匮乏，难以交互分析、形成数据孤岛等问题[5]。为此，本文针对矿业集团生产运营管理特点，借助现代信息技术手段，引入商业智能(BI)技术。

商业智能是一套完整的解决方案，用来将企业中现有数据进行有效整合，快速准确地提供图表分析与决策依据，帮助企业管理者做出明智的业务经营决策，其关键技术是数据仓库技术、OLAP技术和数据挖掘技术。随着信息时代的来临，大部分矿山企业已经建立了比较完善的CRM、ERP、OA等基础信息化系统，可以实现简单的信息查询与决策支持，山东某黄金矿山在此基础上应用商业智能中的数据仓库技术研究了矿山成本问题，构建了黄金矿山成本分析模型，实现了黄金矿山成本考察和成本分析的目的。传统BI实施方案在解决单一特定问题上十分有效，但其大数据分析能力和灵活性较差，分析能力滞后，而且相关项目耗资不菲、实施周期极长、对人才要求高。本文研究矿业集团生产信息，数据庞杂，需求灵活多变，应用传统BI实施方案可能会导致投入与收益不成正比，因此采用贴近现代企业经营需求，可实现快速部署、需求多变、灵活易用的敏捷型BI，完成矿业集团生产信息分析模型的构建。

1 敏捷型BI在矿业集团的适用性分析

商业智能的关键是通过数据ETL过程从海量生产运营数据中提取出有用的部分，再利用合适的查询和分析工具对其进行分析和处理(这时数据变为辅助决策的知识)，最后将知识呈现给管理者，为管理者的决策过程提供数据支持[6]。敏捷型BI是在商业智能的基础上，使用可视化ETL流程操作，动态的内存数据立方体技术，并行计算的先进数据处理模式，根据用户需求形成快而有效、灵活易用的实施方案。敏捷型BI的主要特性和优点如下所述。

1)快速部署。敏捷型BI采用了分布式计算、内存计算、列存储以及库内计算等技术，这样大数据量处理不再依赖预计算即可快速完成，数据处理速度得到大幅度提升。面对矿业集团亿级数据量，敏捷型BI实施方案也可以做到快速部署，最快一周左右即可上线。

2)可视化ETL流程。敏捷型BI支持丰富的数据源连接，以及可视化的ETL工具帮助企业进行多样数据整合；并通过智能的字段名称转义和关联手段，让数据具有更强的可读性。矿业集团无需引进专业技术人才，业务人员也不用编辑代码和脚本，所见即所得，可快捷地完成数据ETL流程。

3)动态的内存数据立方体(Cube)。敏捷型BI完成数据ETL清洗转换后，即可存储到Cube中，并按照业务数据包进行分类管理，方便业务人员进行前端数据分析。不同的业务人员操作不同的业务数据包，一个业务数据包中可包含多个Cube，Cube中的数据可实时动态调整。矿业集团数据多样、指标众多、分析主题动态化且多样化，敏捷型BI可根据主题建立业务数据包，再根据分析的指标建立Cube，相应的业务人员只有固定的Cube操作权限，使得工作快捷高效地进行。

4)轻量建模，N个视图。与传统BI的重量建模、统一视图不同，敏捷BI采取轻量建模、N个视图的方法，不需建二次表，数据导入后可直接进行分析。操作人员可快速建立分析主题，并且可以实时调整分析维度和度量计算方式，极大增加了分析的灵活性和实用性，真正做到操作人员和数据对话。矿业集团领导不需要再通过业务人员定制报表，自己即可通过可视化的操作进行分析和探索，而且分析主题灵活多变，固定分析主题与临时分析主题并重，真正做到经营决策及时调整。

5)低成本。敏捷型BI降低了数据分析学习和操作的门槛，随之降低了对业务人员的要求；同时降低了项目实施难度，缩短了项目周期，随之降低的还有项目风险性，敏捷型BI从整体上降低了项目成本。因此在矿业形势低迷的现阶段，敏捷型BI也是十分适用的。

通过对敏捷型BI概念、特性和优点的分析，可以发现敏捷型BI不仅能够实现商业智能将原始数据转换为决策知识的功能，而且更快、更简单、成本更低、适用性更好。面对矿业集团数据多样、指标众多、分析主题动态化且多样化、固定分析主题与临时分析主题并重等问题，采用敏捷型BI实施方案，无需引进专业人才，只需提供底层数据，再经过可视化的数据ETL处理，建立动态的内存数据立方体，即可组成生产信息分析模型；同时可以实现数据的图表可视化和OLAP分析，使数据快捷地变成辅助决策的知识。

2 基于敏捷型BI的生产信息分析模型构建

2.1 集团管控模式下生产信息的分析需求

目前大部分矿山企业单位已建立了比较完善的CRM、ERP、OA等基础信息化系统，这些系统的统一特点是：通过矿山业务人员或者用户的操作，对矿山数据库进行查看、增加、修改、删除等操作。上述系统可统称为OLTP(Online Transaction Process，在线事务处理)，OLTP系统运行了一段时间以后，会帮助矿山企业收集大量的生产运营数据，而这些数据最终将汇总到矿业集团的数据库中。集团方面处理这些数据的方式是相关业务人员根据决策者的需求进行报表定制，即报表系统，然而随着生产经营数据的增多和矿业集团需求的提高，使得矿业集团生产经营决策过程更为复杂，这也促使生产信息的分析过程出现了一些新的需求。

1)数据的集成化与规范化[7]。现阶段矿山企业已建立了比较完善的基础信息化系统，每天会收集大量的数据信息并通过互联网汇总至矿业集团的数据库中，数据量丰富但信息知识匮乏，数据利用率较低。因此，集团需要构建标准化的数据仓库，从存储方式、数据结构、处理逻辑等方面规范矿业集团大规模数据的集成方式。

2)需求多变，分析多样。矿业集团管理层级复杂、管控集中程度多样化、成员企业生产类型与产品类型个性突出，导致不同部门、不同层级的领导需要了解的信息不同，需要分析的主题不同；传统的报表定制，无法满足分析的动态性和个人定制性。因此，采用敏捷型BI实施方案，可根据分析主题建立业务数据包，再根据分析的指标建立Cube，使用可视化的操作，所见即所得的自助式数据分析模式，满足集团领导灵活多变的分析需求。

3)智能分析，科学决策。面对矿业集团的海量数据和复杂多变的经济环境，需要根据清理分类后的生产信息捕获分析主题，并对主题进行多层次、多角度、全方位立体式分析与挖掘，才能为集团分析下属矿山企业生产状况提供准确的数据支持，传统的技术难以完成。因此，需要建立生产运营信息的多维数据模型，从模型中捕获分析主题，并采取切片、切块、钻取、切换维度等多种分析动作来剖析主题中的数据，深入地了解包含在数据中的知识，帮助集团领导做出科学决策。

4)快速部署，实时调整。集团领导需要随时了解和掌握集团下属企业的生产运营情况，及时发现问题，进而改进集团及其下属企业的计划规划；并且领导的分析需求多变，需要从多种角度分析数据，但传统BI实施方案部署周期长，需求定制，无法满足集团领导需求的灵活性。因此，选择采用敏捷型BI实施方案，做到快速部署、实时调整分析维度和度量计算方式等，极大增加灵活性，真正做到和数据对话。

2.2 敏捷型BI实施流程

敏捷型BI是在商业智能的基础之上，使用可视化的ETL流程、动态的内存数据立方体技术、并行计算的先进数据处理模式，并根据业务数据包捕获分析主题，构建相应的数据立方体，大大加快了数据处理与分析的速度，而且易用性与灵活性更强，更加贴近现代矿业集团的经营需求。敏捷型BI的具体实施流程如图1所示。

采用敏捷型BI实施方案，底层数据在导入数据仓库之前，必须由数据抽取和转换层(ETL)进行数据清理、合并、转换及其他信息集成工作。数据仓库提供了生产信息分析模型的基础数据，可实现大量细节数据和综合性数据的存储，敏捷型BI采用了动态的内存数据立方体技术，可将数据仓库划分为多个业务数据包，每个业务数据包中包含多个数据立方体(Cube)，后续的OLAP分析和数据挖掘操作，都可以在Cube上完成的。OLAP服务器可以根据业务数据包中自动捕获的分析主题进行分析，也可以迅速地响应用户的各种查询及分析要求，并能根据数据之间的关联对数据进行快速、灵活的计算和转换；前端信息展示可部署所需的各种图表分析，而且可自主调节数据的分析维度、指标、方式等，将二维或多维数据生动形象地显示给集团生产运营管理人员。

2.3 生产信息数据仓库构建

数据仓库构建的主要工作包括收集、分析和确认业务分析需求，分析和理解主体和元数据、事实及其量度、粒度和维度的选择与设计、数据仓库的物理存储方式选择等[8]。主要过程包括概念模型构建、逻辑模型构建和物理模型构建，具体如图2所示。

2.3.1 概念模型构建

概念模型构建的主要工作可以分两个步骤：首先分析用户的决策需求，其次分析实现这些决策需求所需的数据。

矿业集团领导主要的决策需求是了解旗下矿山企业的生产运营状况，及时发现生产经营存在的问题。实现这些需求需要对矿山的生产信息进行分析，矿山的生产信息主要包括地质资源信息、矿山产品信息、运营收入信息、物资设备信息、安全环保信息等，其中地质资源信息主要包括矿山地质资源储量、备采矿量和三级矿量等地质方面数据；矿石产品信息主要包括原矿产品和精矿产品等方面的数据；运营收入信息包括销售收入、销售价格和成本费用等财务方面的数据；物资设备信息主要包括物资供应和设备管理等方面的数据；安全环保信息主要包括安全生产和环保管理等方面的数据。

综上所述，根据集团领导的决策需求及矿山生产活动的实际划分主题域如图3所示。

图1 敏捷型BI的实施流程图

图2 生产信息数据仓库构建过程框架图

图3 生产信息主题域划分框架图

2.3.2 逻辑模型构建

逻辑模型构建的主要工作是对概念模型构建中所划分的主题域进行分析以及对事实表和维度表进行设计。在概念模型中已经划分出地质资源、矿石产品、运营收入、物资设备以及安全环保五个主题域，表1对各个主题域进行了详细分析，具体如表1所示。

数据仓库的每个主题是由多个数据表来实现的，这些表之间依靠主题的公共码键联系在一起，形成一个完整的数据结构。在逻辑模型构建中，主要考虑数据仓库的结构及完整性，保证数据仓库所有数据元素包含在数据模型中。其重点是细化数据，以星型模型或雪花型模型为基础，明确事实表和维度表，并在事实表和维度表中添加属性。

表1 主题域详细分析

1)事实表设计。度量值选取本月实际、本月计划、本季计划、本年累计、年计划、去年同期。

2)维度表设计。将时间、企业、指标定义为分析维度。其中时间维度形成月、季度、年的层级结构；企业维度形成矿山成员、二级公司、集团的层次结构；指标维度则形成具体指标、指标类型的层次结构。

3)数据立方体。数据立方体是一组维和度量的集合，也称多维数据集。度量来自事实表，维来自维度表，从底层的维度表中读取维的数据，构建维的结构，创建层次，将成员指派到层次中合适的级别。度量的聚集是基于维的层次来聚集，以特定的结构存储预先计算的聚集，通过索引帮助查询聚集数据并实时返回查询分析的结果。

2.3.3 物理模型构建

物理模型是逻辑模型在物理系统的实现模式。包括特定的逻辑模型中的各种实体，例如，关系表的数据结构类型，索引策略、数据存储位置和数据的存储分配等。在物理模型构建和实施中，要考虑的因素包括：I/O访问时间，空间利用率和维护成本[10]。

在本次物理模型构建中，主要进行存储方式的选择。关系型数据库存储方式所需的查询时间较长，但它所需存储空间较小、查询性能好、可以处理大量数据，而且逻辑模型划分的主题域较多，同时元数据存储在关系型数据库中。根据综合性数据的组织方式，从运算速度、磁盘容量等方面综合考虑，本模型对多维数据集采用关系型数据库方式存储。

2.4 生产信息多维数据模型构建

与传统BI的重量建模、统一视图不同，敏捷型BI采取轻量建模、N个视图的方法，不需建二次表，数据连进来直接可以进行分析，同时敏捷型BI采用分布式计算、内存计算、列存储、库内计算等技术，使得数据处理速度有了大幅度提升，可迅速响应操作人员的查询及分析要求。操作人员可快速建立分析主题，并且可以实时调整分析维度和度量计算方式，极大增加了分析的灵活性和实用性，真正做到操作人员和数据对话。敏捷型BI建模方式如图4所示。

图4 轻量建模、N个视图

传统BI做分析是通过组织一批数据，或者通过新建查询从数据仓库中得到主题相关的数据表，再通过组织查询来构建多维数据模型，这种方式弊端十分明显，主要是流程复杂，专业要求性极高，而且面对大数据量时，查询复杂繁琐，构建模型困难。而敏捷型BI则是使用了业务数据包的方式，业务数据包中包含相关主题对应的所有业务数据表，是后续分析的数据基础，其源数据可以来自某个数据库的多个表，或者多个数据库的多个表。借助业务数据包可以轻松实现按照主题对数据进行分类、管理和权限配置，做到固定分析主题与临时分析主题并重。同时业务数据包是多维数据模型在前端的映射，通过业务包的创建和设置，使得多维数据模型和业务分析需求的衔接更加紧密自然。

在业务数据包的基础之上，敏捷型BI可根据其中的源数据捕获分析主题，关联对应的数据表，自动形成数据立方体，如在矿山产品业务数据包中，可捕获分析主题“原矿产品”，数据立方体实体关系图如图5所示。

图5 原矿产品数据立方体E-R图

随后对数据立方体进行OLAP分析，OLAP的关键属性是多维性。多维数据分析是分析企业数据最有效的方法，是OLAP的灵魂。多维数据分析是指对以多维分析组织起来的数据采取切片/切块、上卷/钻取和旋转等多种分析动作来剖析数据[11]，具体如图6所示。

针对矿业集团生产信息分析模型的特点，此数据立方体主要从三种维度分析观察事实数据。在时间维度进行“月→季度→年”上卷或“年→季度→月”钻取；在企业维度进行“矿山→二级公司→集团”上卷或“集团→二级公司→矿山”钻取；在指标维度可以对某一指标类型进行统计，或在多个维度上进行切片/切块、上卷/钻取和旋转等操作；对事实数据可采取完成计划情况、同比、环比分析，集团领导可直观地分析、理解数据，最终多角度、多层次地观察数据，深入了解包含在数据中的信息与知识。

在展示方式上，敏捷型BI工具提供了丰富的图表展示效果，对于量的信息，可以采用直方图显示，直接对比分析本月实际和本月计划。对于率的信息或是品位信息，可采用折线图显示，一方面可以分析本月指标的走势；另一方面则可以对比本月的计划数据，从波动性中清晰观测到数据的异常变动。

3 应用案例

国内某大型矿业集团生产运营系统主要针对集团公司与其下属企业对于生产信息管理需求设计，用于管理各下属企业生产相关指标信息。系统主要由子公司/矿山生产数据管理、集团总部生产数据稽核与管理、生产信息综合服务门户三部分构成，其中生产信息综合服务门户的生产状况分析模块，需根据各下属企业填报的日常生产运营信息，进行多维度汇总分析，并通过相关分析对生产运营不佳的单位进行状态警示和重点关注。

本论文基于NET平台，采用全B/S架构，SQL Server2012作为后台数据库，FineBI作为展示工具，运用敏捷型BI实施方案完成了生产信息分析模型的实体化过程，并已成功运用于国内某大型矿业集团生产运营系统，作为系统中生产信息综合服务门户的生产状况分析模块，可实现的核心功能包括数据汇总与分析，多维数据的OLAP分析以及多样式数据预警。

图6 OLAP分析的基本操作

3.1 数据汇总与分析

通过汇总二级公司旗下各个矿山企业的生产数据，分析各项生产数据的分布情况。如矿山产品主题域中原矿产品分析的采掘总量数据，采用柱状图形式并进行实际值与计划值对比，了解计划完成情况；同时采用饼状图的形式分析各个矿山企业所占百分比，了解此项生产数据的分布情况。

3.2 多维数据的OLAP分析

集团领导可从生产信息分析模型中抽取所需的多维数据立方体，进行切片/切块、上卷/钻取和旋转等OLAP分析操作，实现从不同角度、不同层次、多方位地分析数据。当分析某个汇总指标的具体数值时，该指标的具体组成部分或有一定逻辑运算关系的数据可在表格或者图表组件中联动显示，如矿山产品主题域中精矿产品分析的产品产量数据，柱状图可上卷至季度或年，同时仪表盘可联动显示完成计划百分比，折线图可联动显示环比分析。

3.3 多样式数据预警

矿山企业生产过程中，某些重要生产指标可以直观地反映矿山生产运营状况，对这些重要指标可设置预警线，如运营收入主题域中销售价格分析可设置预期价格警戒线；也可对重要指标设置预警值，当指标具体值高于或低于预警值时，会有特殊标记提醒，如运营收入主题域中销售收入分析可设置完成月计划情况；还可设置趋势预警，计算出指标涨幅，箭头标记趋势是上升或下降，如物资设备主题域中物资供应分析可设置某个部件每月使用量的涨幅变化。

4 结 论

本文以国内某大型矿业集团为工程背景，采用敏捷型BI实施方案，构建了生产信息分析模型并进行实际应用，成功运用于集团生产运营系统，作为其中生产状况分析模块，极大提高了集团运营管理效率及科学决策水平，在以下几个方面有所体现。

1)将现代信息技术商业智能应用到矿业领域，通过分析国内某大型矿业集团生产运营系统所产生的数据，根据不同的数据性质，全面定义数据维度、变量、维的深度、集成方向等，实现了生产经营数据在时间、指标类型、企业等维度上的集成。

2)基于敏捷型BI实施方案，采用多种现代化信息技术快速构建了矿业集团生产信息多维数据模型，实现了矿业集团下属企业生产信息的采集、抽取、加工与处理，在此基础上进行集中式数据汇总与分析，并形成了清晰、直观的图表分析，将海量生产数据变成了战略层面上的集成信息，使集团管理者可以实时、快捷地了解旗下矿山企业生产运营状况。

3)通过敏捷型BI工具对生产运营数据进行可视化的切片/切块、上卷/钻取、旋转等的OLAP分析操作，并添加多样式预警设置，增强了数据分析的展示效果，形成所见即所得的自助式分析模式，集团领导可根据自己的需求查看相关数据并进行分析，为集团决策提供更可靠的数据支持。

[1] 黄树巍，修国林，李国清，等.集团管控模式下的矿业集团生产信息管理系统[J].金属矿山，2016(6)：117-124.

[2] 胡乃联，何煦春，李国清.矿业集团信息化问题研究[J].金属矿山，2005(Z1)：178-180，185.

[3] 李学锋，谢长江，段希祥.我国矿山信息化现状及发展途径探讨[J].矿业研究与开发，2004，24(6)：66-68.

[4] 陈玉民，李国清，何吉平，等.山东黄金数字矿山建设实践[C]∥全国采矿科学技术高峰论坛.2010：10-14.

[5] 黄解军，崔巍，袁艳斌，等.面向数字矿山的数据仓库构建及其应用研究[J].中国矿业，2009，18(11)：80-83.

[6] 赵卫东.商务智能[M].北京：清华大学出版社，2009.

[7] 侯杰，胡乃联，李国清，等.基于商务智能的矿业集团运营决策系统解决方案[J].计算机集成制造系统，2016，22(1)：202-212.

[8] 陈志泊.数据仓库与数据挖掘[M].北京：清华大学出版社，2009.

[9] 何煦春，胡乃联，李国清，等.基于数据仓库的矿山企业决策支持系统研究[J].中国矿业，2007，16(4)：4-7.

[10] 林宇.数据仓库原理与实践[M].北京：人民邮电出版社，2003.

[11] 陈岭，陈元中，陈根才，等.基于操作序列挖掘的OLAP查询推荐方法[J].东南大学学报：自然科学版，2011，41(3)：498-504.

BI-basedanalysismodelofmininggroupproductioninformation

XIU Guolin1，2，HUANG Yusun1，LI Guoqing1，HU Nailian1，HOU Jie1，HUANG Shuwei1

(1.State Key Laboratory of High-Efficient Mining and Safety of Metal Mines of Ministry of Education，University of Science and Technology Beijing，Beijing 100083，China；2.Shandong Gold Group Co., Ltd.，Jinan 250100，China)

In order to solve the problems that the data of the bottom production and operation of the mining group are difficult to be analysed，and can not be directly transformed into the information integration on the strategic level，it is easy to form the data island.Based on the agile BI implementation plan，this paper constructs the production information of the mining group by many kinds of modern information technology Multidimensional data model，and completed the relevant data analysis.From the point of view of group control mode，based on the scientific planning of production data，the ETL processing of data and the definition of subject area are made.The production information data warehouse of mining group is built，and the multi-dimensional data model of production information is constructed.Use OLAP technology to analyse and research the model from multi-angle and deep-level.Finally，the agile BI tool is used to realize the multi-dimensional analysis operation and graphical display of production information visualization.The agile BI production information analysis model is applied to a large mining group in China to realize the summary，statistical analysis and abnormal early warning of the production and operation data of the mining enterprises，and promote the intelligent analysis and scientific decision-making ability of the mining group.

mining group；production information；business intelligence；agile BI；multidimensional data model

F406.2

A

1004-4051(2017)10-0030-08

2017-01-10责任编辑赵奎涛

修国林(1966-)，男，山东莱州人，教授级高级工程师，主要从事矿山生产技术及管理工作。

黄雨笋(1993-)，男，汉族，湖北襄阳人，硕士研究生，攻读北京科技大学采矿专业，主要从事矿业系统工程方面的研究工作，E-mail：huangyusun@163.com。