APP下载

基于智能化矿山数据分类与编码规范的元数据标准构建方法

2024-10-01汪莹祖子帅王振华

工矿自动化 2024年7期

摘要:目前智能化矿山建设面临数据标准不健全、多源异构数据集成难度大、共享机制有待完善等问题。建立统一的智能化矿山元数据标准,对形成多源异构数据融合共享机制具有重要意义。基于智能化矿山数据分类与编码规范,研究了智能化矿山元数据标准构建方法,明确了元数据标准构建是对数据分类与编码的延伸研究与价值挖掘。定义了元数据实体与元数据属性的内涵,设计了包含基础描述框架与扩展描述框架的智能化矿山元数据描述框架,给出了反映智能化矿山业务场景特征的基础元数据属性描述项和智能化矿山数据分类与编码规范中基础类、生产类、安全类、管理类4 大主题域组的拓展元数据属性描述项,从而构成元数据标准。以生产主题域组中采煤机惯导系统的惯导传感器为例,介绍了元数据标准的构建过程。基于智能化矿山数据分类与编码规范构建元数据标准,可以解决多源异构数据的融合与共享问题,促使矿山企业更加高效地管理、分析和应用数据,提高矿山数据治理的智能化水平。

关键词:智能化矿山;数据治理;数据分类与编码;元数据标准;元数据描述框架

中图分类号:TD67 文献标志码:A

0 引言

随着第4 次工业革命(智能化时代)的到来,自动化、信息化、数字化、智能化技术在矿山开采行业普遍得到重视。矿山企业按照各自的应用目标,在智能化建设中进行了大量实践[1-3],产生了海量数据。但由于缺乏统一的数据标准指导,出现了“数据孤岛”现象。目前矿山企业数智化转型面临的基本问题是数据标准不健全、多源异构数据集成难度大、共享机制有待完善[4-6]。

元数据管理是实现数据治理及数据中台建设的关键环节,也是融合共享机制建设的关键问题。建立统一的智能化矿山元数据标准,对于多源异构数据融合共享机制的形成具有重要的理论与实践价值[7-8]。对此,许多学者展开研究。以煤矿智能化为例,谭章禄等[9]分析得出实现煤矿智能化建设高阶段发展目标的关键瓶颈,对标智能化煤矿数据治理框架,得出元数据是智能化煤矿进行数据质量管理、数据安全管理和数据资产管理等的基础性工具,对数据治理平台的构建具有重要的指导作用。杜毅博等[10]针对煤矿大数据处理要求,根据业务元数据和数据主题域构建逻辑数据模型,设计了技术元数据的提取规则,包括计算、统计转换等,并给出了数据质量规则的技术描述。兰娟妮[11]研究了煤矿监管核心元数据和执法数据集元数据构建方法,从而规范执法数据的描述,并明确了数据元属性及其描述符之间的关系,设计了执法数据模式、类关系模式、本体模型和概念数据模型。李梅等[12]探讨了煤层气信息元数据的标准设计,提出了文档元数据、图形元数据和数据库元数据标准框架。

目前对于元数据及元数据标准的研究大多面向单一场景,应用范围有限,难以涵盖智能化矿山数据的全面描述,且未有元数据标准构建方法的研究。本文基于KSSJ/BM11−2023《智能化矿山数据融合共享井工煤矿数据分类及编码规范》[13](以下称智能化矿山数据分类与编码规范),对智能化矿山元数据标准构建方法展开研究。智能化矿山数据分类与编码规范包含矿山数据的分类与层次结构,并识别矿山业务对应的数据属性层(可理解为最小数据单元)。据此构建的元数据标准是对该规范的延伸与价值挖掘,旨在为解决智能化矿山数据融合共享机制奠定基础。

1 元数据定义

元数据是描述数据的数据,以便更有效地管理、理解和使用数据。元数据描述的内容包括数据来源、中英文名称、数据类型、值域、约束、单位等信息。在元数据标准构建过程中,基于智能化矿山的业务逻辑,衍生出元数据实体及元数据属性等概念,其定义见表1。

元数据的主要功能包括数据描述和解释,以帮助用户理解数据的含义和用途,并支持更快速、准确的数据检索和查询。元数据在数据管理和维护中可用于表征数据的所有权、更新记录等,从而更好地管理数据的生命周期。另外,元数据在数据质量控制、数据安全和隐私、数据血缘分析及数据集成和共享等方面有关键作用,是数据治理的核心内容。

2 智能化矿山元数据标准构建

2.1 构建基础

文献[14]提出了智能化矿山数据分类与编码应遵循和采用的基本原则、理论与方法。利用IDEF0+UML 组合模型,从主题域组、主题域、业务对象、数据实体和属性5 个层次确定了数据的分类层次架构,确定了智能化矿山数据分类1.0 版的最小颗粒度,构建了面向现实业务应用又兼顾未来场景拓展的数据分类层次模型。智能化矿山数据分类与编码规范将智能化矿山数据分成基础类、生产类、安全类和管理类4 大主题域组,构建的数据编码涵盖这4 大主题域组、59 个主题域、222 个业务对象、1 047 个数据实体、12 547 个属性, 共编码12 547个,为元数据标准的构建奠定了逻辑基础。

以安全类主题域组为例,对智能化矿山数据分类与编码的核心内容进行解析,见表2[13] 。安全类主题域组数据按照5 个层次逐级展开。主题域可理解为矿山安全领域各业务场景,分为瓦斯防治、顶板管理、事故管理、安全培训、安全监控等主题域。以顶板管理主题域为例,其下一级的业务对象可理解为顶板管理业务场景中的系统组成及功能模块,分为掘进工作面顶板防治、采煤工作面顶板防治、巷道特殊区域顶板防治、锚杆(索)应力监测、顶板离层监测等。以锚杆(索)应力监测业务对象为例,其下一级的数据实体可根据业务特征划分为锚杆(索)应力监测系统基本信息、测点基本信息、测点动态信息等。属性在智能化矿山数据分类与编码体系中被定义为最小业务单元,用于描述数据实体的性质和特征。以数据实体——测点基本信息为例,其属性包括测点编号、传感器类型、测点位置、报警值(锚杆) 、报警值(锚索) 、测点安装日期等数据元。

2.2 元数据描述框架

本文设计的智能化矿山元数据描述框架结构如图1 所示。该框架依据智能矿山数据分类与编码规范提出,包括基础描述框架与扩展描述框架2 个部分。前者的元数据属性为必选项,后者的元数据属性为非必选项,可以缺省。

2.2.1 元数据基础描述框架

元数据基础描述框架是指对数据分类与编码中数据实体这一层次进行描述的框架与内容。其中元数据实体术语的定义借鉴智能化矿山数据分类与编码规范中的数据实体名称,部分描述项借鉴ISO/IEC11179−3∶2013 Registry meta model and basic attributes中的描述项。

元数据描述框架约定是元数据描述框架的核心[15-17],主要内容为矿山元数据实体应该包括哪些元数据属性。智能化矿山元数据基础描述框架包括分类与编码、中文名称、英文名称、定义、数据类型、值域、最大出现次数和约束8 项属性,划分为标志信息、数据特征信息和条件信息3 类,见表3。这8 项元数据属性是必备属性。

使用表3 中的8 种属性描述矿山元数据实体的元数据属性。智能化矿山元数据属性的常见描述细则(部分)见表4。

需要说明的是,本文是基于智能化矿山数据分类与编码的研究成果,但提出的元数据属性和数据分类与编码中的数据实体对应的属性不同,这是因为识别元数据实体属性与数据实体属性依据的理论与约定范围有根本区别。

2.2.2 元数据扩展描述框架

智能化矿山数据分类与编码规范给出了4 大主题域组——基础类、生产类、安全类、管理类的数据分类及智能化矿山业务场景与特征。各数据分类中每个数据实体都包含若干属性,而这些属性反映了智能化矿山不同主题域的特点。本文在对元数据属性基础描述框架进行设计的基础上,通过提炼与归纳智能化矿山数据分类与编码规范中的数据实体属性,形成4 个元数据扩展描述框架,即基础类、生产类、安全类和管理类元数据扩展描述框架,形成具有矿山行业特征的元数据标准。

1) 基础类元数据扩展描述框架。在基础类主题域组中,数据涵盖证照信息、机构、地质条件、开采条件、灾害条件、IT 基础设施等要素。这些数据的存储介质包括纸质证件、电子数据(固态硬盘、光盘、云存储等)等,其为重要的元数据属性。记录存储介质对于确保数据的可用性、可访问性起关键作用,且影响基础类数据在业务领域的应用。基础类数据较其他3 类数据的覆盖领域更广泛,因此进行元数据管理时需根据业务领域再次细分,使元数据能够描述数据所属业务领域,从而更好地理解数据的特性和用途,为数据的有效维护、更新和利用提供有针对性的支持[18],更好地指导数据的整合和分析,确保基础类数据在不同领域的适用性和准确性。据此设计基础类元数据扩展描述框架,见表5。

2) 生产类元数据扩展描述框架。在生产类主题域组中,数据重点集中在生产过程中使用的各种设备(如采煤机、粉碎机、掘进机、梭车、供配电控制柜等)的基础信息上。这些数据承载了生产阶段的关键信息,对生产过程监测、分析和优化具有重要作用。其中运行状态、电源与能源消耗、运行日志是3 个关键的元数据属性。通过记录设备的运行状态,可最大程度地保障生产过程顺利进行。电源与能源消耗包括设备所消耗的电力和其他能源信息,对于生产成本控制、能源效率提升及可持续发展目标的实现具有重要意义。通过记录电源与能源消耗,可以进行精准的能耗分析,制定有效的节能措施,并优化生产流程。运行日志包括设备的操作记录、可能的故障信息等,为设备运维提供重要的参考[19]。通过分析运行日志,可实现对设备运行状况的全面监控,及时预防潜在故障,提高设备的可靠性和稳定性。据此设计生产类元数据扩展描述框架,见表6。

3) 安全类元数据扩展描述框架。安全类主题域组聚焦矿山生产安全相关数据,包括瓦斯抽采率、涌水量监测数据、煤层注水参数、异常报警数据等。根据元数据描述框架构建的理论依据,数据采集地点作为重要的元数据属性(尤其是对于需实时采集的安全类数据),应被纳入描述框架中,但数据分类与编码的属性层(第5 层)中已包含地点信息,因此不再将数据采集地点纳入元数据描述框架。安全类数据的实时性对于及时发现潜在的安全威胁至关重要,因此,数据更新频率是一个关键的元数据属性。通过记录数据更新频率,可确保安全监测系统快速响应,提高事故应对的效率和及时性。矿山安全监控系统集成多种安全预警设备,各设备数据格式(包括数据存储和传输格式) 较多, 如JSON, CSV,XML 等。因此,数据格式是安全类数据的必要元数据属性。正确的数据格式有助于确保数据的一致性和可解释性,方便数据集成和分析。据此设计安全类元数据扩展描述框架,见表7。

4) 管理类元数据扩展描述框架。管理类主题域组中数据的焦点集中在与矿山运营和决策相关的信息上,包括奖惩信息、招聘计划、会计核算、存款管理、工程项目审计等。这些数据为矿山管理层提供决策支持,使其更好地组织、管理和规划矿山运营活动。本文根据管理类数据的敏感特性,设计了访问权限这一元数据属性[20],对于防止未经授权的访问、保护敏感信息具有重要作用。此外,责任主体、修改信息、数据来源、数据是否可变更也是关键的元数据属性。明确管理类数据的责任主体,即数据的所有者或管理者,有助于保障数据得到适当的维护和管理。责任主体信息对于建立数据治理框架、制定相关政策和流程是必不可少的。修改信息是记录数据变更的元数据属性,包括数据修改时间、修改者及修改内容。通过记录修改信息,可实现对数据变更的追溯,确保数据的完整性和可信度。记录数据来源,如销售团队提供的销售数据、生产部门提供的生产报告、财务部门提供的财务报表等,有助于验证数据的可靠性和准确性,为数据解释提供可靠基础[21]。记录数据是否允许被修改或更新及修改的条件和流程,有助于确保数据的稳定性和一致性。据此设计管理类元数据扩展描述框架,见表8。

需要说明的是,因各主题域组内数据实体内容丰富多元,本文提出的元数据标准构建方法仅作为一种指导,具体设计元数据标准时需根据数据实体的客观属性进行完善和修正。

3 智能化矿山元数据标准构建示例

智能化矿山元数据描述框架中的元数据基础与拓展描述框架2 个部分共同构成元数据标准。本文以生产主题域组中典型数据实体——采煤机惯导系统的惯导传感器为例,介绍元数据描述框架内容,具体如下。其中分类编码、中文名称、英文名称、定义、数据类型、值域、最大出现次数和约束为元数据基础描述项,运行状态、电源与能源消耗、运行日志为元数据扩展描述项。

4 结论

1) 基于智能化矿山数据分类与编码规范构建元数据标准,可解决多源异构数据融合与共享难题,提升矿山数据治理的效率和质量,推动矿山企业更加高效地管理、分析和应用数据。

2) 在现有研究基础上,后续将开发一套基于元数据标准的智能化矿山元数据管理系统,通过实际应用验证元数据标准的可操作性和有效性,提高矿山数据管理的智能化水平。

参考文献(References):

[ 1 ]刘峰,曹文君,张建明,等. 我国煤炭工业科技创新进展及“十四五”发展方向[J]. 煤炭学报,2021,46(1):1-15.

LIU Feng, CAO Wenjun, ZHANG Jianming, et al.Current technological innovation and developmentdirection of the 14th Five-Year Plan period in China coalindustry[J]. Journal of China Coal Society, 2021,46(1):1-15.

[ 2 ]王国法,杜毅博,徐亚军,等. 中国煤炭开采技术及装备50 年发展与创新实践——纪念《煤炭科学技术》创刊50 周年[J]. 煤炭科学技术,2023,51(1):1-18.

WANG Guofa, DU Yibo, XU Yajun, et al.Development and innovation practice of China coalmining technology and equipment for 50 years:Commemorate the 50th anniversary of the publication ofCoal Science and Technology[J]. Coal Science andTechnology,2023,51(1):1-18.

[ 3 ]谭章禄,王美君. 智慧矿山数据治理概念内涵、发展目标与关键技术[J]. 工矿自动化,2022,48(5):6-14.

TAN Zhanglu,WANG Meijun. Research on the conceptconnotation, development goal and key technologies ofdata governance for smart mine[J]. Journal of MineAutomation,2022,48(5):6-14.

[ 4 ]段欣宇. 面向物联网监控的煤矿设备异构数据集成与分布式存储研究[D]. 西安:西安科技大学,2021.

DUAN Xinyu. Research on heterogeneous dataintegration and distributed storage of coal mineequipment for Internet of things monitoring[D]. Xi'an:Xi'an University of Science and Technology,2021.

[ 5 ]王国法,刘峰,孟祥军,等. 煤矿智能化(初级阶段)研究与实践[J]. 煤炭科学技术,2019,47(8):1-36.

WANG Guofa, LIU Feng, MENG Xiangjun, et al.Research and practice on intelligent coal mineconstruction (primary stage)[J]. Coal Science andTechnology,2019,47(8):1-36.

[ 6 ]王国法,任怀伟,赵国瑞,等. 煤矿智能化十大“痛点”解析及对策[J]. 工矿自动化,2021,47(6):1-11.

WANG Guofa, REN Huaiwei, ZHAO Guorui, et al.Analysis and countermeasures of ten 'pain points' ofintelligent coal mine[J]. Industry and MineAutomation,2021,47(6):1-11.

[ 7 ]王鹏,胡而已,徐金陵,等. 智能化矿山数据融合共享规范体系研究[J]. 中国煤炭,2022,48(6):19-27.

WANG Peng, HU Eryi, XU Jinling, et al. Research ondata fusion and sharing standard system of intelligentmine[J]. China Coal,2022,48(6):19-27.

[ 8 ]周琳. 面向智慧矿山的数据编码及元数据模型的研究[D]. 焦作:河南理工大学,2016.

ZHOU Lin. The study of smart mine-oriented dataencoding and metadata model[D]. Jiaozuo: HenanUniversity of Science and Technology,2016.

[ 9 ]谭章禄,王美君,叶紫涵. 智能化煤矿数据治理体系与关键问题研究[J]. 工矿自动化,2023,49(5):22-29.

TAN Zhanglu,WANG Meijun, YE Zihan. Research onintelligent coal mine data governance system and keyissues[J]. Journal of Mine Automation, 2023, 49(5) :22-29.

[10]杜毅博,赵国瑞,巩师鑫. 智能化煤矿大数据平台架构及数据处理关键技术研究[J]. 煤炭科学技术,2020,48(7):177-185.

DU Yibo, ZHAO Guorui, GONG Shixin. Study on bigdata platform architecture of intelligent coal mine andkey technologies of data processing[J]. Coal Science and Technology,2020,48(7):177-185.

[11]兰娟妮. 煤矿监管监察信息统一描述方法与模型设计[D]. 西安:西安科技大学,2021.

LAN Juanni. The unified description method and modeldesign of coal mine supervision and supervisioninformation[D]. Xi'an: Xi'an University of Science andTechnology,2021.

[12]李梅,邹学森,毛善君,等. 互联网+煤层气元数据管理系统关键技术研究[J]. 煤炭科学技术,2016,44(7):80-85.

LI Mei, ZOU Xuesen, MAO Shanjun, et al. Study onkey technology of Internet plus coalbed methanemetadata management system[J]. Coal Science andTechnology,2016,44(7):80-85.

[13]KSSJ/BM11−2023 智能化矿山数据融合共享井工煤矿数据分类及编码规范[S].

KSSJ/BM11-2023 Exploration of intelligent mine datafusion and sharing-classification and coding specificationfor coal mine data[S].

[14]徐金陵,孙长春,樊九林,等. 智能化矿山数据分类与编码方法研究[J]. 中国煤炭,2023,49(11):1-9.

XU Jinling, SUN Changchun, FAN Jiulin, et al.Research on data classification and coding method forintelligent mine[J]. China Coal,2023,49(11):1-9.

[15]罗婷婷,赵瑞雪,李娇,等. 面向多源异构科技信息治理的元数据标准规范体系构建[J]. 数字图书馆论坛,2021(4):58-67.

LUO Tingting, ZHAO Ruixue, LI Jiao, et al.Construction of metadata standard system for multisourceand isomerized scientific and technologicalinformation governance[J]. Digital Library Forum,2021(4):58-67.

[16]李盼,翟军,陈燕. 基于Drupal 的政府开放数据平台构建[J]. 现代情报,2016,36(8):37-43.

LI Pan, ZHAI Jun, CHEN Yan. The construction ofgovernment open data platform based on drupal[J].Journal of Modern Information,2016,36(8):37-43.

[17]王辉,邢伟,曹帅,等. 煤炭企业元数据采集与治理系统建设研究[J]. 中国标准化,2023(19):112-117.

WANG Hui,XING Wei,CAO Shuai,et al. Research onthe construction of metadata collection and governancesystem in coal enterprises[J]. China Standardization,2023(19):112-117.

[18]王辉, 邢伟, 曹帅, 等. 华阳集团企业级数据管理体系建设与应用实践研究[J]. 中国标准化, 2023(22) :121-127.

WANG Hui, XING Wei, CAO Shuai, et al. Researchon construction and application practice of enterprisedata management system in Huayang Group[J]. ChinaStandardization,2023(22):121-127.

[19]聂野,毛世红,张云军,等. 基于区块链技术的电子轮机日志系统[J]. 中国水运,2021(8):61-63.

NIE Ye, MAO Shihong, ZHANG Yunjun, et al.Electronic engine log system based on blockchaintechnology[J]. China Water Transport,2021(8):61-63.

[20]陈运启,许金. 基于元数据与角色的煤矿综合信息管理系统权限控制模型设计与实现[J]. 工矿自动化,2014,40(11):22-25.

CHEN Yunqi, XU Jin. Design of an access controlmodel based on meta-data and role for integratedinformation management system of coal mine and its implementation[J]. Industry and Mine Automation,2014,40(11):22-25.

[21]邱春艳,陈可睿. 科学元数据标准的现状、特点与改进建议[J]. 数字图书馆论坛,2022(12):10-18.

QIU Chunyan, CHEN Kerui. The status, characteristicsand suggestions for improvement of scientific metadatastandards[J]. Digital Library Forum,2022(12):10-18.

[22]GB/T 7408—2005 数据元和交换格式 信息交换 日期和时间表示法[S].

GB/T 7408-2005 Data elements and interchangeformats–information interchange-representation of datesand times[S].

基金项目:国家自然科学基金资助项目 (61471362)。