煤炭企业大数据智能归档利用体系建设实践

李 芳 范海斌/国能神东煤炭集团有限责任公司档案馆

2014年6月，习近平总书记提出“四个革命，一个合作”能源安全新战略，为我国能源行业转型发展指明了方向。为深入贯彻落实国家全面深化供给侧改革的精神，推进国务院关于中国工业4.0的部署，全面贯彻《促进大数据发展行动纲要》和《大数据产业发展规划（2016—2020年）》有关要求，笔者所在的神东煤炭公司大力推广智能矿山建设，在智能工作、快速掘井、矿用卡车无人驾驶、矿用机器人、智能一体化应用平台等方面加强科技研发投入，对矿山信息资源进行高效和有序的整合及管理，全面引入数字化、虚拟化、集成化和智能化，依托计算机网络综合管理生产、经营、环境、资源和安全等各个方面，优化了企业整体协作，为提升企业效益和市场竞争力奠定了基础[1][2]。

本文按照新修订《档案法》的要求和习近平同志关于档案工作走向依法治理、走向开放、走向现代化的科学论断，对接工业和信息化部关于工业数据分级管理的规定，落实国家档案局及陕西省档案局关于大数据归档体系研究的统一部署，立足现有智能矿山的成果，拟对业务系统电子数据归档及利用展开研究探索，促进档案实体管理向信息管理转型，为档案电子数据的收集、梳理、利用制定合适的规则体系，为档案资源开发奠定数据和规则基础，填补煤炭行业应用和管理空白，为档案事业发展做出探索，为企业价值发挥提供新的助力[3]。

1 大数据归档利用体系建设背景和意义

1.1 大数据归档利用体系建设背景

中共中央办公厅、国务院办公厅联合下发的《关于加强和改进新形势下档案工作的意见》，将档案管理工作提高到“推动经济社会科学发展、维护国家安全和社会稳定、维护人民群众合法权益、提高党的执政能力和政府管理水平”的高度，要求“档案收集模式、管理手段、服务机制需要进一步创新”，“建立健全覆盖人民群众的档案资源体系、方便人民群众的档案利用体系、确保档案安全保密的档案安全体系”。围绕档案资源、利用、安全“三个体系”推进档案建设工作，以信息化手段加快档案管理现代化转型，充分发挥档案工作服务大局、服务经济、服务民生支撑作用，是档案工作今后一个阶段的主要任务[4]。

2 0 2 1 年5 月，中国煤炭工业协会印发《煤炭工业“十四五”高质量发展指导意见》，预计“十四五”末，国内煤炭产量控制在41亿吨左右，全国煤炭消费量控制在42亿吨左右，年均消费增长1%左右。《意见》指出，当前和今后较长时期内，煤炭在我国能源体系中的主体地位和“压舱石”作用不会改变。《意见》进一步明确“十四五”发展目标，即全国煤矿数量将控制在4000处以内，大型煤矿产量占85%以上，大型煤炭基地产量占97%以上；建成煤矿智能化采掘工作面1000处以上；建成千万吨级矿井（露天）数量65处，产能超过10亿吨/年。煤炭行业在加速向“智能矿山”转型，“智能矿山”大数据治理成为行业未来必须面临的问题[5]。

1.2 大数据归档利用体系建设意义

创建归档规则，完善档案资源建设。通过对煤矿安全系统、设备管理系统等信息系统的研究，构建大数据归档利用平台，实现数据实时采集，解决业务系统中结构化数据和非结构化数据归档问题，打破业务系统信息孤岛，消除信息和档案间隔，打通机房至库房的道路，实现档案大数据的构建。从数据层面解决智能矿山档案管理系统实时数据采集问题；解决各类系统产生的数据（主要是结构化和非结构化数据）不便管理、不能实现实时共享问题。最终形成综合数据资源库，实现数据鉴定、管理、组织和利用，达到企业全面感知、智能联动、精益管控、绿色低耗和安全高效的目的。

创立存储标准，规范档案数据资源管理。从现有规范和技术入手，系统分析和规划现有实体档案和数据档案，实践数据档案和传统档案相结合进行管理的路径。对数据进行清洗、固化，实现结构化数据和非结构数据合理存储，解决多系统数据不便管理、不能实时共享的问题。对结构化数据进行整合，提炼数据的分类规则，实现结构化数据的有效管理。在此基础上建立智能矿山大数据智能归档利用管理体系，通过优化集成创新，满足智能矿山一体化管理平台数据信息交换共享的需要。降低纸质文件归档工作量，实现电子管理“单套制”，减少资源重复浪费，减少库房面积，减少档案保存装备的购置，节约档案保管成本，为企业生产运营及领导决策提供服务[6]。

实践知识挖掘，释放档案价值。结合传统档案管理中业务数据管理，在参考国内外典型企业档案知识挖掘和应用的基础上，综合考虑业务管理与创新中对企业档案的知识需求、企业档案资源建设情况、知识挖掘技术的发展水平，从需求驱动、资源驱动和技术驱动视角入手，系统分析企业档案赋能业务管理与创新中知识挖掘技术的应用价值；立足企业档案资源信息化现状，从档案资源数据化、算法模型设计、系统平台构建、业务流程再造、跨部门协同等方面提出基于知识挖掘的企业档案资源管理与服务推进路径，为数智赋能思维下基于知识挖掘的企业档案资源价值释放提供参考[7]。

2 国内外现状分析

发达国家档案管理完善，社会重视度高。美国、德国以及澳大利亚在此方面的发展最有成效，其依托本国的工业基础和资本驱动，在煤矿自动化数据归集和管理方面，管理模式已向电子化、数字化和信息化方向转变。从1990年开始，电子文件归档和电子档案管理成为其档案工作的重点，并逐步完善。2011年，NARA（National Archives and Records Administration，美国国家档案与文件管理署）建设完成电子文件档案馆（ERA）。2022年，NARA与美国行政管理与预算局发布《M-19-21备忘录》，规定只接收符合要求的电子格式文件及附带的元数据，其在智能矿山领域的数据归档体系基本建立。

澳大利亚从20世纪末开始严格依据GLAM标准，对数字档案的保存进行审核，澳大利亚国家档案馆（National Archives of Australia）启动“数字文件保存”战略，设计并建造了电子档案管理信息系统，在煤炭工业数据采集中精准捕获书写文件属性，确保电子档案完整性以及真实性。

西方国家在智能矿山和工业数据领域的档案管理和探索上已经走在了前列，在数据档案的发展上发达国家已经进入信息存储、信息挖掘和价值创造的时代，信息承载体的管理已经延伸到信息本身的管理，信息的存储和利用的规则研究是其重点方向。以光和电磁为存储中介的模式正在成为主流，信息解析规则也在趋向于基本的物理规则，传统信息解析规则的解析偏差在逐渐减小。

在我国，新修订《档案法》将档案信息化的建设明确纳入法律要求的范畴，新法增加一章共计七条内容，明确了电子档案的建设、利用和发展的要求，鼓励企业推动传统载体档案数字化和企业信息化工作。

在应用层面的数据档案的研究，目前只有浙江省档案馆在政务系统上做了初步的尝试，也多集中在电子文件本身的管理。基于企业数字工业背景下的档案管理研究，目前尚无先例可以遵循[8]。

针对煤矿企业，实现完全数字化、智慧化并进行高度“互联网+”融合的企业并不多，智能化矿山建设在行业内也是在逐步落地和完善，可提供完整的智能矿山模型供档案管理进行研究的例子也不多，所以完整的电子文件归档体系和数据归档体系建设在国内尚无先例。相对而言，研究结构化数据采集、清洗、压缩、解析等的成果还不够深入；智能矿山的结构化数据、基于煤矿传感设备直接生成和工控软件以及决策软件的数据采集汇总并未进入档案的转换阶段；对智能矿山建设背景下结构化数据的归档范围、保管期限确定的原则、分类方法、实施策略、接口规范等研究并不多[9]。

3 大数据归档利用体系建设研究目标和主要研究内容

在智能矿山建设的背景下，通过对智能矿山业务系统归档大数据的特性进行分析，研究大数据技术对业务大数据归档规则及档案利用价值的影响，初步建立业务系统大数据归档利用体系，最终为提升公司档案智慧化管理能力及档案数据价值探索出新的有效途径。

具体包括电子数据档案格式确定、电子数据档案分类、归档范围与保管期限表、数据归档范围设定规则、数据抽取和清洗规则、数据管理权转移规则、煤矿大数据集成数据分析和煤矿大数据存储规则的实现[10]。

3.1 建立业务系统大数据归档利用体系规则

研究大数据挖掘工具对大数据归档规则（范围及期限）以及档案利用价值及方式的影响（基础理论研究），发现大数据价值密度相对较低，其与数据的规模呈反向关联，即数据规模越大，数据价值密度越低。应研究如何从大量低价值密度数据中挖掘对分析和预测等有价值的信息；应研究传统档案和业务系统中生产、经营、管理活动中记录（大数据）价值，依托大数据挖掘、人工智能等技术来挖掘大数据的价值；应研究数据挖掘技术对业务大数据归档规则（范围及期限）及大数据档案价值的影响[11]。

3.2 建立业务大数据归档利用体系规范

对智能矿山系统中安全管理系统、设备管理系统的数据资源进行调研分析，制定分类体系，梳理归档范围，确定保管期限，探索大数据档案利用方法，总结电子数据归档流程、管理及利用方式，编制业务大数据归档利用体系相关制度规范，为技术平台的开发提供制度规范依据。

3.3 研发大数据归档利用技术平台

在上述研究成果的基础上，对智能矿山系统中的安全管理系统、设备管理系统进行数据结构分析整理，梳理出业务系统归档数据类型和数据量，制定数据采集、清洗、过滤的规则；完成大数据归档数据采集接口及平台设计及开发；将业务系统大数据导入大数据档案管理系统，提供大数据档案的利用，实现大数据资源的深度利用[12]。

4 大数据归档利用体系建设研究思路和方法

4.1 研究思路

主要针对现有比较成熟的智能矿山应用系统，选择智能矿山系统中的安全管理系统、设备管理系统，进行具有探索性、实验性的数据研究，研究对象为电子数据，包括单一来源的工业数据、依托现有载体的电子数据和数字化加工过程中产生的电子档案。通过数据研究获取数据形成和分布的规律，形成规则，并通过软件开发，使用软件对数据接收、存放和利用进行技术验证，为下一步智能矿山各业务系统大数据总体管理提供验证性数据和成熟经验。

第一，成立科研攻关项目组进行实地调研、编制方案；与行业内电子文件及大数据方面的专家对方案进行论证、破解难题，初步确立数据归档模型。第二，引用现有国家、行业关于智能矿山大数据管理的相关标准规范，对数据模型进行修正，确保在依法合规的基础上有所创新。第三，开发大数据归档利用平台，研究现有智能矿山各业务系统与档案大数据系统的功能与接口关系，梳理数据结构和数据流程，对模型进行测试和验证[13][14]。第四，总结验证工作，对涉及智能矿山档案管理的标准规范和数据治理成果进行整合，形成基本的归档大数据管理规范。第五，建立健全现有档案工作体系，确立大数据管理制度，解决纸质档案与大数据管理的冲突点，创新档案管理理念与管理手段，并优化管理流程。

4.2 研究方法

采用迭代改进的方法进行研究，从价值发挥和规范管理出发，在充分收集系统数据及调研的基础上完成数据归档利用的理论模型构建，根据理论模型搭建软件系统，利用软件系统验证模型结构，根据验证中发现的问题重复修正模型和系统，通过反复实验研究，得到最符合目标要求的模型、系统。最后梳理数据，对研究过程进行总结，形成完善可行的大数据归档利用体系[15][16]。

5 大数据归档利用体系建设的创新点

本文研究背景为信息时代下的档案管理转型，研究方向为基于智能矿山的建设和档案的资源化管理大数据归档利用体系建设。在理念和与实际应用上属于填补行业空白，在研究中将新理念及多项新技术引入档案管理领域，包括资源管理、标准制定、接口规范、价值挖掘、安全体系等，产生多项创新成果，具体如下。

一是确定智能矿山业务系统数据的归档范围、保管期限和分类规则，确保有价值的数据档案可以有效归档、规范管理。二是制定智能矿山业务系统数据的采集、清洗规则，可有效筛选数据档案。三是基于弱人工智能，完善对非结构化数据的归档和智能化处理规则，完成电子文件归档全自动化管理，提升效率，降低档案人员工作强度，在技术层面实现档案管理自动化[17]。四是做好安全防控，试验跨平台数据管理，保障数据安全。试验封闭的数据管控架构和数据传输检测机制，确保数据的“四性”，做到进入档案容器的数据完整有效，数据不可更改、不受攻击，配合版本控制和溯源机制，保障数据的绝对安全，为档案“单轨制”管理提供数据基础保障，拟定数据保障标准[18]。五是确定智能矿山业务数据存储文件结构，支持业务大数据无限量存储，相比源数据库数据存储和占用空间的比率大幅提高。试验建立一个容量可无限扩展、数据可长久保存的数字资源存储平台，支持从传统载体到电子档案的业务发展和变化，确保符合企业管理各类资源的需求。六是构建学习型挖掘工具，针对智能矿山业务数据转换的档案和实体档案的电子版本检索进行优化，可以跨库检索，不断学习挖掘规则，有效提升档案的价值[19]。七是将智能矿山业务系统数据档案和实体档案管理融入同一个平台，初步建立档案大数据。

6 大数据归档利用体系研究的主要成效

一是完成了智能矿山大数据归档利用平台建设，解决了各业务系统数据无法归档的问题，且平台实现全程自动运作，工作效率显著提升。二是完成《业务系统电子文件和数据归档及管理规范》编制，在制度层面为业务系统电子文件（数据）的规范管理提供了保障。三是测试并确定了业务系统数据清洗与归档规则，为业务数据和电子文件归档提供了依据，为自动归档奠定了基础。四是优化设计了电子文件存储结构，加强了业务数据保存和管理，提升了数据利用的效率。五是采用集中存储方案对海量电子数据集中存储管理，实现信息资源高度共享；系统自动将各级单位的资料数据进行唯一过滤与集中共享，避免了数据重复保存，避免了浪费存储空间。六是完成档案大数据建设，对跨库跨类型的数据检索进行了测试，并研发了专门的挖掘工具，进一步研究实体档案和业务数据档案融合状态下档案价值的发挥。

7 结语

档案管理已从传统模式向大数据管理模式转变，构建覆盖企业的文件资源管控体系，形成对海量电子文件管理的能力、具备“单轨制”“单套制”管理的能力；档案管理对象已从传统归档范围的实体档案向电子文件数据转变，管理范围得到扩展，从档案“后端”走向业务“全程”，这将形成自动捕获、自动分类组织、可持续建设数字资源的能力；档案服务方式已从被动服务向主动服务转变，从“幕后”走向“台前”，服务的质量和效率得到提高，数据挖掘与服务的能力得以形成。通过实现“三个转变”、形成“三个能力”，充分发挥档案业务的专业优势，在科学分类、长久保存、资源整合、数据规范等方面发挥重要作用[20]。