大数据背景下地质资料电子数据长期保存技术探究

孔昭煜，郭 磊，李海龙，范 璘，苏志强

(1.中国地质调查局发展研究中心，北京 100037；2.全国地质资料馆，北京 100037)

地质资料电子数据具有数据内容丰富、数据容量大、数据类型格式多、存储信息量大和数据价值高等特点，同时数据的内容即具有地质科研属性、信息资料属性、专业档案属性和历史档案属性[1]。在信息化技术高速发展的当下，大数据、云计算和人工智能等信息技术改变着地质调查工作和地质资料管理工作的传统模式。近年来，随着信息技术的高度普及，已成为地质调查工作中密不可分的基础科研生产工具之一，因此所产生的科研成果数据已全部为电子数据。这些数据是新时代地质工作者辛勤劳动的成果，随着大数据技术的不断完善，这些地质资料电子数据也成为了重要的国家战略数据基础组成部分。开展地质资料电子数据的长期保存技术研究，切实促进地质资料电子数据的长久可信、长久可用、存放安全和使用安全，也是近时期地质资料工作者应对的挑战[7]。

本文以全国地质资料馆日常开展的馆藏地质数据管理为基础，利用大数据技术和标准，开展地质资料电子数据长期保存工作的探索，重点对电子数据政策支撑保障；数据可信、数据格式更新机制建设和数据存放风险应对等各个方面进行研究和思考总结。望能推动和促进实现地质资料电子数据的长期保存，切实保障地质资料电子数据为地质学科研和国家经济建设提供可信、权威、精准的服务支撑能力。

1 地质资料电子数据保存现状

1.1 地质资料电子数据现状

全国地质资料馆历经过67年的不懈努力，目前已成为我国范围内地质资料馆藏量最多，地学成果数据涵盖内容最全的地质资料专业馆藏机构。同时具有在全国范围内依法开展地质调查成果资料接收、保管和服务的专业馆藏机构。目前全国地质资料馆馆藏地质资料电子数据中，涵盖的行业包括地质、煤炭、冶金、有色、化工、建材、石油、核工业、环境等相关行业和部门[3]，地质资料电子数据的内容包括区域调查、矿产勘查、物化遥勘查、水工环勘查、地质科学研究、海洋地质调查和技术方法研究等专业数据。其资料的形成时间从1894年至今涵盖了近三个世纪的地质调查成果资料。目前全国地质资料馆在专业档案馆中率先完成全部馆藏老旧资料的图文数字化转换，共计完成102 429档，2 747 363件的老旧馆藏地质资料，除个别破损严重资料外，目前已实现馆藏地质资料99%数字化，为地质资料电子数据社会化服务提供了优质的数据基础[1,3,8]。

截至2018年4月末，全国地质资料馆馆藏地质调查成果资料数据为149 000档、4 503 039件。其中，正文154 508件、审批141 530件，附图3 883 613件、附表85 524件、附件110 029件、数据库3 324件、软件2 166件、多媒体198件、其他122 147件。这些地质调查成果资料数据单套占用存储空间为210.4 TB，共有206 709 809个文件夹和19 861 517个文件组成[8]。

1.2 地质资料电子数据保存现状

全国地质资料馆馆藏地质资料保存形式仍为“以电为主，纸电结合”的传统保存方式，依托已有项目开展了数字地质资料馆建设并已投入使用，实现了内部核心数据的一体化管理，公开地质资料电子数据的社会化在线服务。通过开展数字资料馆的建设对地质资料进行了部分系统的电子数据的清洗、整理和集成整合工作，完成了部分信息化建设初期形成的地质调查电子数据的格式升级和规范化清洗，促进了馆藏地质资料电子数据的长期可用[7-9]相关技术发展。

为了确保地质资料电子数据的存放安全，全国地质资料馆加大投入建设完成多套用于存放不同类型数据的专业存储系统，利用现有成熟的硬件设施平台，完成了专业存储、磁盘、光盘、磁带等多介质的数据安全备份体系建设。同时建成了以全国地质资料馆为主，河北燕郊为辅，甘肃兰州为补充的异地备份机制。通过开展近线存储、离线备份的地质资料电子数据的保存体系的建设，有效地应对自然灾害、人为误操作和保存设施技术故障等因素对地质资料电子数据的破坏和遗失，安全有效地保障了馆藏地质资料电子数据的安全、有效和稳定的保存需求[8]。

2 长期保存技术亟待解决的问题

随着信息技术的不断完善和普及，大数据、云计算和人工智能等新兴技术的高速发展，使地质调查工作中全面借助信息化手段进行地质调查数据采集、生产和加工。在数据的获取、加工和保存等工作中，数据的容量发生了爆发式增长，2018年单套馆藏地质资料电子数据增长超过50 TB，是2013年的数倍。同时，地质调查信息化建设已开展近20年的历史，形成了不同阶段、不同技术手段的各类地质资料电子数据。如何确保这些地质资料电子数据完整、可用、可信和存放安全，急需开展地质资料电子数据的长期保存技术研究，既是对已有地质资料电子数据的保护，又促进了建立规范化的地质资料电子数据的生产加工体系。切实有效地推动地质资料管理业务全流程信息化转型，间接推动建设地质调查信息化工作的标准化建设[2-5]。

2.1 数据格式可持续性风险

地质资料电子数据的文件格式关乎到电子数据能否长期可用和持续使用的关键技术因素，目前全国地质资料馆馆藏地质资料电子数据中主要文件包括：文字、图像、表格、声像、样本、样品、信息系统、数据库、其他相关软件等文件，其数据格式主要涵盖：栅格数据(TIFF、JPG、BMP等)、文档(WORD)、文本(TEXT)、表格(EXCEL)、数据库(ACCESS、SQLSERVER等)、GIS数据(MapGIS、ArcGIS等)、元数据(XML)和其他相关文件格式等[1-3]。

在信息技术高速发展的今天，地质资料电子数据的格式是严重制约地质资料电子数据使用的重要因素之一，在当下地质资料电子数据的格式可持续性存在以下几方面风险。

1) 地质资料电子数据的可持续使用风险。在地质资料电子数据的生产和交付过程中，需要利用到不同类型和不同类别的软件工具来实现，由于软件工具的版本发生变革，直接造成不同版本的软件工具制作的数据无法在新版本中继续使用的风险，同时个别小众软件厂商的灭失严重对地质资料电子数据的可持续使用造成更大的风险[2]。

2) 地质资料电子数据变更风险。在地质资料电子数据的生产和管理过程中，根据新规范标准和实际业务需求，需要对部分数据进行清理、调整和更正，同时在使用过程中须应对已发现的数据本体发生的错误即时进行调整、修改和完善并进行完整记录。减少在日后数据管理中对变更的数据无法清晰的定位，对变更的数据内容无法说明变更的合理性与合规性。

3) 地质资料电子数据的版权使用风险。地质资料电子数据是地质科研工作者辛勤劳动的智慧结晶，同时这些数据是通过验收的成果数据具有极高的科研权威性。因此须通过相应的技术手段进行有效管控，来确保地质资料电子数据在使用过程中数据内容的准确和唯一，同时需要对这些成果数据的知识产权进行保护以尊重地质科研工作者的辛勤劳动。

4) 地质资料电子数据对支撑环境保障风险。地质资料电子数据涵盖众多图像、表格、样本和样品等数据，部分数据的使用需要相应的基础系统和软硬件环境保障，同时部分软件环境需要相应的硬件认证提供必备支撑，因此在这些数据的使用过程中基础环境对数据的有效使用存在一定的稳定性风险[5-7]。

2.2 数据保存面临的主要风险

在大数据时代下，地质资料电子数据随着信息技术的改变，而变得量级成数倍逐年递增，因此在数据的安全保存中需要应对风险。

1) 数据在线安全存放风险。地质资料电子数据目前单套已达到210.4 TB，这些数据全部为非结构化数据，数据的单体从数字节到数GB不等，因此在数据安全存放过程中，存在占用空间大、复制和使用效率受存储系统和网络环境制约、硬件设施使用环境差设施损坏率高等风险。

2) 数据备份安全风险。在全国地质资料馆现阶段，主要采用的是光盘和磁带的形式进行数据备份，同时建设有同城异地和异城异地的备份机制，能够基本满足数据安全需求，但由于经费和政策限制尚未建设在线备份体系。现有备份体系在应对海量数据恢复中需要大量时间进行恢复，对数据的即时使用和数据恢复造成一定安全和即时有效风险。

3) 数据安全防护风险。地质资料电子数据全部是地质调查的成果数据，在长期存放过程中存在管理和使用客户端感染病毒对数据的完整性带来一定的安全风险。同时这些数据中含有一定的敏感内容因此在数据的安全、合理使用中存在一定的安全风险。

3 长期保存技术研究

全国地质资料馆在日常数据生产、加工和社会化服务过程中，探索和研究电子数据的长期保存技术，首先需要应对馆藏地质调查成果数据的存放安全、信息可信、信息权威、可持续不断更新和可持续不断社会化服务等需求。同时，为目前的“双轨制”向“单轨制”转型提供必要的技术储备和技术支撑[9]。在地质资料电子数据长期保存技术研究需要研究以下几点内容。

3.1 制定长期保存政策与标准

在地质资料电子数据长期保存工作研究探索过程中，目前尚未制定相应的政策法规，因此无法对这些电子数据进行合法的授权与认定，需要跟踪有关电子数据的可信认证相关的法规，对数据的权威性进行法律层面的认定。同时由于数据生产单位技术能力具有一定差异，因此需要开展地质资料数据生产相关的标准化建设，选取开放、标准的数据生产环境，减少人为因素和系统工具因素对后期数据的使用，存在因格式不同无法使用的窘境[8-10]。

3.2 提供长期保存环境与保障

在地质资料电子数据长期保存环境中需要参考《电子文件归档与电子档案管理规范》(GB/T 18894—2016)、《电子文件归档与电子档案管理规范》(GB/T 18894—2016)、《电子文件管理系统通用功能要求》(GB/T 29194—2012)、《电子文件管理装备规范》(GB/T 33189—2016)、《电子文件信息的长期保存》(ISO 18492)、《信息与文献——电子文件的长期保存需求》(ISO/TR 26102)、《文档管理——长期保存的电子文档格式》(ISO 19005)等标准和规范，建设符合标准的在线存储系统和离线备份系统，同时持续开展和完善地质资料电子数据的多维备份体系的探索和研究，打造安全、可靠、高效和稳定的长期保存物理环境[4,8]。同时建立日常维护和设施更新的稳定经费投入机制，确保设施的维护即时和更新即时。

4 结 语

地质资料电子数据长期保存是一项繁杂、耗时耗力且工作强度大，科研成果不显著的基础性保障支撑工作。在开展电子数据长期保存过程中需要多年的数据管理经验，熟悉数据结构和数据内容，同时需要严谨的工作态度和高度的历史责任感。通过不懈努力保障地质资料电子数据的长期可用，为地质资料大数据提供安全可信的基础数据支撑。

在信息技术的迅猛发展当今，大数据、云计算和人工智能等信息技术将持续改变着人类的工作、学习和生活模式。随着信息技术的全面推广和使用，使得产生的电子数据逐步将代成为主要信息承载的载体。同时随着近期国家颁布的《国务院关于在线政务服务的若干规定》中明确了电子签名、印章、证照和档案的法律效力，由此地质资料电子数据的重要程度大幅度提升。地质资料管理者的工作重点不仅是面对如何完整安全保存，需要开展地质资料电子数据管理政策和方法入手，加大相关技术投入，实现地质资料电子数据格式规范化更新，建立更加完善合理的管理政策，打造更加安全可靠的数据保存体系，最终实现地质资料电子数据长期可信、长期可用和长期保存的最终目标。