基于地质勘查的矿产大数据分布式储存方式研究

王思成

（甘肃省地质矿产勘查开发局第一地质矿产勘查院，甘肃 天水 741020）

勘察工具的多元化发展在一定程度上促进了地质勘察行业的进步，宏观意义上可将地质勘察技术近似的看作地质监测工作，依照国家经济建设安排及科学技术创新的需要，引入测绘、多种物探勘测技术，采用打孔、钻探、采用检测等方式，对指定区域内的岩石、矿土结构、资源分布情况、地下水流向等地貌特征实施一系列的市场调研活动[1]。矿产数据是矿区工作重大决策的关键支撑，多年地质勘察工作积累的大量数据为矿区经济发展及矿产资源开发提供了重要的支持依据，由于矿产资源行业发展历史较为久远，堆积的相关地质资料量较大，因此，如何使用现代化技术对矿产大数据有效存储成为了有关部门的调研重点，尽管目前市场内已经有多种存储方式为矿产大数据提供存储方式，但在实施中由于资料占用存储内存较大，导致的资源检索时间较长的问题屡见不鲜，为了改善矿产大数据存储现状，引入分布式数据存储方式，通过连接互联网将每台数据存储设备中的内存资源整合成一个虚拟的存储空间，并将大量数据集以分散的方式分别储存在空间中的各个角落，降低由于数据占用较大内存导致检索数据时间长的问题。

1 基于地质勘查的矿产大数据分布式储存方式研究

（1）建立矿产大数据分布存储数据库。引入数据关系模型，基于地质勘查理论依据，以GIS技术作为数据存储支撑，建立矿产大数据分布存储数据库，综合Oracle大型空间数据分析方式，制定符合矿产数据分布的存储标准，集合计算机技术在矿产大数据组织中的应用，采用三维建模的方式对数据实施一体化管理。提供大批量数据集自动排序、智能检索等功能，引入离线并行数据计算方式，维持数据集中间数稳定的基础上，靠拢边缘数据组。计算公式如下。

公式中：f表示为统一格式后的数据集合；i表示为矿产大数据量，取值范围在0～+∞之间；e表示为分布式数据存储方式；λ表示为数据融合模式；β表示为数据集中特征数据；a表示为特征数据组；b表示为数据组中数据均值。根据上述公式，通过多元化矿产大数据中数据表达形式，对等处理存储节点，设置对称性框架结构，扩容过程中仅按照数据主从格式，即可实施数据存储。上传数据文件时，引入PUT数据请求负载语言，将转存语言发送至数据库中，查询本地Ring文件，选择多个与后端存储方式不同的文件作为参照存储对象，并将端口返回文件按照数据勘察类型分类，建立数据库中矿产类型数据表格，合理选择存储节点，传递数据文件。

（2）基于地质勘查的极值数据存储。自定义大数据传输模式，调整数据需求，增设数据外界端口，延展地质勘查数据服务范围，提取数据集中特征点数据，按照数据大规模排布要求，调整用户需求，依照数据组中间数据值，将数据对象作为矿产数据访问单元，依靠外接数据存储设备，提出数据访问要求。为避免忽略极值数据。其一，调用开放式函数组，发起远程控制请求，向姓名节点传递RPC控制请求，获取元数据表述信息，受到矿产大数据信息块。其二，在终端设备上打开文件交流模式，选取数据只读请求，连接距离数据节点最近的文件，并将获取的有效数据值以电子版模式传递给起始端设备。其三，断开数据节点链接，选择下一个数据节点，直至所有数据组读取完毕，调用语言函数关闭传输数据通道，选择数据存储通道，完成基于地质勘查矿产大数据的分布式存储。

2 仿真实验

提出仿真实验，随机选择某矿区作为此次实验的实验对象，设定4节点矿产大数据集群，其中主要包含1和姓名节点和3个数据节点。集群资源配置详情如下表1所示。

表1 集群配置详情

根据上述表1所示信息，模拟实验仿真环境，结合上述配置，随机选取7组矿产大数据，数据集中有效数据个数分别 为：5000；10000；15000；20000；25000；30000；35000，数据文件存储占用普通计算机内存在1～1＊103KB之间。先使用传统的分布式存储方式实施矿产大数据存储，不断提升矿产大数据量，记录数据储存时间，获取多组实验数据，去除数据组中极值数据，计算剩余结果平均值，输出统计结果，设定该组为此次实验的对照组。再使用本文设计基于地质勘察的大数据分布式存储方式，实施相同步骤的操作，记录实验数据，定义该组为实验组，采用上述方式整理实验结果，输出结果数据，整理实验结果成曲线图。如下图1所示。

依照上述表1中表述信息，可知随着矿产大数据量的提升，本文提出的分布式存储方法数据存储时间呈现稳定上升状态，趋势较为平缓，且存储所需时间较短，传统方法存储所需时间较长，上升曲线较为陡峭。结合实验过程中产生的实验数据，可得出如下实验结论：相比传统的分布式存储方法，本文提出的方法在实际应用中可有效的缩短数据存储多需时间，进而起到提升数据存储效率的作用，更具备市场应用价值，因此应加大该方法在矿产大数据存储中的应用，为矿产资源存储提供技术支持。

图1 实验结果对比

3 结语

本文基于地质勘查，开展了矿产大数据分布式储存方式的研究，并采用设计仿真实验的方式证明了，相比传统的分布式存储方法，本文提出的方法在实际应用中更具备实际应用价值，尽管本文设计在已在多次实验中加以证明，但仍缺乏大量实力证明其实用性，因此在后期的发展中，加大方法在实际中的应用，为技术的不断革新提供真实的市场调研数据。