光存储技术在石油勘探开发数据管理中的应用

王学军+许乃天+王政龙+杜江

[摘 要] 蓝光存储具有高容量、低能耗、随机存取速度较高、保存时间长等突出优势，是一种很有发展前景的存储方式。首先分析了石油勘探开发数据管理在容量、性能、能耗等方面的需求，提出了一套适合国内实际数据情况的、基于蓝光存储的勘探开发数据管理解决方案，采用该方案在中国石油勘探与生产技术数据管理系统做了实际测试，确保了石油勘探开发领域相关各类数据的准确性、完整性，也预示着普遍采用光存储方式来管理海量数据可能会成为一种新的发展趋势。

[关键词] 光存储；石油勘探开发；存储分级；大块数据

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 03. 086

[中圖分类号] TQ597.92 [文献标识码] A [文章编号] 1673 - 0194（2017）03- 0158- 03

1 引 言

随着技术进步，油气勘探开发数据量量级已经上升到到TB、PB级，地震勘探采集分辨率、日工作效率大幅提高，物联网等相关数据快速增长，真正进入了“大”数据时代。如何应对上述海量数据的管理需求，如何科学存储和有效调度日益增长的数据，满足石油行业的业务需求，已成为石油行业信息化工作中需要重点关注的问题。

容量满足海量数据的存储需求、根据数据类型和使用频率进行科学的存储和精细化管理、有效调度，寻找用户满意的速度和合理成本的最佳结合点、保证数据的安全可靠，是未来石油行业数据管理的重点工作。

本文总结了目前石油行业海量专业数据的存储现状，完整阐述了当前存储架构的工作方式和面对的挑战，分析了海量数据存储的发展趋势，针对现状、挑战和趋势，提出了以光存储为基础的分级精细化数据管理解决方案，并在大型信息系统做了实际测试，具有良好的应用价值。

2 需求分析

首先分析勘探开发数据存储现状和分类，细化存储需求；然后剖析了主流的勘探开技术数据管理系统的功能架构，针对性提出技术方案。

2.1 当前石油海量数据存储及数据管理现状

当前石油数据类型主要可以划分为大块数据、各类专业数据、文档数据、结构化数据（数据库文件）和备份数据等，除此之外，在不同的信息管理系统中，存在各类特有的应用软件的专有数据类型；而当前主要的数据存储架构为磁盘阵列和磁带库相结合，以应用系统为单位，搭建SAN网络进行存储，部分数据管理系统采用全磁盘阵列的形式，其中磁带库主要用于大块数据的归档和备份数据的管理；档案馆与应用系统、专业人员的数据交互方式也主要是磁盘和磁带，其中磁带数据还需要经过转录等操作后才能使用或归档。

2.2 面临的问题和挑战

当前石油行业数据管理现状面临着以下几个主要问题。

（1）存储容量不足：数据作为油田单位最重要的资产之一，必须永久妥善保存，但是随着数据量的快速增长，现有的可用存储空间正面临着巨大的压力，部分应用和数据管理系统已经出现了存储空间无法支撑后续生产的严重问题。

（2）存储成本不断增长：存储成本的问题应该从综合保有、长期保存的角度来思考看待，按照当前的存储架构，磁盘阵列和磁带库的购买、维护和数据迁移成本过高，其中，带库的使用专业性更强、维护难度更大，这些都造成了存储成本可能会在长期的发展过程中不断增加。

（3）存储介质的兼容性：兼容性问题在磁带介质的使用中尤为突出，因为磁带介质本身的特点导致某一磁带型号必须使用特定类型的磁带机才能进行读写，当前已经出现了大量因磁带机损坏，且新型号磁带机无法读取导致磁带数据无法正常使用的现象。

（4）数据结构划分不够精细，存储资源利用不够合理：部分数据管理系统为了追求响应时间，将大块数据全部存储在磁盘介质上，这样做虽然能实现最快的I/O速度，但在实际生产过程中，绝大部分大块数据并不会长期被频繁的调用，而是集中在某一阶段密集使用，这就导致了大量已经冷却的数据占用了过多的快速存储I/O资源，增加了存储压力和成本，这种压力是不断持续的，这个问题随着云化的不断深入已经越发突出。

2.3、 未来石油专业数据管理发展趋势

（1）高容量、低能耗：在增加存储容量的同时，必须注重能耗的降低，节省运营成本，降低资源消耗，这是企业发展的需求，同时也是企业的社会责任体现。

（2）冷、热、温数据精细管理：重点在于冷、热、温数据的科学划分和灵活转换两个部分，通过科学的数据类型划分，使得不同特点、类型的数据保存在最适合的介质上，同时，灵活的转换保证了当数据需求产生变化的时候，数据类型能够随之快速响应，真正实现以应用为核心的精细管理。

（3）向后、向下全面兼容：作为长期保存的专业数据，应保证在未来较长的时间段内，数据依旧可读、可用且可靠，不受硬件条件和存储结构变化的影响。

2.4 当前主流石油专业数据管理系统架构

当前国内外主流的石油数据管理系统在功能架构上大致可以分为三层：①数据源层；②数据管理层；③数据应用层，见图1。

其中数据管理层作为数据的组织者，响应数据请求，为上层应用提供有力的数据支撑，是整个管理系统的核心环节，数据的准确性、完整性、可用性和安全性，都是系统关注的重点。

本方案主要解决以下几方面的具体技术问题：

（1）确定不同的应用场景下蓝光光盘库的部署方式。

（2）研究蓝光存储介质存储石油专业类型数据的安全性、可靠性和可用性。

（3）实现光存储介质在不同系统架构和应用场景中的部署实施，确保数据流向正常，速度满足日常生产需求。

3 方案设计

3.1 设计思路

针对石油勘探开发海量数据管理的特点，结合系统当前的数据和存储结构，最终确定方案的设计思路是：在当前的SAN网络环境中部署蓝光光盘库产品，即加入光存储介质，使系统形成在线、近线、离线三层存储结构，利用光盘库作为近线存储，用于保存使用频率较低的数据类型，发挥其高容量、低能耗的特点，降低存储成本；利用磁盘阵列作为在线存储，保存数据库等热数据，保证系统的运行速度；磁带介质和光盘介质作为离线存储介质，保存备份和归档数据；最后，利用蓝光光盘库产品自身的管理功能，实现数据根据应用需求，灵活的转换存储方式。设计方案如图2所示。

3.2 蓝光光盘库技术特点和部署方式

（1）存储容量大、密度高：单张光盘100 GB，整个机柜容量超过600 TB，目前最新技术单张光盘容量已经达到300 GB。

（2）保存时间长：光盘数据保存寿命达到50年。

（3）安全性高：支持光盘RAID技术，防止人为篡改数据，可靠的工业级光驱和蓝光光盘。

（4）扩展灵活：只需通过增加光盘匣灵活的扩展存储空间。

（5）兼容性强：光盘介质和光驱设备的升级不影响旧盘数据读取。

（6）节能降耗：能耗低，无数据读写时的待机功耗仅为7 W，设备本身无需空调即可稳定运行。

光盘库连接方式：部署蓝光光盘库首先需要一台X86架构的物理服务器，接入系统所在局域网络，这台服务器作为光盘库管理控制服务器，统一调度与其链接的光盘库，光盘库产品与物理服务器直连，用户可以将整个系统看作一个网络驱动器（NAS），向其中写入文件，见图3。

3.3 系统架构

3.3.1 图系统架构设计（见图4）

本方案针对数据管理系统在系统架构上的差异和不同的部署方式，结合蓝光存储特点，提供3种数据存储光存储解决方案，并且提供规范标准的应用开发接口，便于各系统用户根据自身需求进行二次开发。

（1）NAS应用方式：蓝光光盘库系统以NAS的方式接入业务系统，主要用于大块数据等的本地在线存储和离线归档，此种方案部署简便、灵活，无需额外配置，只需将光盘库存储空间挂载到操作系统指定位置即可使用。

（2）VTL应用：系统通过“备份软件+VTL”的方式将数据集中备份到存储服务器，再根据用户指定的策略将所需要的数据归档到蓝光光盘库中，此方案光盘库的使用方式与磁盘VTL相同，将蓝光光盘模拟成带库供系统使用。

（3）API应用方式：采用蓝光光盘作为存储介质，通过光盘库管理软件（DAM）所提供的Web-API接口，对现有的各行业内部业务与管理系统进行开发，实现互连互通，从而对蓝光存储产品进行统一监管、控制和管理的综合管控平台。

3.3.2 不同的应用方案具备各自特点

（1）NAS方案。适应数据管理生命周期的动态变化。针对石油专业数据的NAS方式的光盘库存储，其特有的硬盘+光盘的存储模式尤其适合石油专业数据的使用和存储特点，当数据刚刚录入系统后的一段时间内，数据被调取处理的频率较高，可以划分为热数据或温数据，此时将数据保存在系统缓冲区中，存放在硬盘介质上，随着数据使用频率的降低，数据将会变为冷数据，此时，数据将被迁移至光盘介质上长期保存，在某一时间段，如果数据被从光盘中读取使用，将会暂时保存在磁盘缓存，作为温数据或热数据。这种方式既保证了数据的读取速度，又可以安全的、低成本的保存数据。

（2）VTL方案。光盘库备份采用VTL方式，底层存储介质使用蓝光光盘库，使用方式与磁盘形式的VTL完全相同；这样的架构最大的优势是无需在系统层面改变原有的架构和部署方式，只需将光盘库以VTL的方式与系统进行连接，在备份管理软件中作为虚拟磁带库进行管理和使用。

3.3.3 数据流

数据由客户端提交后进入数据管理系统，系统将数据转发给DAM， DAM通过文件服务器收到此文件并将其存储在缓存中，当数据量达到设定值后，由后台自动写入光盘库。

4 应用测试

根据设计方案，使用专业的大型勘探开发数据管理系统进行实际测试，测试内容主要有：

（1）勘探开发专业数据的上传、加载、下载流程。

（2）勘探开发专业数据通过光盘介质保存下载后的正确性、完整性。

（3）常规数据的上传下载性能。

（4）备份功能。

其中，重点关注勘探开发专业数据通过光盘介质是否能够正确保存数据文件及下载后文件的完整性；

本次测试的数据有：地震数据、测井数据、解释成果数据、文档数据等。

测试通过中国石油勘探开发数据管理系统执行上传下载工作，通过专业的地震、测井数据质量控制软件进行数据体的检查和对比。测试系统图见图5。

测试对比结果如图6所示。

通过测试，得出了以下结论：

（1）通过石油数据管理系统，通过近线和离线的方式，均可从蓝光光盘库中上传、下载专业数据。

（2）下载后的专业数据文件大小、格式、内容与原始数据完全一致，符合完整性要求，数据可以正常使用。

（3）光盤刻录速度因不同文件结构存在些许差异，均满足系统应用需求。

（4）备份管理软件使用NAS和VTL架构的备份功能均正常实现。

5 结 论

前景广阔，具备自动管理功能的蓝光光盘库的部署，在石油石化行业海量数据管理与存储领域是一次新的变革，优化了勘探开发数据存储方式，细化了存储分级结构，在未来有着巨大的应用空间：

（1）形成针对石油专业数据的完整的在线、近线、离线存储结构，实现针对数据特点的分类存储，细化数据的分类，将不同类别的数据划分到最合适的存储层级上，这样，在保证应用系统性能和数据安全的前提下，最大限度的利用存储空间和存储的性能。

（2）发挥兼容性优势，在长期的系统升级过程中实现数据的整体迁移，简化迁移流程，缩短迁移时间，减少迁移成本，同时，这种不依赖设备的兼容性也保证了数据的长期可用，即当读写设备损坏、变更时，仍可保证数据可读。

（3）在部分应用场景中取代传统的磁带介质，主要依靠光盘库的速度优势、兼容性优势，和在部署架构上的高灵活性，在数据归档等相关场景中，逐步取代传统磁带介质，获得更高的性价比与安全性。

致谢：在本文编写过程中，得到东方地球物理公司马涛先生等专家指导和相关同事支持，在此一并致谢。

主要参考文献

[1]马涛，王学军，王铁成，等. A1辅助软件系统[J]. 石油科技论坛，2011（1）：52-54.