大数据在石油行业中的应用

崔海福，何贞铭，王宁

(长江大学 地球科学学院，武汉 430100)



大数据在石油行业中的应用

崔海福，何贞铭，王宁

(长江大学 地球科学学院，武汉 430100)

摘要：随着石油勘探与开发难度的日益增大，信息化的成熟度成为影响石油行业提高出产量的关键因素,而信息化则是有效利用大数据技术把大量的数据有效地管理起来。总结了大数据在地震勘探、地质研究、生产开发和安全管理等方面的应用，指出基于大数据的并行处理技术、神经网络算法、聚类分析等方法可以用来提高石油勘探效率、降低生产与开发成本，并以Hadoop框架为例介绍了海量数据并行处理的技术。

关键词：大数据石油行业信息化数据处理

油气的勘探、生产、运输和安全管理等过程都需要有数据作为实践的支撑，这些数据不仅量大，而且类型复杂，称得上是大数据。它同样涵盖了大数据的 “5V”(Volume， Velocity， Variety， Veracity， Value)特征[1]： 1) 数据体量大，海量的数据以TB， PB， EB为单位；2) 数据的快速流转，伴随着油田设置的更新、传感器网络的安装，数据的产生、更新和处理速度变快；3) 数据的多样性，由于数据来源与数据类型变多，产生如文本、图片、视频等结构化数据，半结构化数据和非结构化数据；4) 数据的不确定性，由于数据的噪音、缺失、不一致性、歧义等因素，易对数据的真实性造成影响；5) 巨大的数据价值，大数据的终极目标在于从数据中挖掘价值。这与石油行业利用数据准确地找到更多的石油目标是一致的，因而大数据技术可以贯穿石油行业从上游到下游的整个领域。具体而言，油田大数据涵盖了地震、钻井、测井、录井、试油试采、分析化验、油层改造和开发生产的动态数据[2-4]，包括现场的原始采集数据、经过专业人员处理的数据以及最终形成的知识成果。而数据格式也很多样，包括数据表、文本、图件、报表和例如地震数据等的大数据体。下文将详细阐述大数据在地震勘探、地质研究、生产开发、油气输送和安全管理等领域的具体应用。

1地震勘探

大数据在勘探领域的应用主要体现在地震勘探数据的存储、综合处理和成像等方面。地球物理勘探包括地球物理数据采集、数据处理和数据分析解释三个环节[5-6]。地震资料的内涵就是数据，通过数据可以反映地质结构、地层变化，通过数据可以为油气勘探开发提供重要依据。新的地震数据采集方法可以使采集覆盖次数由几十次增至几千次，数据体会成几何倍数增长。同时，物探装备技术的不断进步，实现了高效采集和施工方法的巨大跨越，一定程度上使得数据量快速膨胀。海量数据形成之后，对处理方法要求很高，且针对不同的区块和数据，需要不同的参数和流程组合，这就要求对于海量数据需要反复试验，一个参数的试验可能需要耗费几天甚至更久。因此，传统的数据处理环境已不能满足海量数据的处理要求。

面对大量数据的管理与处理的问题，大数据的模式识别分析方法、数据的并行处理技术等都可为石油勘探所用。大数据时代的地震勘探的发展方向表现在如下四个方面： 对地震仪器的严格要求，因为其是限制巨量地震数据采集的关键，也关系到野外生产组织管理方式、数据质量、施工效率、生产成本等，应选择轻便的网络化地震采集仪器来适应大数据时代；对可控震源有效采集技术的推广，同样有利于在大数据环境下提高工作效率并降低成本；采用量化的质量监控软件，可大幅提升数据质量评价的可靠性；高速发展的计算机技术也可为巨量地震数据的处理与解释提供重要保障。总之，要重视大数据处理与解释的环境建设，提高海量地震数据的处理能力，并不断开展大数据下的信息挖掘技术研究，以提高油气识别的精度，最终达到提高石油勘探准确性的目的。

2地质研究

在对某一区块进行地质研究之前，要首先了解该地区的地貌特质和地质状况，查看条件是否适合布井、是否存在发生自然灾害的可能性，同时还要对该区块目的层位的勘探资料进行了解，这其中包括地震层位和断层的解释。其次要对研究区的井位资料进行收集，包括钻井、录井、测井曲线、试油等[7-9]，这些有助于认识研究区目的层位的沉积相特征、物性特征以及电性特征等。除此之外，还要对研究区的产能状况进行了解，包括注水等生产动态以及储量数据。以上这些数据涵盖了几十类甚至上百类的结构化、半结构化、非结构化的数据。因此，要针对这些数据的存储与管理，从它们的类别、类型、访问方式等考虑，构建一体化的数据管理模型，保证大数据的高质量、高性能、高可用性，充分发挥大数据的价值。

特别在地质储层研究中，大数据技术中的一些分析方法可以作为储层研究的手段。例如可以采用聚类分析的算法，选取平均喉道半径、启动压力梯度、可动流体饱和度等参数对储层多孔介质进行分类；同时可对地震的属性进行聚类分析，通过总结已知含油区的相似属性特征来划分有利的含油区，以达到预测未知的含油区的目的。

3生产开发

油田数字化进程极大程度上提高了油田的产量，且随着数字化程度的提高，更多“隐藏”的数据被利用起来。据了解，数字油田被完全优化后至少可提高6%的采收率和8%的油气产量。在油气生产领域，通过对大量历史数据的分析，预测未来数据的走向，可以极大限度地提高采收率、油气产量；同时，通过综合分析地震、钻井和生产数据，可以使得生产服务更加智能。例如，通过分析油田生产中的各种大数据，可以得出产量、压力等参数随时间变化的趋势，据此作为改变开发方法的决策支持。还有学者在数据仓库的基础之上，采用决策树分析方法、聚类分析法、神经网络等算法建立起油气数据的挖掘模型，对大量的、多维的、多源的数据进行了关联分析与预测工作[10-11]。例如，用户可以挖掘渗透率、有效厚度、生产压差、含气饱和度等各参数与油井产能的关联度，并建立一个有关油井产能的模型。之后根据模型将自己感兴趣的参数作为输入值，油井产量作为预测值，进一步预测油井产量在某些特定因素下的发展趋势。这些预测结果可以用曲线、数据表等形式进行展示，从而为油气的生产和决策提供重要的依据。

4油气输送

油气管道在设计、建设和运营过程中会积累大量数据，从而可为管道安全分析、评价与管理提供数据支持。而目前国内管道数据库及信息管理系统存在一定问题，直接影响到数据高效、全面的应用[12-13]，主要表现： 数据的记录形式多样，标准不一；缺乏综合统一的信息管理平台，各环节的数据比较孤立，难以整合；数据采集环节标准不一，难以确保数据的高质量。面对管道大数据存在的这些问题，笔者认为应充分利用大数据技术，来解决管道管理中的问题。大数据在油气管道行业的应用及发展方向应该是通过对大数据挖掘分析得出的结论，对管道进行风险判定和预控，并有计划地修复管道缺陷，为其生产决策服务。

以大数据在管道腐蚀调查和处理中的应用为例，传统的风险评估方法通常会基于管道内外监测数据对所有的疑似腐蚀点进行开挖施工，造成工作量巨大、不能全面排查所有的腐蚀点的后果。基于大数据的管道监控，则可以在管道数据库建立的基础之上统计，将与管道腐蚀相关的数据进行筛查分析，按其对腐蚀的影响程度进行权重排序，这其中可能包括建设公司施工条件、管道地下应力状态、材质、地质条件、天气状况以及土壤腐蚀性等因素。当某段管道材质差、土壤腐蚀性强、地下应力水平高、施工时管道有损伤时，其发生腐蚀的几率更大。因此，根据以上影响因素，可以按照不同管段发生腐蚀的概率进行排序，对其进行划分等级，筛选出可能导致事故发生的腐蚀点。通过对这些腐蚀点的开挖验证，确定腐蚀点的腐蚀情况，并根据开挖结果修正之前的判定模型，制订相应的维修方案。综上所述，根据基于大数据分析的管道安全管理的过程，结合管道大数据的挖掘应用，可全面识别管道风险，减少开挖数量，从而达到提升工作效率、节约成本、提高管道安全管理水平的目的。

5安全管理

安全管理涉及对油气生产中各种参数的分析，可以预知可能出现的问题，及早做出防范举措。石油产业的下游要解决输送、转运、销售和管理等环节，随着生产能力和规模的逐年扩大，生产存储设备向大型化和规模化衍变，导致危险因素也逐渐变多，无论是制度缺陷、设备隐患、程序遗漏、工作疏忽或者个人的违章操作都有可能造成重大事故。目前，在安全管理领域对数据的挖掘和利用还很匮乏，因而有必要从海量数据中挖掘出人的不安全行为、物的不安全状态、管理的漏洞等有用的信息，从而找出事故发生的规律，来提高安全生产的管理水平。

先见性修复是海洋油气建造管理当中的一项重要任务。由于钻井平台距离陆地的距离较远，人员及设备的运输比较耗时。因此，在深海设备发生损坏之前，必须留足时间进行修复工作的准备。如果时间提前太早，会酿成资源浪费；若等到设备发生故障之后再进行处理，则会耗费时间耽误工程进度。随着设施的运行，系统输出的数据质量也会随着时间降低。因此，可以利用数学分析方法，根据监测设备反馈的数据来获知系统的运行情况[14]。例如，大数据监测技术可以对平台的上千个零部件的振幅、温度、转速和油压等进行实时监测，并推测其运行状态，据此设计维修计划。

6结论

无论是在油气的勘探、生产，还是运输、管理中，都会产生海量的数据，并且需要对这些数据进行快速有效地处理。而大数据技术恰恰可以提供这种功能，比如现在比较流行的Hadoop就是一个分布式系统的基础架构，石油行业可以充分利用Hadoop框架来构建符合自己需求的数据处理系统。主要包括HDFS，MapReduce，HBase，其中HDFS和MapReduce是其核心设计。HDFS是对海量的数据提供了存储，而MapReduce为海量的数据提供了计算，它们之间相互独立，工作时互不影响，这就极大地提高了数据的存储与处理的速度。MapReduce将所有针对海量异构数据的操作

抽象为两种操作，即Map和Reduce。Map就是一个映射过程，它是对列表中的每一个相对独立元素进行一定条件的操作，比如对一个成绩列表中的每一项数据都加1，在这个运算过程中数据表的每一个元素都是独立进行操作的，原来的列表并没有被修改，原因是这里新建了一个表来保存修改后的结果。因此，Map高度并行的操作特点可以满足高性能要求的应用，并且会极大地提高并行计算的效率。Reduce是一个化简的过程，它是对列表中的元素进行适当地合并，例如当对成绩列表求平均分时，通过定义求和函数使每一个元素与相邻的元素进行相加，这样递归运算直到剩最后一个总数，最后用这个数除以总人数就得到了平均分数。虽然Reduce在并行运算上不及Map函数，但由于其答案相对简单并且具有运算的独立性，使Reduce函数在大规模高度并行环境下是非常有用的。总之，还有很多的大数据技术可以应用在石油领域，将会带来一定的经济效益，未来可以发掘更多的技术算法，为国内的石油工业服务。

参考文献:

[1]李清泉，李德仁.大数据GIS[J].武汉大学学报(信息科学版)，2014，39(06)： 641-644.

[2]曾庆猛，王冬梅，姚子修，等.中石油A1系统PCEDM数据模型基本实体初步研究[J].勘探地球物理进展，2008，31(06)： 464-466.

[3]文必龙，肖波，陈新荣，等.石油勘探开发数据元管理技术[J].大庆石油学院学报，2012，36(01)： 83-87.

[4]李明岩.大数据技术在油气上游领域广泛应用[J].中国石化，2014(12)： 66-68.

[5]王喜双，赵邦六，董世泰，等.油气工业地震勘探大数据面临的挑战及对策[J].中国石油勘探，2014，19(04)： 43-47.

[6]王晓丽，孟祥龙，时玉龙，等.地震大数据的管理与应用[J].数字技术与应用，2014(01)： 205-206.

[7]李伟，赵春宇.油田勘探开发“大数据”管理及应用[J].信息技术，2013(04)： 197-198.

[8]王兵，张文生.地质油藏数据信息化管理思路[J].中国石油和化工，2013(09)： 57-59.

[9]赵贵菊，王彦春，崔其山，等.石油勘探开发一体化数据仓的建立和应用[J].物探与化探，2010，34(01)： 108-110.

[10]檀朝东，岳晶晶，吴丽烽，等.数据挖掘技术在油藏挖掘者软件中的应用[J].中国石油和化工，2010(10)： 66-67.

[11]檀朝东，陈见成，刘志海，等.大数据挖掘技术在石油工程的应用前景展望[J].中国石油和化工，2015(01)： 49-51.

[12]崔涛，冯庆善，杨祖佩，等.新建管道完整性管理理念探索[J].油气储运，2008，27(10)： 4-8.

[13]王维斌.长输油气管道大数据管理架构及应用[J].油气储运，2015(03)： 229-232.

[14]王兵.谈大数据监测在海洋油气设备管理中的应用[J].电子测试，2014(03)： 139-141.

Application of Big Data in Petroleum Industry

Cui Haifu, He Zhenming, Wang Ning

(College of Geosciences, Yangtze University, Wuhan, 430100, China)

Abstract:With difficulty increasing of exploration and development in petroleum industry, maturity of information technology has become primary factor affecting output growth rate of petroleum industry. Big data is an important technology which is used to manage data efficiently. Application of big data in seismic exploration, geological research, production development, safety management and so on is summarized parallel processing technology, neural network algorithm and cluster analysis based on big data can be used to improve petroleum exploration efficiency and reduce production and development cost.Massive data parallel processing technology is introduced by taking Hadoop framework as example.

Key words:big data; petroleum industry; informatization; data processing

作者简介：崔海福(1987—)，女，吉林珲春人，长江大学在读硕士研究生，主要从事油田GIS技术的应用研究。

中图分类号：TP311

文献标志码：B

文章编号：1007-7324(2016)02-0043-03

稿件收到日期： 2005-12-01。