大数据分析在油气行业的应用研究

张春生，郭长杰，尹兆涛



大数据分析在油气行业的应用研究

张春生，郭长杰，尹兆涛

摘 要：为解决油气行业各业务领域应用大数据技术挖掘沉睡数据中的隐性规则、商业机会从而优化生产、辅助决策的需求，分析了国内外油气公司大数据分析的应用场景及基础设施建设现状，在现有供应商解决方案的基础上，结合我国油气行业应用大数据分析的需求设计了统一的油气大数据分析平台，并从大数据管理、人才组织及自主研发等角度提出油气公司部署大数据分析的相关建议。

关键词：大数据分析；油气；大数据建模；物联网；云

0　引言

大数据分析能够在海量数据中挖掘帮助决策的隐藏模式、未知的相关关系以及其他有价值信息，有利于企业制定科学决策，提高经济效益。2010年至今大数据技术架构日趋成熟，行业应用日益增多[1]。在技术层面，Hadoop2.0比旧版本相比具有更高的可用性及扩展性。同时内存计算平台Spark 异军突起，整合了批处理、交互式和流处理等多种数据处理模型，并通过将中间数据存放在内存中大大提升计算速度。在技术架构成熟的基础上，大数据的发展主要集中在结合智能计算的大数据分析、跨学科交叉数据融合分析与应用，以及与物联网、移动互联、云计算等热点技术相互交叉融合应用等方面。机器学习、神经网络等分析预测方法以及高级统计分析模型在海量存储和高效计算等大数据技术的支撑下换发了生机，IT供应商纷纷推出大数据分析产品及行业解决方案[2][3]。

随着油气储藏的减少，油气开发难度增加以及近年来油价持续低迷的经济环境，国内外石油和天然气公司越来越依赖数据分析来降低运营成本及提高决策的科学性。例如壳牌成立大数据分析组织，实现1万口油气井传感数据实时分析处理；BP在炼化厂建立高级过程控制中心，运用数学模型分析工厂内所收集的大数据，优化生产过程；国内中石化结合振动分析技术建立设备全生命周期预知维修系统等。这些应用多为油气生产某一业务领域特定问题的分析解决，尚未出现统一的大数据分析平台支持勘探生产精准研判、生产安全平稳运行、下游精准销售与客服等各业务领域及全产业链整体优化。本文在国内外大数据分析应用现状分析的基础上，探讨国内油气行业大数据分析应用需求，对石油行业大数据分析统一平台进行设计，并提出油气公司部署大数据分析的相关建议。

1　大数据分析在油气行业应用现状

1.1 应用场景

石油行业的地震数据早已达到PB级以上，因此大数据分析最先在勘探开发领域得到应用，随后在管道运输、炼油化工及成品油销售领域逐渐开始发挥作用。当前油气公司在进行分析预测过程中面对不确定的模型变量或无法建立关系数据模型的负责问题，开始借助大数据分析模型从海量数据中发掘规律性关联，找出解决方案。

在勘探开发领域首先是海量地震数据存储与处理，壳牌公司尝试在亚马逊虚拟私有云上部署Hadoop环境进行地震数据前处理，雪佛龙公司使用IBM大数据平台BigInsights处理地震数据，并将处理过的数据输入到高性能的大数据分析模型中进行分析。在钻井工程方面用于钻井卡管实时预测，建立基于数学算法的概率模型，如决策树、神经网络、CHAID方法等决策树技术，全面分析历史作业数据，识别出过去发生的与卡管事件相关的230个属性特征。根据预测模型分析包括大钩负载、滑轮位置及下井深度等的关联关系，并将预测模型嵌入实时钻井优化软件系统，提前5秒发现卡管预兆并自动采取措施。英国石油（BP）公司利用预测模型预测卡管精确度达到85%，在阿布扎比的一组50口井的钻井作业中，通过最小化卡管造成的作业延迟节省了5300万美元。在采油工程方面，通过对大量历史的采油井工况数据（抽油井示功图、电泵进电流曲线等）进行分析，结合专家的诊断结果建立采油工况诊断识别模型，实现采油井工况诊断自动预警，及时发现问题，提高采油井生产效率。在增产措施方面，通过分析大量增产措施的历史数据找出措施工艺参数配置和实际增油量的关联关系，分析出针对特定区块的增产措施工艺的优化的方案，提高油气措施增产效果。在油气层发现方面，构建更加精准的油气层测井曲线识别模型，对测井数据挖掘分析发现油、气、水层测井曲线的不同特征规律，实现测井曲线自动解释和分析，挖掘老井中的潜力层，提高产量。

在管道与天然气领域，大数据分析用于管道泄漏点迅速定位，实现管道检测智能告警与预警。韩国SK能源在不新增传感器的前提下，通过对现有7个压力传感器数据的分析即可在1分钟内发现1%流量的泄漏，漏点定位精度达300米。在炼油与化工领域，应用文本分析等大数据技术对巡检及HSE日志记录等沉睡数据进行发掘分析，找出存在的常见隐患与不安全行为，并进行更细化的归类，从而有针对性地制定安全隐患治理方案。中国石化对炼厂安全记录进行文本关键词分析挖掘后，成功识别出巡检遗漏高风险区和高危时间段，以及安全装备使用的潜在问题。在销售领域中国石化与阿里巴巴进行合作，利用大数据分析技术进行客户画像，分析中石化客户的消费能力、消费偏好、消费习惯，进行定制化的营销推送。

1.2 基础设施建设

物联网作为大数据产生的源头及数据传输的基础设施，已经成为部署大数据分析的先行工程。油气公司已经在开展大数据分析之前建立了完善的物联网体系。壳牌使用惠普提供的地球神经中枢系统（CeNSE，Central Nervous System for the Earth）解决方案来构建一个无线传感器系统，在油气田勘探开发生产中获得更准确的信息。据悉壳牌计划将传感器部署到1万口油气井中，预计将产生共计10EB的数据。壳牌在其油气井中布置了光纤电缆，可以高速地传输井中传感器实时获得的油气井数据，满足大数据的传输需求。从2012年开始BP将越来越多的传感器安装在钻机、油井和管道中用来测量温度、压力、设备动态，构建了物联网的雏形。BP通过在井下安装传感器接收来自地下深处的数据，指导钻井队如何有效地施工，系统每天可以从一口井中获得TB级原始数据。BP还构建了高效的通信网络，铺设了2000多公里的光缆，将海上油田与BP的管控中心进行连接，实现现场数据在线分析、生产实时诊断及远程指挥调度。雪佛龙通过全球信息交换网络畅通项目（GIL）实现了大数据的高效聚集。

随着大数据分析对其承载平台的性能要求越来越高，云计算与大数据分析相结合能够很好地适应当前数据处理技术的性能需求变化。云计算技术的不断发展可以为大数据分析提供更为灵活、迅速的部署方案以及扩展性更强、使用成本更低的存储资源和计算资源，将大数据分析部署云中是未来大数据发展方向。搜集的数据需要进行妥善的存储，既需要满足对其存储的需求，也要尽可能地降低存储建设投入及后期运维费用。壳牌从2010年开始使用亚马逊虚拟私有云（Amazon VPC，Amazon Virtual Private Cloud）来构建自己的云架构。由于需要处理的数据量巨大，壳牌从2012年开始在私有云服务平台中尝试Hadoop技术以提高大数据量的处理能力。BP的选择了九家云服务提供商来构建一个混合IaaS和SaaS的服务架构来满足云化要求，拓展自身的存储、计算能力，降低IT建设和维护费用，提供更为集中的服务。

大数据分析在石油行业各板块发挥作用不只需要数据专家还需要各领域专家以及数学、物理等学科的专家。壳牌的数据分析部门目前大约有70名全职员工，聚集了IT、油气技术、数学和物理学等方面的专家。BP公司在2014年建立了大数据专家中心DCoE（Digital Centre of Expertise），召集了数字专家、数据科学家和IT技术人员负责开发、部署和集成全球业务的数字解决方案。DCoE将在BP已有成果的基础上融合上游专业技术和其他各领域知识，挖掘大数据价值，加快公司在石油生产领域数字化的步伐，提高企业的决策支持能力和公司整体绩效。

综上所述，大数据分析在国外应用较早，国内的石油企业虽然在云、物联网等领域取得一定的建设成果，但大数据方面仅是在个别业务领域的初步尝试，尚未出现大范围的应用，更缺乏统一存储、处理、分析的管理工具进行支撑。

2　我国油气行业大数据分析应用需求

油气公司信息化建设在促进业务发展方面取得丰硕成果的同时积累了大量的数据，具有大体量、大增量的特点，且数据类型复杂，结构化、半结构化、非结构化数据并存。随着云计算平台的建成及应用集成项目的推进，海量数据集中到一起，大数据应用提上日程。

1）应用大数据管理手段适应业务发展

油气生产物联网在石油行业的建设和应用日益深入。物联网系统通过传感器、视频、移动终端、电子标签等数据采集工具实时采集设备状态、生产运行、人员、安全、监控、物流和销售等数据，通过有线和无线的方式传输到数据管理平台，为各业务领域的相关系统应用提供数据。企业的应用集成系统构建了统一、稳定、可靠的数据共享平台，将各业务板块分散的信息系统数据汇聚在一起，形成了体积庞大的生产经营数据集合。物联网和应用集成项目产生的海量数据将远远超出传统数据库和存储能力范围，需要具有高容量、可扩展的存储系统以及高效分析能力的数据挖掘工具进行管理。

2）挖掘数据资产价值，实现科学管理

信息化建设过程中积累的海量数据已经成为了宝贵资产，蕴含了丰富的价值，有待利用大数据处理技术、高级分析和建模技术挖掘利用，实现生产管控实时高效，生产运行动态优化、经营决策科学准确。借助大数据分析技术进行生产状态在线分析、交互可视化实现生产事故、机器故障实时诊断；通过因子分析模型、交互式可视化和数据发现等工具识别事故原因快速解决问题；利用神经网络、灰度预测等技术预测油价变动、油田产量、销售情况等趋势支持前瞻性研判，提高业务洞察力；应用数据建模和机器学习等技术优化生产计划、指导销售行为，提高生产经营水平。

3）提高分析预测能力，提升各板块业务水平

勘探生产领域需要基于大数据技术进行油气价格预测、地震及测井数据分析、采油井工矿诊断、区块增产措施分析等应用提高油田产量；炼化领域需要利用大数据模型进行化工品综合收率、能耗、安全行为进行分析以及设备进行预知性维护提高装置平稳率、加强安全受控；销售领域需要基于客户大数据进行市场预测、客户画像实现精准营销和加大非油品营销力度，增加客户粘性；管道与天然气领域需要通过大数据技术进行能耗预测、泄露检测、压缩机故障诊断等应用，加强管道完整性管理，降低运营成本；工程技术领域需要应用建模和分析技术实现套管卡管预测、设备监控与预知性维修等业务应用，加强现场生产管控；工程建设领域可以借助大数据技术提升工程设计优化分析及风险分析与防范等提高业务能力；装备制造领域可以将大数据分析技术应用于装备设备故障分析、指导产品研发等方面，保障生产安全平稳运行；综合办公领域在人力资源、财务绩效、科研、安全、纪检监察、审计、合规性等方面应用大数据分析模型提高分析预测能力。

3　油气行业大数据分析平台解决方案

3.1 供应商解决方案

传统IT厂商纷纷向大数据解决方案提供商转型，提供数据中心和服务器等硬件、数据存储和数据库等基础软件、大数据分析应用软件以及技术咨询、运维支持等方面的一站式解决方案。其中大数据基础软件和应用软件是大数据解决方案的核心。传统IT厂商既有微软、IBM、HP等解决方案提供商还包括 SAS、甲骨文、Teradata等数据分析软件商，大多以原有IT解决方案为基础，融合Hadoop形成融合了结构化和非结构化两条体系的“双栈”方案。新兴的大数据创业公司如Cloudera、Hortonworks、MapR等主要基于Hadoop开发了商业版本和大数据分析工具，单独或者与传统IT厂商合作提供企业级大数据解决方案。国内的华为、联想、浪潮、曙光等一批IT厂商也都纷纷推出大数据解决方案。

针对油气行业，Oracle将传统的数据仓库和 Hadoop、NoSQL数据库等大数据处理技术进行结合，提供油气行业大数据分析解决方案，主要集中在5方面的应用：1）利用Hadoop集群对大量地震数据进行分析处理，提高勘探生产效率及投资回报率；2）基于实时传感数据分析识别安全隐患、机器故障，以提高生产的安全性、可靠性；3）基于大数据分析进行供应链和物流优化管理，提高生产运作效率；4）更准确的市场分析，支持科学投资决策；5）提升企业公众形象，维护和政府部门关系。Oracle在钻井领域数据分析的架构实例，如图1所示：

图1　Oracle钻井领域大数据分析架构示例

在图1解决方案中对于生产实时数据，由事件处理器进行在线分析，并由专家系统针对具体业务规则对生产操作进行预警或为现场人员快速推荐解决方案。对于历史数据的存储分为低密度存储模块与高密度存储模块。其中低密度存储模块为非关系型数据库和分布式存储集群 Hadoop，主要用于存储非结构化数据，高密度存储模块内容为关系型数据库用于存储结构化数据。

Hortonworks公司专注于 Hadoop的开发和应用，针对油气行业建立了大数据分析架构，如图2所示：

图2　Hortonworks石油行业大数据分析解决方案

系统自动采集测井日志，经过清洗消除异常数据，形成单一测井曲线视图并以新的LAS文件或者图片展示。系统支持SAS、R语言等统计工具建立新的模型，对多种不同类型的 LAS测井数据进行分析。在监控和报警方面，利用Storm实时监控测井设备参数变量，实时分析和报警，保持测井的操作点能够实时处于最佳状态。系统对海量图形文件、传感数据及地震测量数据进行分析，预测油井产量，或利用递减曲线分析法（DCA）基于历史数据预测单井的未来产量，为油田区块投资提供科学依据，降低企业未来获利的不确定性。在设备维修方面，将泵、油井及其他设备的传感数据输入大数据分析平台，结合天气、地质活动或者其他媒体信息全面展示井下发生的情况，实现可预测性的设备维护。在健康安全环保方面，通过Hadoop以其原始形式或任意格式存储HSE相关数据。

综上所述，SAS、微软、Oracle等传统数据管理提供商在大数据分析解决方案中充分利用已有的解决方案，结合了大数据技术存储海量非结构化数据的优势，但对大数据高性能并行计算、流处理以及支持高级分析挖掘等优势利用较少。以Hortonworks为代表的初创公司基于大数据开源软件构建解决方案，能充分应用大数据技术的长处，并针对石油行业具体业务需求研发相关功能，有利于推动发大数据分析在油气行业的深化应用。

3.2 油气行业统一的大数据分析平台设计

油气产业链上各业务领域均提出了大数据分析应用的需求，因此“十三五”期间油气企业应对大数据分析应用进行顶层设计，研究统一的大数据分析平台架构，实现企业数据资产的统一管理与全面掌控。应用先进的模型和算法对数据进行综合分析与深度挖掘，提炼数据价值，各业务板块在统一平台上根据具体业务需求细化应用。

油气行业统一的大数据分析平台总体架构如图3所示：

图3　初步建议的大数据分析平台总体架构

总体架构由5个层次组成，其中数据源包括物联网系统、DCS等自动化控制系统、业务应用系统以及外部信息等各类生产经营数据；数据存储层由分布式存储系统管理，各存储节点部署于云中，可线性扩展，动态调配；数据处理层由先进的分布式计算框架和分布式数据库组成，大大提高模型计算和数据处理能力；通用服务层主要包括各类基础统计分析和预测模型以及分析预测算法，为各业务领域大数据分析应用提供模型算法支撑，此外还提供数据仓库服务、实时处理引擎、接口服务、图表工具等通用工具；应用层为各业务板块大数据分析业务应用，解决业务中负责的分析预测问题。

通过建立统一的石油大数据分析平台，汇集来自于物联网、互联网、信息系统中的相关数据，为机关职能部门、专业分公司和地区公司提供数据分析相关的存储、计算、业务分析建模等相关功能，加强数据管理和挖掘分析能力，支持各级管理者科学决策、实时决策。在勘探开发领域，加强构造模式、储层模式、油藏模式规律分析指导油田滚动评价工作，提高剩余油富集区发现及油田剩余油研究工作效率。对炼油化工生产过程、储运和公用工程等数据一体化整合分析，辅助平稳生产操作、安全事故预控以及供应链整体优化。通过对销售过程数据和用户数据的即时收集与分析实现成品油市场预测、供需平衡策略制定。在天然气与管道领域，对管道运行数据和能耗数据进行实时综合分析，支持管输优化，实现长输管道运营效益即时分析。

4　油气企业部署大数据分析的相关建议

石油行业云的建设为大数据分析应用提供了强大的计算能力和弹性可扩展的资源池。企业也具备了建立大数据分析平台的业务条件，同时市场上大数据技术方案已经成熟，应用案例逐渐涌现，为项目建设提供了技术保障。在大数据技术行业应用日益广泛和深入的趋势下，石油企业应借鉴国内外企业最佳实践，明确各领域应用需求，积极推动大数据建设项目，具体建议如下：

1）完善大数据管理机制和办法

建立大数据标准体系，推进数据采集、指标口径、分类目录、交换接口、访问接口、数据质量、数据交易、技术产品、安全保密等关键共性标准的制定和实施。推进数据管控制度建设，明确业务职能责任部门、专业分公司数据管理及共享的义务和权利，形成数据治理长效机制。开展元数据管理工作，厘清业务、技术和操作数据的关系与脉络，为大数据管理提供基础工具[4]。明确数据采集、传输、存储、使用、开放等各环节保障网络安全的范围边界、责任主体和具体要求，切实加强对涉秘信息的保护。

2）提高大数据建模能力，培养人才队伍

数据建模是大数据分析的核心，各业务板块复杂的业务分析都离不开根据业务特点建立的数据模型，使管理者决策由单纯依靠经验判断向数据定量分析转变。各业务领域应培养大数据建模人才，明确业务上需要分析预测的问题，基于传统数据挖掘、统计分析理论构建面向问题特征的大数据分析模型和算法，丰富大数据分析平台的模型库和算法库，形成知识资产[5]。汇聚IT、业务、数学建模等方面的专家，组建数据分析共享服务机构，为各业务领域大数据分析提供集中的技术服务。

3）充分利用开源工具，形成自主知识产权

在信息技术发展趋势中，开源已经成为IT创新的源泉。其中Hadoop已成为成熟的大数据处理体系，Spark是近两年来崛起的并行计算框架，具有内存计算能力，Mashout成为机器学习经典算法的有效工具，R语言是统计分析领域的新生力量。企业在开展大数据项目过程中应充分利用这些开源工具，打造具有自主知识产权的解决方案，既有利于避免技术上受制于人而时时处于被动地位，又能培养自己的信息化人才队伍，提升核心竞争力，特别是有利于保护核心业务数据安全，防止涉密数据外泄。

4）构建统一的大数据分析应用平台

从需求分析出发，从顶层进行设计，构建统一的大数据分析应用平台。依托云平台和数据中心，构建大数据存储管理服务基础设施。不断融合信息门户、社交网站等渠道的信息形成大数据知识互动和共享平台。基于Hadoop技术生态体系及人工智能模型持续完善业务分析平台，支持各级石油管理者定制化应用及业务创新，形成具备自生能力的系统，适应油气业务发展及需求变化。

5　总结

随着大数据技术、物联网技术在各行各业不断创造商业奇迹，数据的价值正在被社会重新定义。油气公司应用大数据分析技术对数据资产中蕴含的潜在规则、商业机会、隐性知识进行价值挖掘，帮助企业优化生产管理模式，提高经营决策的科学性具有重要意义。在油气上下游产业链部署统一的大数据分析平台需要统筹规划、顶层设计。其中数据治理是项目成功的重要基础，需要通过元数据管理等工具构建企业数据架构体系，完善数据架构管控措施，实现数据、流程的标准化和体系化。大数据分析的核心是大数据模型的建立和应用，决定了各业务领域应用大数据分析的定制性和创新性，因此对同时具有数据知识和业务知识的技术人员进行持续的培养及组织的发展是构建自我完善、自我升级的大数据分析平台的持久动力，也是平台深化应用的关键。

参考文献

[1] 党倩娜, 罗天雨, 曹磊. 多维视角下大数据领域技术创新演进、前沿与特性[J]. 科学学与科学技术管理, 2015, 36(8):50-60.

[2] 高志鹏, 牛琨, 刘杰. 面向大数据的分析技术[J]. 北京邮电大学学报, 2015, 38(3):1-12.

[3] 官思发, 孟 玺, 李宗洁, 刘扬. 大数据分析研究现状、问题与对策[J]. 情报杂志, 2015, 34(5):98-104.

[4] Jiawei Han, Micheline Kamber, Jian Pei. 数据挖掘：概念与技术[M]. 机械工业出版社, 2012.

[5] Sunil Soares, 大数据治理[M]. 清华大学出版社，2014

中图分类号：TP27

文献标志码：A

文章编号：1007-757X(2016)07-0064-04

收稿日期：（2016.01.12）

作者简介：张春生（1982-），男，河北雄县人，中国石油规划总院，工程师，博士，研究方向：油气行业信息技术应用、规划，北京，102206郭长杰（1978-），男，日照市人，中国石油规划总院，工程师，研究方向：油气行业信息工程，北京，102206尹兆涛（1980-），男，潍坊人，中国石油规划总院，工程师，博士，研究方向：油气行业信息工程，北京，102206

Research on Application of Big Data Analytics in Oil and Gas Industry

Zhang Chunsheng1,2, Guo Changjie2,Yin Zhaotao2
(1. Renmin University of China, Beijing 100872, China; 2. Petrochina Planning and Engineering Institute, Beijing 100083, China)

Abstract:To meet the demand of mining implicit rules and business opportunities from data to optimize production and support decision making in oil and gas industries, the current situation about application scenarios and infrastructure of big data analysis in domestic and foreign oil and gas companies is analyzed. Based on the solutions of popular vendors and the application demand of big data analytics in our country, the unified big data analytics platform of oil and gas is designed, and relevant recommendations in terms of big data management, organization and independent development for oil and gas companies to deploy big data analysis are proposed.

Key words:Big Data analytics; Oil and Gas; Modeling; Internet of Things; Cloud