大数据技术背景下石油数字化平台设计

姚爽

（中国海洋石油国际有限公司 北京市 100028）

目前，随着大数据技术的崛起，社会各领域对于其技术依赖性愈发强烈，尤其是它颠覆了传统的生产管理模式，极大地提升了管理的便捷性和质量效率，对于社会的重要性不言而喻。如今，随着石油产品需求的急剧增加，更应利用大数据技术优势，形成科学、合理、规范的数字化平台，强化信息流通及数据应用，挖掘大数据技术的深刻价值，从根本上实现动作效率及决策质量的升级。石油工业数字化平台设计，通常以实现业务融合管理为主，以数据指导业务为主要模式，通过多个业务板块的串联及融合，持续改善和创新石油管理体系，建立更具创新优势的数字化平台。

1 大数据技术在石油工业的应用背景

大数据属于信息时代的产物，要想发挥其中所蕴含的巨大技术能量，则必须要配合科学的处理模式，以此来彰显其极强的决策力、洞察力及管理力，将大数据信息快速转化为海量、高效、多样的信息资产。同时，大数据技术的战略意义并不在于过度掌握数据信息，而是能够从中挖掘出其价值，再实施专业化的数据信息处理，赋予企业数字化平台的信息加工能力，并通过“加工”实现数据的“增值”。事实上，依据目前的发展需求及形势，石油工业在面临复杂的环境时，对于大数据技术下的石油数字化平台，具有较强的依赖性。

从根本上看，石油工业仍然属于传统生产型行业，一方面是随着时代的变迁，社会对于石油工业的需求也在持续发生着改变，如从早期的照明、取暖等，到日常生产中的化学纤维、化工产品，再到如今的交通运输等转变，无形推动着管理的变革。另一方面，随着油气勘探与开发水平的变化，由早期的人工勘察到声光电磁等技术应用，再到数字化二维、三维模拟技术，实现了技术层面的革新。现阶段，利益于大数据技术的诞生和应用，逐步构建了“大智移云”的技术融合形态，石油数字化平台更具备了应用价值，通过数字化及智能化的创新，以推动我国石油行业的高质量发展。

2 大数据技术下石油数字化平台的基本特点

石油数字化平台的开发及应用价值在于，能够有效提升石油工业的管理效能，适应大数据技术的时代特征，逐步通过技术的优化与应用，推动管理与需求上的平衡。具体而言，石油数字化平台应具备如下特点：

（1）分类管理结构。石油工业所涉及的管理范围众多，因此需要实施分类管理结构，以满足不同的管理需求，在数字化平台的构建中同样要通过网络设备、服务器、数据库及应用软件等，通过大数据技术进行衔接和设计，以解决好平台的功能应用问题。

（2）即时性与高效性。大数据技术的优势是能够提升管理效率，解决传统管理模式中缺乏时效性和便捷性的问题，同时通过各类创新功能的融入，极大地优化管理渠道和能力，实现各类管理资源的分配与整合，实现科学合理的监控及管理。

（3）灵活性和扩展性。伴随石油业务的发展，大数据技术将发挥着重要的衔接功能，这便要求在数字化平台的应用中，必须要具备良好的灵活性及拓展性，以满足不同层面和环节的工作要求，如增加与上下游厂商之间的合作平台整合，提升大数据信息资源的挖掘，形成互联互通、相辅相成的机制。

（4）可靠性和安全性。在网络信息时代，数据信息可靠性与安全性极为重要，在数字化平台的构建中，应当以此为基础和重点，展现数据信息的管理优势，确保各类数据信息的安全，最大程度地发挥出数字化平台的效能。

3 基于大数据技术的石油数字化平台设计

3.1 石油数字化平台的结构设计

针对于石油工业的发展特点，为适应大数据背景下的管理诉求，部分石油企业开始融入数字化平台，如中石化所部署Hp-Openview 监控管理系统等，通过管理平台的改进和完善，使其发挥出重要的协同管理职能。通常而言，石油数字化平台的管理主体包含硬件设备、系统软件、互联网及安全系统等，借助大数据技术构建便捷、安全、完整、高效的管理体系，以确保各个管理层面的有序运行，其基本结构框架如图1 所示。

图1： 石油数字化平台结构框架

根据以上石油数字化平台的结构看，旨在通过各业务之间的衔接，实现大数据基础上的信息数据融合管理，大幅提升企业的管理效率，并实现管理成本的压缩，运用相应的技术工具加以推动，达到大数据技术应用的实效。同时，基于数字化平台结构框架的优势，将大幅改善传统的石油系统平台瓶颈，实现事件管理、配置管理、变更管理、服务等级管理、帮助台管理等融合应用，依托统一的管理平台及报表系统，极大提升管理的可操作性和便捷性，及时反馈相关的数据信息以供决策，全面提升石油数字化平台的管理效率，使大数据技术的优势全面发挥，有助于石油行业的整体迈进。

3.2 石油数字化平台的功能需求

3.2.1 监控管理功能

监控管理是大数据技术的关键所在，也是石油数字化平台的主体之一（如图2）。在数字化平台的设计中，必须要赋予其突出的位置，实现对种类信息数据的实时监控和管理，及时掌握石油管理信息和实际需求，进一步提升石油生产管理效益，不断适应新时代背景下的管理需求，具体来说可以应涉及三个领域的监控管理：

图2： 平台监控管理

（1）网络监控。石油工业属于庞大的能源体系，其在监控管理中具有结构复杂的特点，因此对于数字化平台的构建及完善需求极为迫切。在具体的功能设计上，应当以网络运行状态为核心，及时发现和洞察管理中存在的问题，包括网络拓扑结构自动发现、网络节点流量数据采集、网络链路带宽的使用情况等，以掌握数字化平台下的管理需求。当出现异常情况下应具备告警功能，以帮助技术及管理人员及时发现和处理。

（2）服务器监控。服务器是数字化平台的管理中心，应根据实际需要设计事物告警、关键进程服务、性能数据、系统日志等功能，建立起全方位的运维管理机制，在实际管理中发现性能阈值时，能够及时生成相关信息以反馈至管理层级。依托对服务器的有效监控，使数字化平台及时发挥管理作用，便于为管理者提供科学的决策依据，打造及时、高效、便捷的服务机制。

（3）数据库监控。目前，常用的数据库以Sql Server 和Oracle 两大类为主，在石油数字化平台的构建中，均应对数据库的内存、I/O 性能、用户连接数、数据库表空间等指标实施监控，具体可以由终端用户、模拟用户向互联网发起访问，通过防火墙功能、交换机数字交换、负载均衡及Web服务器，由应用服务器终端实现数据库访问，建立相对完善的管理流程，全面实现对数字库的监控，保证种类信息数据的完整，并确保数据库应用的有效性和安全性。

3.2.2 服务流程管理功能

为满足石油数字化平台服务功能，应建立电子化、规范化、可视化、统一化的平台体系，通过对大数据信息的挖掘和处理，以达到流程系统集成的目标。通常而言，实现各项活动环节之间的衔接，需要落实好同步监测及聚齐式指挥，增强服务台与用户间的连接，提升平台服务的质量，降低在管理中的成本支出，具体涵盖事件、问题、配置、变更、发布、服务级别及知识管理模块，如图3 所示。

图3： 服务流程管理

根据石油数字化平台的服务特点，数字智能挖掘属于重要的内容之一，应用海量数据挖掘、分析及处理功能，能够实现服务功能的不断优化。基于大数据、云计算及物联网等优质技术，提升石油数字化平台的服务流程优化，符合智慧化管理的要求。在本平台的设计框架中，重点在于数据信息的挖掘，涉及数据统计、模糊数学、神经网络、数据库、粗糙集、模式识别等诸多技术，以完成石油数据分析、数据统计、数据存储、智能分析和风险识别等任务。

3.2.3 配置管理数据库功能

配置管理数据库（CMDB）旨在通过对各类配置信息的管理，以建立集中监控系统服务模型，实现告警事件的关联、过滤和压缩。在石油数字化平台中，该功能能够实现对各类系统的有效支撑，增强平台服务的可靠性和安全性。另外，实施统一的CMDB 能够有助于信息的整合与修改，针对各个程序标准进行判断，保持平台运行的科学性。其基本结构如图4 所示。

图4： CMDB 基本结构

同时，CMDB 与服务流程管理之间相互关联，通过各类数据信息的整合处理，为服务流程提供充实、准确、全面的配置数据，管理人员可以利用CMDB 数据进行问题定位，以满足各类信息数据的需求。

3.3 数字化平台模块设计实现

3.3.1 应用数据收集与数据仓库模块

在石油数字化平台的实际应用中，丰富的功能模块是极为关键的支持，其中涉及海量的信息数据，为管理决策提供充足的依据。在应用数据收集与数据仓库模块中，系统功能的发挥离不开对信息的依赖，无论数据信息类型是实时数据还是离线数据，均需要由大数据平台实施分析。如将HDFS 文件导入系统中，再利用历史数据与中间结果间的衔接，从而为关联模块提供丰富的数据，如数据中间结果的可视化、结果的多次查看等。

具体而言，应用数据收集与数据仓库的作用体现在多个方面，包括实时数据收集、油田业务结构数据收集等，并依托数据仓库作为基础载体，将HDFS、HBase 或Hive 纳入信息管理平台。

一方面，实时数据采集。在石油数字化平台的运行中，将源源不断地产生不同的海量数据，为实现数据信息的有效处理，以及改善数字化平台的功能性，应当对所生成的日志信息加以收集处理，利用Flume 模块实现日志的实时监测，了解实时的信息数据变化，并通过数据仓库生成相应存储渠道，为后续的数据处理提供支持。

另一方面，结构数据采集。在石油数字化平台应用之前，企业往往采用关系型数据库、txt 文件或Excel 等完成数据收集工作，而在云计算模式之下，可大幅提升数据收集的实效性和精准性，在数字化平台的应用过程中，能够形成完整的数据收集架构，利用数据信息的快速转化，将传统的数据库形式导入HDFS/HBase/Hive，由用户通过Web 页面填写SQL 语句和数据集描述等信息，以完成相关数据的获取和管理。

3.3.2 平台任务管理模块

任务管理模式的功能在于执行用户所创建的任务，由任务状态查看、提交和取消任务、各阶段数据可视化等。在石油数字化平台的呈现上，通常该任务平台由基于于Oozie 工作流调度引擎来实现，具体是由用户在Web 界面操作任务请示，由JOB ID 信息向Oozie 传递至平台，再调用Spark相关接口执行任务。同时，依据用户对任务请求的需求，可调动Backend 的Receive Offers 函数实现与底层YARN 资源调度系统交互，同时调用status Update 接口实现任务状态的更新。此外，用户还可对Spark 任务进行状况查询，从平台反馈中了解任务的完成情况。

3.3.3 离线任务处理模块

离线处理是石油数字化平台中的重要功能模块，主要用于满足用户对于历史数据的提取和分析，在离线任务处理模块中通常由于Spark 实现对RDD 算子的转换，利用相应的数据处理算法实现油田数据处理。

4 基于大数据技术的石油数字化平台发展趋势

在大数据技术时代，各类技术应用已经成为石油工业的必然选择，尤其是针对于全过程管理领域，更提出了现高的应用需求。在未来的石油数字化平台设计中，为适应全新的变革与管理标准，应当侧重于四个方面的发展。

（1）加强布局数字化战略，由石油企业决策者强化数字化意识，将数字化平台建设纳入核心体系，明确企业转型发展管理目标，利用数字化平台形成扁平化管理结构。

（2）全过程数据管理与共享，即利用大数据技术应用优势，增强信息技术、虚拟技术、人工智能、工业机器人等技术融合，逐步拓展数字化管理途径和方法，改变传统的数据信息管理模式，提升石油工业信息管理集成度，构成共享服务目录、数据按需授权和全局共享。同时，利用业务模式、业务流程、企业组织等层面变革，切实形成更强大的大数据技术驱动力，为企业及用户带来优质的服务体验，竭力创造数字化平台的价值。

（3）业务应用全线上协同，打破传统管理中各自为政的模式，加强各个子公司、部门及岗位间数字化衔接，形成定制化的数字化平台服务体系，打造线上业务的协同结构，确保企业在管理中建立统一标准，实现数据信息资源的价值挖掘。

（4）构建资源共享与一体化运维平台，借助大数据技术中的自动化、智能化管理，进一步提升管理数据应用能力，实现更高层面的资源共享。

5 结语

综上所述，随着大数据技术的持续发展，石油工业迎来了宝贵的转型契机，企业应当适应环境的变革，将技术优势转化为管理优势，借助石油数字化平台的设计开发及实践应用，逐步形成更加高效、便捷和安全的管理体系，推动行业的自动化、智能化发展。另外，从石油工业的发展角度看，大数据技术中蕴含着丰富的价值，对行业的发展推动作用极为突出，应当不断强化信息时代下的优势功能，打造一体化的数字管理平台，提升数据组织与处理能力，实现管理能力与业务需求的契合，进一步改进数据操作服务性能，提升石油企业数字化水平和价值创造能力。