油田数字化的异构数据源整合与集成技术

2014-03-22梁鸿军李良魏红芳贾刘静

油气田地面工程 2014年11期

梁鸿军李良魏红芳贾刘静

油田数字化的异构数据源整合与集成技术

王娟1；2梁鸿军1；2李良1；2魏红芳1；2贾刘静1；2

1中国石油长庆油田分公司勘探开发研究院；2低渗透油气田勘探开发国家工程实验室

在长庆油田数字化建设中，油田数据整合需要实现3个目标：平台和专业软件间数据交换和共享，成果数据在各种专业软件之间传递共享；提供统一数据接口，平台中各模块调取成果和数据；基于EPDM数据模型主库，迁移专业库数据。针对数字化油田建设中异构数据源的信息提取问题，提出使用数据服务总线（DSB）技术，并给出了以数据总线为基础的异构数据源整合和集成技术方法。这种方法能有效实现油气田勘探开发过程中多种异构数据源的融合、交互，从多种数据源中提取有效信息，为决策提供支持。

数字化油田；数据库；异构数据源；数据服务总线

1 背景介绍

数据服务总线DSB（DataServiceBus）是一种使用灵活的数据整合技术，主要应用在数据采集、数据交换、数据同步、历史数据迁移、数据质量管理等领域，为系统之间的数据同步提供了整体解决方案，能有效解决分散数据同步过程中的数据筛选与清洗。使用DSB技术，可以解决数字化油田的各个专业库之间数据的双向同步问题；提供多种多个油田的专业库同步过程中遇到网络异常的处理方式；确保数据在同步过程中的安全性、完整性。

长庆油田在数字化油田建设中，针对数字化油田建设中异构数据源的信息提取问题，提出使用数据服务总线（DSB）技术[1]，并给出了以数据总线为基础的异构数据源整合和集成技术方法。这种方法能有效实现油气田勘探开发过程中多种异构数据源的融合、交互，从多种数据源中提取有效信息，为决策提供支持。

2 数据整合技术

油气田研究以及开发工程中，异构数据源的整合与集成的目的是为油气田研究决策提供信息查询和决策支持服务。为了实现这个目的，经过整合和集成处理后的油气田数据必须保持数据集成性、完整性、一致性。

数据的集成性是将不同专业的数据、不同业务流程中的业务信息在数据整合、集成过程中，发掘出它们的内在逻辑联系，形成一个有机的、相互关联存储的整体。

数据完整性是在油气田研究的各个业务流程中，提取其他相关的业务流程各个环节的具体数据，用以支撑本业务研究。由于专业数据库资源归属于不同的研究部门，甚至归属不同的油田公司，这些数据库的管理方式不一致，无法统一。因此，在保证数据完整性的基础上，必须设计出整合集成后的综合数据库的统一用户安全管理模式，来保障对原有数据源访问权限的隔离和控制。

数据的一致性是在数据整合中屏蔽了各业务流程中不同数据的访问方式、存储格式等方面的差异，对数据的操作由异构数据整合系统统一进行。因此，整合后的异构数据对于不同油气田的研究人员来说是一致的。

3 用DSB技术实现数据整合

在长庆油田数字化建设中，油田数据整合需要实现3个目标：平台和专业软件间数据交换和共享，成果数据在各种专业软件之间传递共享；提供统一数据接口，平台中各模块调取成果和数据；基于EPDM数据模型主库，迁移专业库数据。

数据整合技术收集来自于不同机构、不同专业软件的信息，提供给不同的用户所使用。长庆油田结合自身数字化建设的特点，采用图1所示结构实现数据的整合。

数据整合技术主要由数据提取模块1、数据处理模块2和数据输出模块3组成。数据提取模块1主要用于提取数据，包括测井库、储量库、其他库及数据文件，向数据处理模块2中提供数据；数据处理模块2包括数据虚拟化，数据虚拟化提供的多源、异构、分布式的数据虚拟化功能，通过DSB实现数据抽取、转换、数据适配，为第三方应用模块3提供数据接口；第三方应用模块3主要用于接收数据，包括综合生产管理系统、油田OA系统、油田HR系统。

图1 数据整合技术结构

长庆油田数据整合技术主要由主数据库和数据服务总线组成。

3.1 主数据库

主数据又称公共数据，包括油田名、区块名、井名、测线号等核心实体数据。针对油气田建设主数据库，可以逻辑关联勘探开发各类数据，实现统一管控和集成应用。

数据库中的关键要素，勘探开发数据结构符合EPDM（中国石油勘探开发一体化数据模型）数据模型要求，模型完整涵盖了石油上游业务流程，能够对井及井筒进行全生命周期的数据管理，涉及专业包括地球物理、钻井、录井、测井、试油试采、地质油藏、生产测井、试井、油气生产、井下作业、井设备、油气集输，共有近千张数据表，两万多数据项。

按照EPDM数据模型建立主数据库结构，并开发现有专业数据库到EPDM主库数据库接口，将各专业数据库中的数据迁移到EPDM模型主库。进行各专业数据库的规范统一化工作，主要有井号的统一、油田区块统一、坐标统一。如钻井数据库、录井数据库、地质综合库中都有井基本数据，需确定数据的唯一性、正确性；建立长庆油田井基本实体库，并按照EPDM模型规范进行井号代码的制定，作为井的唯一标识，便于数据整合服务的建立。

3.2 数据服务总线技术DSB（DataServiceBus）

数据服务总线（DSB）是一项灵活易用的数据集成技术，主要应用在数据采集、数据交换、数据同步、历史数据迁移、数据质量管理等领域。DSB基于数据整合技术和数据虚拟化技术，实现了数据集成和数据即时访问两大功能，可以根据用户的业务需求，快速搭建所需的数据服务平台，为用户提供统一完整的数据融合方案。DSB分为数据连接层、数据处理层、逻辑处理层、数据集成层、数据整合层五层架构[2]。

DSB支持各类数据库数据和不同类型的文件数据，以全量、增量、自定义条件等方式，进行数据的加工、组织与传输。如图2所示，对于来自不同数据库的数据首先经过抽取，然后经过转换、清洗等处理，最后用多种传输方式送到目标数据库中。