油田中心数据库建设思路与方法
2014-04-29陈建华
陈建华
[摘 要] 中心数据库建设是数字油田建设的基础。本文对近年来部分油田在中心数据库建设中存在的模型问题、数据质量控制问题和管理体系问题进行了分析,结合新疆油田的建设经验,提出了油田中心数据库建设的内容、方法和流程,供油田信息主管人员参考。
[关键词] 数字油田;中心数据库;EPDM模型;知识库
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 01. 034
[中图分类号] F270.7;TP392 [文献标识码] A [文章编号] 1673 - 0194(2014)01- 0063- 03
1 引 言
1.1 中心数据库建设的必要性
国内油田的信息化建设基本上起步于20世纪90年代中期。受认识程度和信息化手段的限制,钻井、录井、测井、试油、采油、集输等业务板块的信息化都是独立进行的,信息化程度也各不相同。这些信息化成果虽然在很大程度上促进了业务的开展,提高了劳动生产率,但也带来一些问题,主要包括:
(1)独立的数据库设计导致业务板块间的数据共享极其困难。
(2)数据标准不一致严重制约了地质研究工作的深入开展。
(3)信息化的不平衡对业务板块间的协调发展造成了一定的障碍。
随着油田业务的深入开展,业务板块间的合作越来越密切,整体的协调发展变得越来越重要。尤其是近年来数字油田概念的兴起,人们更加认识到信息化的平衡性和整体性是油田业务深入开展的关键所在。因此,打破原来独立的、分散的信息化建设模式,采用数字油田的基本思想,建设整体的、统一的信息化格局是未来油田信息化发展不可逆转的大趋势。
建设整体的、统一的信息化体系,基础的工作就是建设油田中心数据库。中心数据库存储所有业务板块的基础数据,向所有业务部门提供全面的、统一标准的数据及服务。各业务板块的应用系统全部架设在中心数据库上,建设原来几乎不可能建设的跨部门、跨专业的综合应用系统将会变得易如反掌。中心数据库建设的必要性和重要性已逐渐被各油田的各级领导和业务部门所认识,分歧的意见逐步得到统一。
1.2 中心数据库建设面临的问题
近几年,国内各大油田纷纷开展了数字油田总体规划和顶层设计工作,为数字油田的全面建设奠定了良好的基础。中心数据库建设基本上都作为一期工程进行了启动,但进展层次各不相同。走在前面的,如新疆油田和胜利油田,已经基本建成了中心数据库,并投入运行。但大部分油田仍处于建设中期,有些则面对很多难以克服的困难,进展缓慢。总体上,中心数据库建设面临的主要问题包括:
(1)数据库模型问题。选择EPDM模型、国外其他应用模型?还是根据自身情况独立设计模型?应该说每种模型都有自身的优势和劣势,这令许多油田信息主管部门犹豫不决。
(2)历史数据兼容问题。各大油田都积累了大量的历史数据,由于标准不同,如何才能保持与新的数据模型兼容?
(3)数据质量控制问题。数据源头在各生产部门的一线班组,操作人员的信息化水平差异很大且信息传输手段受限,如何才能保证入库数据的质量?
(4)管理体系建设问题。在旧的体制下,数据从采集、审核到入库都在同一个业务部门的管理之下,交接关系容易处理。中心数据库需要向所有业务部门采集数据,各环节的管理相对就比较复杂。
任何油田在中心数据库的建设过程中都无法回避这些问题。基于新疆油田成功建设中心数据库的经验,结合其他油田好的思路,本文通过对主要问题的分析,提出一套可供借鉴的中心库建设思路和方法。
2 建设问题分析
2.1 中心数据库模型
中石油EPDM模型是一种面向对象设计的新型的勘探开发一体化数据库模型。从数据组织上说,具有油田数据管理的很多优势,是未来的发展趋势。但其不足也是明显的,主要包括:①各油田的业务存在较大的差异,有的以稀油为主,有的以稠油为主,再加上地质条件千差万别,导致开采流程、工艺措施、集输方法等存在巨大差异。因此,一个统一的模型很难涵盖所有业务特例。②EPDM模型是面向数据仓库的设计思想,适用于数据存储,在数据挖掘方面优势较大,但在应用效率上明显不足。尤其是基于中心数据库构建跨部门、跨专业的综合应用时,由于用户量较大,即使采用强大的服务器也难以获得很高的效率,影响用户使用。
仍采用EPDM模型是大多数油田的共识,也符合中石油集团的信息化发展思想。对第一个问题,基本解决思路是,根据各油田业务的特殊性,进行模型扩展,满足自身需要。这需要业务专家与信息专家的密切结合。第二个问题在实践中也有多种解决思路,采用物理视图效果很好,也可以通过分库的方式减少数据量来解决。
2.2 历史数据兼容
中心数据库模型建好后,面对的第一个问题就是历史数据的迁移问题。由于新旧数据库差异较大,数据直接拷贝过来几乎是不可能的。并且,不同专业对同一类数据设定的标准可能不同,因此,需要分专业设定迁移规则。主要建设思路是:
(1)建立新旧数据表映射关系。新模型和旧模型的数据表不可能是一对一的,一般既有一对多,也有多对一。
(2)建立字段映射关系。一般字段都是一对一的,但也有一对多和多对一的情况。
(3)建立数据迁移规则。由于业务的发展,新旧模型对数据精度的要求可能不同。例如:旧模型里一个字段保留3位小数,新模型里该字段保留2位小数,这就需要对相关数据建立迁移规则。一个字段对多个字段的情况会更复杂一些。
规则定好后就可以编写软件程序实现数据迁移。
2.3 数据质量控制
数据质量控制是针对新数据的采集和入库过程的。好的数据质量是应用系统建设和地质科研工作开展的基础,把好数据质量关责任重大。数据质量包括数据的及时性、完整性、规范性和准确性。数据质量控制的基本思路如下:
(1)建立字段约束规则。设定各字段的合理范围,超出范围则不允许入库,或人工核准后才允许入库。
(2)建立相关字段关联规则。对油田大部分专业而言,一个字段往往与多个字段之间存在关联关系,例如:井号,井别,日期与钻井进尺等。如果相关联的字段值存在矛盾,则不允许入库。
(3)建立历史数据关联规则。新数据与历史数据往往存在密切的关联,例如:同一口井的井号、井别等字段值不一致,当日钻井进尺与前一日的钻井进尺如果存在矛盾或不合理,禁止入库。
(4)建立表间关联规则。一个数据表往往构成一个完整的数据体,某些表与表之间存在完整的相关关系,且又存在相互印证、控制和规范的作用。
(5)建立专业间关联规则。不同专业间的数据有时也存在一定的关联,例如:钻井与录井,测井与试油,采油与集输等。各专业间的入库数据相互联系又独立存在,相互联系的数据必须协调一致。
针对以上规则编写校验软件,随时检查入库数据,提示错误。
2.4 管理体系建设
管理体系包括计划、制度、流程及奖惩措施等。由于整个数据采集、入库过程牵涉多个环节、多个业务部门,因此,管理体系建设不是仅靠信息主管部门就能够完成的,需要多部门的密切合作。主要建设思路是:
(1)建立基层数据采集岗位责任制。包括采集岗位对采集软件的使用权限管理、采集内容、采集时间、上报方式、数据质量检查等规定。
(2)建立数据多级审核机制。数据源单位需要建立三级审核机制,信息管理部门也需要建设数据多层次审核机制。除借助于软件的审核外,专家人工审核也是一个重要环节,因为任何规则都不可能穷尽所有特例。
(3)建立奖惩机制。对于数据质量一直较高的单位应给予一定的奖励和表彰,对质量持续较差的单位给予通报批评。通过鼓励与鞭策,持续提高数据质量。
建设初期难免会存在一些问题,但实现常态化后就可以确保中心数据库的高效运行。
3 建设内容与方法
3.1 中心库模型建设
基于中石油EPDM模型进行中心数据库模型的扩充,首先需要做的就是建立各专业的扩充次序,这需要考虑专业间的业务关联性,也就是上下游关系。过程中需要业务专家、模型专家和数据库专家的密切配合。扩充过程包括如下几个阶段:业务流程分析、数据流程分析、概念模型形成、物理模型形成、SQL脚本编写、数据库实例测试(如图1所示)。
需要明确的是,任何一个专业的中心库模型扩充都不是一次就可以完成的。第一,业务需要反复梳理;第二,其他专业的梳理会发现本专业模型存在的问题;第三,实例化测试会发现问题;第四,实际应用会发现问题。因此,中心数据库模型的建设是一个长期的、不断完善的过程。
3.2 历史数据建设
历史数据是油田宝贵的无形资产,其建设过程需要大量的投资。建设流程应包括如下几个步骤(如图2所示):
第一,应开展应用需求研究。数据建设最终都是为生产服务。通过研究,明确数据的服务目的、服务方式,以及历史数据需求的轻重缓急。
第二,建立电子化管理流程。针对大量的纸质历史数据,制定电子化建设的标准,电子化直接面向新的中心库模型,数据直接进入中心数据库。
第三,建立电子历史数据迁移流程和规范。建立新旧数据之间的转移规范和相关规则,并按新的数据库模型和标准进行一致性和完整性校验。
历史数据建设,尤其是纸质历史数据建设,工作量大、周期长,还涉及数据标准变化的问题,需要分批分期、稳步推进。
3.3 专业规则知识库建设
专业规则知识库用于入库数据的检查和校验,是自动校验软件编写的基础。该库的建设与各专业的具体业务内容密不可分,因此,需要业务专家与数据库专家的共同参与。由于油田业务数据的产生基本来自于生产仪器和仪表,因此,对专业性仪器和仪表的研究是不可缺少的一个环节。此外,还需要研究应用上对数据的需求和精度要求,这也是建立规则的基本依据之一。基于这些规则建立油田业务规则知识库。建设流程如图3所示。
与中心数据库模型的建设一样,专业规则知识库的建设也是一个长期的、不断完善的过程。一方面,各专业的具体业务内容会随着业务的深入开展而发生一些变化;另一方面,仪器仪表也在不断更新换代,精度越来越高。
3.4 软件体系建设
围绕中心数据库的采集、校验和人工审核进行。总体包括3部分内容:①源点数据采集软件,包括数据的录入、缓存、三级审核,以及权限控制等。②自动校验软件,源点发来的数据并不直接进入中心数据库,而是进入一个缓存数据库,在这里进行自动校验。合格后进入专家审查阶段,不合格则退回源点单位重新修改检查。③专家审核软件,各业务专家针对缓存数据库里自动校验通过的源点数据进行人工检查,存在问题则退回源点单位,没有问题则进入中心数据库。总体流程图如图4所示。
软件体系建设与管理体系建设密不可分,相辅相成。管理制度和规范要体现在软件里,而软件的应用又促进了管理体系的完善。
4 结束语
中心数据库建设是数字油田建设的基础,直接关系到后期应用系统建设的成败,其重要性不需赘述。必须从全局着手,通盘考虑,结合油田自身的实际情况分阶段建设。必须认识到,中心数据的建设是一个长期的、不断完善的过程,任何急功近利、急于求成的方式方法都可能造成不可挽回的损失。同时,应多参考兄弟油田的成功经验,尽量避免走弯路。