数据治理在石油企业中的应用实践研究
2023-01-14马华锋衣博茹
马华锋,马 荣,高 鹏,衣博茹
(1.延长油田股份有限公司吴起采油厂,陕西延安 717600;2.大庆油田有限责任公司第四采油厂,黑龙江大庆 163000)
0 引言
数据是石油公司最重要的资产之一。随着石油企业的发展,油田在勘探开发过程中积累了大量的数据,为石油企业的生产和科研提供了大量的数据支持。但是,它也给石油企业的发展带来了很多问题,即数据资源分散,数据共享困难。为了更好地适应石油企业的业务发展,迫切需要开展大规模的数据治理,使数据更加标准、统一。
随着经济的快速发展,科学技术水平也不断提高,经过多年的数据开发,石油企业积累了一定的数据,但在数据管理的过程中还存在一些不足,亟待解决。数据治理是解决这些问题的数字转换的方式,需要以多种方式来解决数据管理的问题,如组织职责、工作流程和系统规范,解决数据的不一致,最终建立标准化的数据应用标准,提高组织内数据质量,实现数据共享,充分发挥数据资产的价值[1]。
1 石油企业数据治理工程
1.1 数据治理内容
石油企业数据治理的内容主要包括5 个方面,以下就针对这5 个方面做详细分析。
(1)建立数据模型:数据模型包括企业整个业务范围,建立起具有稳定、容易使用等特点的全域统一模型,这也为针对不同应用展开分析打下了良好的基础,在保障机构中也是具有灵活性和扩展性,打破了信息孤岛带来的限制,让数据做到相互连接。
(2)数据质量管控体系:建立起企业级的数据质量管理,可以保证做到对数据质量问题进行全程的追踪、监控,支撑了整个数据质量管理流程,建立起企业中统一数据质量检查机制,为数据质量考核起到辅助作用,保证整个数据更加真实有效。
(3)元数据管理:判断企业中业务领域中的数据资产,做到对企业数据资源做到统一盘查,通过科学有效的机制管理元数据,向开发人员和终端用户提供元数据服务,保证满足用户在业务方面的需求,为企业业务系统、开发和维护数据平台提供支撑。
(4)数据标准:该标准中涉及到多方面的内容,分别是元数据、主数据、参照数据、数据指标标准等。通过建立起数据标准体系,可以保证数据更加标准,管控能力也能得到很大程度的提高,使得数据在应用过程中更加具有一致性。建立标准的控制更新机制,使数据得到不断的补充、完善,更好地支撑业务的开发。
(5)数据共享交换:在统一规则下,在元数据、统一工具下,实现数据的交换、整合、复制以及共享,让不同客户可以享受到在不同项目中的数据需求。不断推进“互联网+油田业务”,为了管理现场的数据,探索出新的技术应用,如区块链技术,保证数据更加的安全可靠,并有序地共享数据。
1.2 数据治理工程解决方案
本次研究中以某石油企业为例。该企业在前两年处理数据中还存在着很多不足之处,然而在信息技术的快速发展下,治理的理念也发生了变化,提出了可以使石油企业发展的有效对策,具体的解决方案是:第一,数据治理以前,要做到整体性分析工程的技术框架,其中涉及到了治理工具、应用的技术、数据池;第二,要给予一定的技术支持,通过这种方式主要是因为数据治理过程中技术的作用是非常关键的。
该企业处理数据中采用的技术是Datist,此技术具有的优点是读写所有数据,在读写能力方面是非常强的。处理相关数据中,借助于Datist 技术,处理的整个过程都能观看到。同时企业对数据处理的方法也是非常多,处理也是非常的优质。例如,在提取数据核心内容的过程中,首先要对数据进行过滤、排序和推送。在Datist 技术处理数据过程中,也可以和GIS 分析功能进行结合,保证数据可以及时、准确地呈现。一体化体系结构中,核心部位就是数据池,整个实施中需要合理地使用虚拟数据库进行处理。数据库越来越多地存储在云端,在云端中的内容非常丰富。常见的数据库是属于一种关系性数据库,包含的格式种类也是多种多样,其中最常用的是Oracle、My SQL。数据池中有存储着多种多样格式的数据,也可以存放一些和数据没有任何关系的文件。在这种体系结构中,不仅是包括了大量的数据池,而且这些数据池都是独立的,相互之间不会产生影响,具有相对强劲的扩张性[3]。
2 数据治理在石油企业中的应用案例和效果
2.1 案例分析
案例选取的是某石油企业开/关日数据总账,该总账在井动态分析中起着非常重要的作用,工作中涉及的数据也非常广泛。例如,开/关井日数据表、油井生产数据表等。这些表基本上集中在系统库A 中,库的数量很大,查询相关数据和记录需要花费大量的时间,从几分钟到几十分钟不等。查询相关数据后,需要扩展各表数据的有效关联,使关井前的生产计算更加合理。在使用这种方式的过程中,会消耗大量的人力和时间,导致工作效率下降,工作的整体质量也会下降。在本研究的过程中,希望能够开展数据治理,更好地保证数据的有效性和真实性。
2.2 方法和操作技术
为了保证数据可以在最短的时间里计算出来,让数据实现实用性,本次研究过程中就需要针对实施中存在的问题进行及时的解决。首先,提高查询速度。如图1 所示,借助于制定出完善的管理制度,通过大数据库中的技术,定期检查报表中涉及到的数据,在网络的帮助下,将所有重要数据合理地同步到数据池中,通过这种方式可以有效提高查询数据的速度,保证在几分钟的时间基础上提高几秒钟。其次,加强对数据自动统计。根据标准化的技术体系,根据Datist 技术,制作完整的数据流(图2)。Datist 技术不仅可以大大提高数据驱动能力,而且整个过程可视化,在过去完成更复杂的项目,需要大量的开发人员和程序员掌握复杂的数据库知识,但随着信息技术的快速发展,使用Datist 数据专家软件尽可能快地设计。最后,呈现准确报表。对数据组织完成以后,Datist 技术就能直接计算出较为准确的报表[4]。
图1 数据模型系统总体框架
图2 使用Datist 技术对石油企业数据进行处理的功能分解
2.3 数据治理工程效果
经过多次实践和研究,该石油企业借助以往的数据管理项目建立了完善的数据池,使一定范围内的问题能够及时得到解决,主要问题是数据共享和集成。针对这种情况,将操作下的数据录入,进行准确的交换和存储,数据录入和查询同步进行,可以有效地提高工作效率,保证数据更加准确有效,也更有利于适应现代石油企业发展的需要。如果建立了完善的组织、管理、技术和治理体系,并开发出了独特的解决方案,那么该解决方案的应用就应该以数据治理工具和数据池为中心。实现数据治理后,可以改变现状,在很大程度上解决数据查询的时间和速度。面对当前的发展形势,借助这种新的治理模式和理念,可以有效开展石油企业的建设,实现大数据在企业中的合理应用,促进石油企业的健康可持续发展。通过设计出符合石油企业发展的数据治理总体框架,并对其中核心内容进行明确,分析数据治理过程中的现状,借鉴国内外企业中针对数据治理的解决方案,最终构建出符合石油企业发展的数据治理体系方案,保证企业数据利用的效率,让企业得到不断的发展[5]。
3 结束语
通过将新技术引入石油企业信息化建设中,可以在很大程度上提高石油企业建设和发展的质量,将数据和业务紧密联系起来。然而这样的背景对石油企业的数据质量也提出了更高的要求,因此企业有必要借助数据管理技术对油田数据进行全生命周期管理,从而有效满足石油企业在信息技术下的发展。数据管理工程及相关信息技术能够在很大程度上促进石油企业的发展,使石油企业的经济效益和社会效益实现统一。