基于标准化的油气能源企业数据治理研究

2022-12-21翁瑜卿

信息记录材料 2022年10期

翁瑜卿

（中海油能源发展装备技术有限公司天津 300452）

0 引言

目前数据作为生产要素，已经获得官方的认可，国家在政策层面大力推动数字化产业的发展，明确要求政企加快数字化转型、数据治理等工作。国务院颁布《关于加快推进国有企业数字化转型工作的通知》中，要求国企加快集团数据治理体系建设，明确数据治理归口管理部门，加强数据标准化、元数据和主数据管理工作，定期评估数据治理能力成熟度等。对于油气能源企业而言，拥有庞大的数据体量，数据分类的复杂度高，数据的专业性强，亟须通过数据治理，建立覆盖面广的数据标准、数据规则，提高数据质量，实现数据对象全生命周期管理。

1 数据治理现状

1.1 数据治理定义

关于数据治理有多种定义，在中国通信标准化协会发布的《数据治理标准化白皮书》[1]中，将数据治理定义为通过法律法规、管理制度、标准规范、技术工具等一系列手段，面向个人数据、企业数据、政府数据、公共数据等不同类型数据对象全生命周期开展有效的管控，以满足企业管理、行业监管、国家治理、国际协作等场景下数据应用的要求[2]。

《“十四五”大数据产业发展规划》[3]要求围绕数据全生命周期，提高数据质量，打造分类科学、分级准确、管理有序的数据治理体系。并设置数据治理能力提升行动，引导企业贯标、鼓励标准研究、加快重点标准研制、加速国际标准化进程。

1.2 油气能源行业数据治理实施面临的困难

目前油气能源公司大部分已经开展数据治理工作，在数据治理实施过程中，普遍遇到的几大问题：

（1）数据标准不统一

由于分属于不同的集团公司，国内各油气田当前阶段其生产运行过程中所配套应用的各类数据管理与软件系统也多种多样，由于不同的数据与软件系统其针对数据的管理遵循不同的标准，因此，数据呈现海量且杂乱的现象就成了国内各油气田目前阶段数据的一大显著特点，在生产中也出现了不同油气田之间开展相关业务时出现了数据标准不统一、不匹配的问题，不得不再通过相关的软件及数据处理系统进行数据的转移与转换，给企业数据安全及数据利用效率都产生了诸多不利影响[4-5]。

（2）数据源头界定不清

油气能源行业专业性较强，涉及勘探、油藏、工程、建造、交付、运营等，在现有的环境下，每个环节都有自己的全生命周期管理系统，而各个系统极大概率会采集同源数据，该数据分布在各部门的数据系统中，这些复杂重复的数据，给数据清洗带了非常大的难度，导致许多数据治理系统中定义的数据源头界定不清。

（3）数据采集效率低

数据采集依赖于采集工具或采集系统，采集工具或采集系统的效率大大制约数据时效性，以及数据维护团队人力资源的投入。由于油气能源行业的特殊性，许多数据源头采集现场，受到网络硬件资源，采集工具或采集系统的限制，许多数据源头采集仍然由线下暂存，后续补录的方式。这样势必造成数据时效性低，数据出错率高，数据采集人力资源投入量巨大的问题。

（4）数据治理人才匮乏

数据治理的实施，针对油气能源行业而言，数据治理团队不仅需要掌握数据采集工具、数据采集系统的了解，更加需要对涉及业务领域的专业数据拥有深入的理解。目前许多能源公司，通过委托外部数据公司的数据治理团队，对公司各部门进行数据治理实施，但是介于能源行业的特殊性，许多数据是跨部门或者重叠产生，或者有专业关联关系的存在，仅依靠通用数据治理人才，数据治理的实施将是事半功倍，拉长完成数据治理的周期。目前的情况而言，亟须具备通用数据治理知识及业务领域知识的复合型人才。

2 油气能源行业数据治理的研究

2.1 油气能源行业数据特点分析

（1）数据的“隔离性”，数据均来自独立物理隔离的信息系统或者是专业系统，各自都成了数据孤岛。

（2）数据“多模态”，油气系统数据来源多样，结构复杂。除生产过程中仪表所采集的温度、压力、流量等时序数据之外，还包括地质数据、勘探数据、专业井控数据等。

（3）数据的“关联性”。油气系统复杂，内部系统多，导致系统关联度高，生产状态数据互相影响，或者因果关系，导致一处系统的数据采集错误，势必导致关联系统出现问题，因此，内部系统数据关联度极强。

（4）数据的“高通量”。实时设备检测传感器众多所采集的时序数据具有内部设备多、测点多、频率高、吞吐量大、连续不间断的特点。数据带来巨大的存储成本，还存在衔接不连贯、标准不统一、数据不对称、无效数据等质量问题，无法为数据分析提供有效接口，如何提升数据价值密度、提高数据挖掘效率是现阶段亟待解决的问题[6]。

（5）数据的“重复性”。油气项目涉及多部门衔接执行项目，因此在数据移交时，对数据质量的要求非常高，必须经过审核或者第三方审核过的数据，才能够进入下一个流程环节，然而各个部门在对数据采集方面，又存在重叠的工作，移交后的数据，无法在接收部门进行很好的管理，导致接收部门在自主系统中，仍然对重复的数据进行采集。

2.2 油气能源行业开展数据治理案例的研究

根据对目前某油气能源行业公司开展数据治理实施的研究，该公司由集团设立数据治理总部，各子分公司建立数据治理分部。首先由数据治理总部建立统一的标准及规范。

2.2.1 数据治理标准及规范制定

（1）数据标准制定，数据治理总部对现有整个油气项目业务进行顶层分析及设计，明确业务部门划分。由各部门分别成立数据治理部门团队，各部门分别对各部门原有的元数据，主数据，及业务数据进行第一次清洗，并汇总，汇总至数据治理总部，由总部数据治理团队及各部门专业人员一同，对汇总数据进行第二次清洗，重复数据剔除，跨部门数据疑问澄清等。完成元数据，主数据，及业务数据标准的编制，标准成果通过总部审核。

（2）数据采集规范，首先，从业务规范角度，以数据标准为基础，由部门对数据标准与采集数据进行映射，确定源头采集数据与数据标准的数据逻辑含义一致，确保采集单位，采集内容，采集时间等信息的完整。其次，管理规范流程中，确定源头采集数据对应的业务人员及划分，落实数据采集岗位人员，审核岗人员等。再者，由于业务数据的产生存在时序关系，在采集规范中确定业务流程中各采集步骤的时效性，并且采集岗人员需使用采集工具对采集数据进行核验后，再进行系统上传。各自部门根据自有业务流程，制定各自部门的采集规范后，交由数据治理总部进行汇总（见图1）。

图1 数据采集规范结构图

（3）数据质量标准，对采集数据实施多级数据审核，确保上线数据的规范性及准确性。在数据用于决策时，保证数据的时效性。在数据综合分析应用时，保证数据的完整性。在数据逻辑关系中，保证数据的一致性。因此数据质量不仅要保证数据的准确性，也要保证数据的规范性、完整性、时效性、一致性，才能构成一条高质量的数据（见图2）。

图2 数据质量属性图

其次，在数据治理标准及规范的基础上，确定数据治理工作范围及目标。

2.2.2 数据治理工作范围及目标

（1）管理制度的制定：明确企业中各部门岗位职责的划分，治理制度和流程制定，由数据治理总部决策，建立数据责任制及考核机制，增加数据采集岗位人员的积极性。

（2）数据治理范围：明确企业数据治理的对象，数据治理的范围，数据治理的数据深度。

（3）数据治理技术路线：明确企业数据治理技术路线，优先考虑我国拥有自主知识产权的技术产品，避免西方的卡脖子问题。打通各个系统间的隔阂，实现有效高速的数据共享通道，建立数据治理主系统。

（4）数据治理成熟度评估：需定期对企业的数据治理效果进行评估，根据GB / T 34960.5—2018《信息技术服务治理第5部分：数据治理规范》[7]中，为了促进组织有效、高效、合理地利用数据，有必要在数据获取、存储、整合、分析、应用、呈现、归档和销毁过程中，提出数据治理的相关规范，规定了数据治理的顶层设计、数据治理环境、数据治理域及数据治理过程的要求，从而实现运营合规、风险可控和价值实现的目标。

GB / T 36073—2018《数据管理能力成熟度评估模型》[8]适用于组织和机构对内部数据管理能力成熟度进行评估，给出了数据管理的8个能力域、能力成熟度评估模型以及成熟度等级，该标准取得了广泛的关注和认可，为企业的数据管理能力提升提供了重要路径和关键手段。构建工业大数据管理能力评估体系，提升企业的数据管理能力，验证数据治理效果[9]。

（5）数据治理目标：按照企业数据标准和采集规范，实现各分公司，各部门内的数据达到数据治理的效果，确保主系统中的数据拥有五大属性（见图2）。数据治理后的数据有效地帮助企业实现真正的大数据分析及大数据应用，实现数据的全生命周期管理，为企业带来真正的经济价值。

最后，在完成数据治理标准及规范制定、落实数据治理工作范围、确定工作目标后，需对信息系统进行相应的改造，以及原有历史数据清洗迁移。

2.2.3 信息系统改造及数据清洗迁移

（1）系统应用性改造，根据数据标准及数据采集规范，对各部门已有业务系统进行分析改造，将数据标准与现有系统数据库数据属性进行对应，排查疑问数据，由专业工程师或跨部门工程师与数据治理团队进行界定，确保疑问数据通过各部门的审核，对数据库数据属性进行修正，完成新的数据模型搭建。业务系统改造完成后，将系统数据共享至数据治理主系统对应数据库中，数据治理主系统实现对各业务系统的信息抽取。

（2）历史数据清洗迁移，由于油气行业数据产生周期较长，历史数据跨越的年份较久，历史数据分为非系统历史数据，系统历史数据。对于非系统历史数据，需要人为进行梳理，录入到数据治理主系统。系统历史数据，分析历史数据是否符合改造后系统，若符合系统要求，则仅需对数据进行核对，无需再次采集。若不符合系统要求，则需对历史数据进行线下数据复核及采集。