论数据要素资产化发展中的数据质量

2021-01-12周志凯

数字通信世界 2021年12期

周志凯，张超

（杭州数政科技有限公司，浙江杭州 310012）

1 数据质量在数据要素资产化发展中的作用

1.1 数据要素的内涵和特征

2020年3月，国务院印发的《关于构建更加完善的要素市场化配置体制机制的意见》将数据正式纳入主要生产要素的范畴，数据与土地、技术、劳动力、资本并列为生产要素。数据成为我国新型生产力，提升数据要素质量，发挥数据要素价值，培育数据要素市场，对于我国经济高质量发展具有重大意义[1]。

数据要素具有如下特征：

（1）非排他性。排他性是指当一个主体在使用一个生产要素时，其他主体就不能同时使用。对比传统的生产要素，数据具有非排他性的特征，即数据可以被多个主体同时使用[2]。

（2）时效性[3]。与传统生产要素相比，数据要素具有较强的实时性。在一定时间内，数据是一种的资源，而过了特定时间点后，该数据可能就不是资源或者使用价值大幅降低。

（3）强渗透性[4]。数据要素与传统生产要素相互渗透融合，发挥全要素生产的乘数作用，推动国民经济发展。数据要素凭借其高度的流动性、无限的供应量，辐射到各生产部门，与传统生产要素结合。数据要素结合互联网技术，与其他传统要素相互补充，提升传统生产要素使用效率，对经济增长产生乘数作用，为经济发展注入新动能。

1.2 数据质量在数据要素资产化发展中的作用

目前，数据已经成为我国国民经济发展的战略资源，数据的质量在数据要素的资产化发展中起到关键的作用。数据要素形成资产必须基于一个重要前提：数据质量。高质量的数据是数据要素产生价值的基础，数据要素的质量高低决定了数据的价值大小。只有确保数据的质量规范，才能进一步促进数据要素的价值形成，并逐步推动数据要素的资源化，在数据要素形成资源化的基础上，才能逐步达成数据要素的资产化。数据质量的好坏直接决定数据的价值，没有高质量的数据，数据的价值将无法确认，无法确认价值的数据就无法形成数据资源，进而数据要素的资产化发展将无法形成。

2 数据要素资产化发展中存在的数据质量问题

2.1 数据质量问题对数据要素资产化发展的影响

在微观层面，数据质量的不合格将导致企业作出错误的数据价值分析，进而造成经济损失。在中观层面，低质量的数据将会对产业内的主体造成数据要素价值的传导错误。在数字经济快速发展的背景下，各个行业中产生的数据规模持续增长，但这些海量的数据因其质量问题，无法真正发挥数据本身的价值。在宏观层面，低质量的数据将会制约国家的经济发展。国家顶层缺乏统一的数据标准规范，各行业数据质量存在较大差异，使得国家宏观层面决策分析数据时需要大量预处理，甚至某些国民经济的运行情况无法被准确评估，无法有效助力国民经济稳健发展。

2.2 数据质量问题产生的原因

2.2.1 技术层面的原因

在技术层面上，由于企业和政府不同主体采用的数据库系统在技术设计上存在问题，导致了数据质量问题。具体表现为以下3点：

（1）顶层设计本身存在缺陷，导致数据源本身就存在质量问题；单数据源实例层的重复冗余、数据空值问题；多数据源模式层的命名冲突；多数据源实例层的时间不一致、数据重复问题。

（2）针对元数据、主数据等方面的规范设计，各行业、企业存在差异性，导致多源数据归集到一起时，所呈现出的数据质量存在较大纰漏，需先行进行预处理。

（3）整个行业上，针对数据层存在大量的工具和平台，各大厂商也均有自行开发的非开源项目，平台本身也存在兼容性、时效性、及时性问题，所产生的业务数据从结构上存在差异、造成业务上不精准。

2.2.2 流程层面的原因

在流程层面上，由于企业和政府不同主体在业务流程中存在错误，导致了数据质量问题。主要表现为以下几点：

（1）数据的创建过程中，因为数据录入不规范，导致了数据的不完整。

（2）数据的传输过程中，由于数据传输对接、传输文件格式错误存在缺陷，导致了传输文件无法识别、传输数据缺失。

（3）数据的加载过程中，由于数据抽取流程不规范、转换流程存在缺陷、数据加载流程错误，导致了数据的丢失、无效。

（4）数据的使用过程中，缺乏标准流程管理，导致了数据的不准确、不一致。

2.2.3 管理层面的原因

在管理层面上，由于企业和政府不同主体存在管理机制方面的不完善，造成了数据质量问题。主要表现为以下3点：

（1）缺乏数据管理意识。管理层缺乏数据思维，对于数据管理存在认知问题，没有明确的数据管理规划，没有全员参与管理的意识，导致数据管理割裂。

（2）缺乏统一的管理规划。管理层内部缺乏统一的数据管理规划，没有明确的数据质量目标，没有制定规范的数据质量相关制度。

（3）缺乏专门的数据管理部门。管理层内部缺乏专门的数据管理部门，没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责。

3 数据质量问题的解决途径

3.1 构建数据治理体系框架

以往单纯依靠技术手段，以建设系统的方式难以有效解决数据质量问题。构建多层次的数据治理体系并保持治理体系长期运营是解决数据质量问题的有效途径。

数据治理体系是一个多主体参与的、复杂的系统工程，应采用规划先行的原则，制定合适的治理战略和体系框架，选择可行的技术方案和实施工具，明确数据治理的工作机制和工作内容，稳步推进数据治理各个阶段工作。

多层级的数据治理体系的框架，包含了企业的战略、治理流程、治理技术和数据生命周期管理等8个部分。

3.2 数据治理体系是解决数据质量问题的有效途径

数据治理体系是一个多主体参与的、复杂的系统工程，涉及企业和政府的管理层的顶层架构设计、数据流程体系与数据技术标准体系和管理考核体系等多方面的工作。一个完整的数据治理体系应该由企业和政府的管理层面制定清洗的顶层设计和规范合理的治理制度，治理体系还需要高层领导的大力支持和推动，技术层面保持治理技术的不断更新迭代，业务层面需要制定规范的业务流程，培养所有参与主体的数据管理思维和全员参与数据治理的意识。

建立“技术—流程—管理”三层级的数据治理体系是提升数据质量的有效手段。在技术层面上，建立业务协同、规范数据质量，提升部门数据处理和分析能力；在流程层面上，优化业务流程，建立业务协同机制，规范人员操作；在管理层面上，制定清晰的顶层设计和规范的管理制度、强化全员参与的数据治理思维。通过建立三层级的治理体系，有效提升数据要素的质量。

3.2.1 在技术层面上，使用迭代的治理技术提升数据质量

（1）针对顶层设计层面的问题，需要开展自上而下的系统工程，尽量与行业标准规范保持一致，统一应用数据标准规范，从源头上进一步提高数据质量。

（2）针对数据源本身的问题，数据治理体系中的数据清洗系统是解决多源异构数据标准不一问题的有效途径。在数据库中利用数据清洗技术，依据定义的清洗规则对问题数据进行更正。

（3）针对平台差异性，在开展平台新建或扩容时，尽量选用同一体系架构的工具和产品；针对实时性问题，通过数据采集系统，使用实时数据分发服务（DataHub）对各类数据进行持续不断的采集，并通过更多的大数据实时计算能力工具，提高数据的处理能力，加强数据传输时效性。

3.2.2 在流程层面上，构建规范的业务流程提升数据质量

（1）针对数据创建流程问题，一方面，强化数据的创建流程管理，从数据的创建源头管理好数据质量；另一方面建立数据全生命周期的全流程监控，对数据的新增进行审核，并对流程全程跟踪。

（2）针对数据的传输流程问题，标准的传输流程可提升数据质量。在业务部门与技术部门进行数据对接时，参照数据传输规范明确数据对接需求，建立数据对接清单。

（3）针对数据的加载流程问题，通过规范的数据库质量规则，在数据库进行数据抽取-转换-加载流程时，严格执行数据库质量规则，并建立全流程跟踪监控。

（4）针对数据的应用流程问题，构建全流程监控机制。在每个应用流程中设置管控点，明确每个管控点的管控目标，强化数据质量预警机制。

3.2.3 在管理层面上，制定合理的管理制度提升数据质量

建立专业的数据管理体系和制度，明确数据管理的权责，制定数据问题的管理流程，规划企业的数据治理战略和实施路径，分解数据治理体系各阶段工作的目标，建立标准的考核机制，培养全员参与数据管理的数据思维。

在数据治理体系的建设过程中，由企业的管理层作为牵头部门，技术部门和业务部门要做好相应的权责分工。