APP下载

数据元标准化在航空装备数据治理中的应用

2024-06-03付远祥张驰邢磊张柯尧

中国标准化 2024年5期
关键词:数据治理标准化大数据

付远祥 张驰 邢磊 张柯尧

摘 要:随着我国航空装备产业数字化进程的迅猛推进,航空装备企业内部数据大量累积,各业务部门逐渐出现数据来源不统一、数据不一致等诸多问题,形成了大量的“信息孤岛”“数据壁垒”等现象,给航空装备企业信息化发展带来了重重困难。为从根本上解决以上问题,通过对航空装备数据现存问题进行深入分析,设计规划航空装备企业数据治理框架及实施策略,并从技术层面和管理层面对航空装备企业数据治理实施工作的开展提出了建议。

关键词:大数据,数据治理,数据元,标准化

DOI编码:10.3969/j.issn.1002-5944.2024.05.017

0 引 言

从2019年10月,党的十九届四中全会首次将数据纳入生产要素范畴,标志着现阶段已经进入了以数据为关键核心的数字经济新时代[1];2021年3月发布的“十四五”规划中,大数据标准体系的完善成为发展重点;2022年12月,《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》发布,以数据产权、流通交易、收益分配、安全治理为重点,系统搭建了数据基础制度体系[2]。

随着大数据行业的兴起,数据的重要性不言而喻,数据应用工具也层出不穷,且带来了巨大的经济效益。然而,现阶段“数据孤岛”“数据烟囱”等诸多问题制约着数据应用的持续发展,使得数据治理工作越来越受到各个企业的重视。

现阶段,航空装备相关业务部门为方便各自航空产品论证、研发、制造等全寿命周期过程定义了适合自身的数据应用模式。由于各企业或业务部门建设独立的航空装备产品数据库,使得原本已庞大的数据量急剧增加,数据之间的关系也变得更加复杂,不利于数据的采集、提取、存储、交互、共享和集成[3]。此类问题的存在给航空装备产品的研发、制造、维护等方面带来了巨大的困难,同时也无法有效地利用数据进行应用分析和决策支持。因此,解决航空装备企业数据面临的问题势在必行,通过应用数据元标准化技术,制定统一的数据元标准,并建立航空数据元标准资源库,为航空装备企业数据互联互通奠定坚实的基础。

1 航空装备数据治理面临问题分析

1.1 航空装备数据现存问题分析

随著航空装备企业信息化建设的不断加快,各系统间数据集成和数据共享需求日益突出。航空装备企业在信息化发展过程中,各组织机构部门一般从自身业务立场出发,进行信息系统建设以及数据的生产、使用和管理,并未按照统一的数据标准体系进行统一建设与管理,使得现阶段各企业/部门的信息系统和数据库多为分散建设、自成体系。具体问题主要体现在以下方面:

(1)数据项不统一

航空装备各企业业务信息系统大多为独立建设,各个业务系统间的数据项命名不完全统一,数据项易出现同意异名的情况。但由于航空装备数据具有较强的保密性,使得上述情况在航空装备业务系统的数据模型中较为常见。

(2)数据值域不统一

数据值域用于定义数据的取值范围,航空装备数据因定义维度、采集方式和应用途径的不同,即使在同一数据库中也可能存在同类数据的取值范围不一致或度量单位不统一的情况,将会严重影响数据质量和数据交互集成。

(3)数据分类不统一

航空装备企业各业务部门由于专业性强且隐私要求较高,各部门建设信息系统时往往优先考虑自身应用的便捷性,对底层数据分类并未进行统一规范的管理,进而出现同一类数据享有多类分类标准的现象,将对数据的查询以及系统间数据交互和集成等诸方面造成极大的不便。

(4)派生数据项繁多

航空装备企业各部门由于自身业务交互的复杂性,在建立数据模型时会派生出大量新的数据项名称,同时定义数据项的相关属性,但由于缺乏对派生数据项的统一管理,使得数据属性的冲突进一步加剧。

上述问题的出现其本质原因是各个信息系统建立数据模型时采用的数据标准不统一,导致数据在不同组织部门或机构之间交互共享受限,产生了“信息孤岛”“数据壁垒”等严重现象,因此航空装备企业数据治理工作势在必行。

1.2 航空装备数据治理必要性分析

数据治理是对数据进行处置、格式化和规范化的过程,旨在确保数据的有效性、一致性和安全性。数据治理的目标是实现数据的互通、互信和互惠,使得数据真正能够发挥其价值。在现代企业面临信息化和全球化的大环境下,数据治理扮演着重要角色。

针对现阶段航空装备企业面临的数据问题,数据治理的必要性在航空装备数字化的发展中至关重要。航空装备数据治理必要性主要体现在以下方面:

(1)保障数据质量和可靠性

数据质量是决策的基础,对于航空装备企业尤为重要。通过数据治理,可以对数据进行清洗、校验和完整性验证,提高数据的准确性和可靠性,为决策者提供可信的数据支持,减少决策误差。

(2)提高合规性和安全性

航空装备企业对于数据的合规性和安全性要求非常高。有效的数据治理可以确保数据及其应用过程符合相关法规和标准,并保障数据的安全性,避免数据泄露和滥用的风险。

(3)跨部门协作和集成

航空装备企业数据往往需要进行大量的交互与集成,且通常涉及多个企业、部门或利益相关方,良好的数据治理可以促进数据的共享和交流,实现不同组织之间的协同工作。通过数据共享,可以避免信息孤岛,提高工作效率,优化资源利用,并最终实现整个航空装备企业的协同发展。

(4)业务效率和成本控制

有效的数据治理在提高数据的可用性和可靠性的同时,还能减少数据的冗余和重复采集,降低数据处理的成本。通过数据的整合和分析,可以优化资源分配、提高工作效率,实现成本控制和盈利能力的提升。

航空装备企业数据管理人员应用科学的数据治理方法,从顶层架构设计角度出发,对现有数据采用标准化手段进行高效治理,保证航空装备企业各业务部门信息系统数据的一致性和共享性,提高不同专业领域、部门和单位间协调工作效率和数据交互共享的能力,进一步降低研发成本,并提升数据质量和产品性能。因此,亟待建设科学、高效的数据治理体系,保证航空装备企业数据治理实施工作,进一步形成高质量的数据资产。

2 数据元的基本概念

2.1 数据元的定义和组成

2.1.1 数据元的定义

在GB/ T 5271.1-2000《信息技术 词汇 第1部分:基本术语》将数据定义为:信息的可再解释的形式化表示,以适用于人工或自动方式进行通信、解释或处理[4]。在GB/T 18391.1—2009《信息技术元数据注册系统(MDR)第1部分:框架》将数据元定义为:由一组属性规定其定义、标识、表示和允许值的数据单元[5]。

在信息系统建设过程中,通常认为数据元是不必要再细分的最小数据单元。数据元是可识别和定义的,每个数据元都有其基本属性,如:名称、标识符、定义、数据类型、值域、长度等,如图1所示为数据元基本属性模型[6-7]。通过应用科学的数据元技术,对信息进行有效的分类,并揭示数据对象的内在联系和规律,因而,数据元也被认为是按照一定规则实行结构化的基本数据单元。

科学的数据元技术能够有效解决数据的属性冲突问题,这将为从根本上解决数据标准的统一问题提供途径,同时也为航空企业数据治理提供强大的支撑,使得不同信息系统间能进行高效的数据交互共享与数据集成。

2.1.2 数据元的组成

数据元由以下四部分组成[8-9],数据元组成示例如图2所示。

(1)对象类:现实世界中的想法、抽象概念或事物的集合,有清楚的边界和含义,并且其特性和行为遵循同样的规则,且能够加以识别。例如:飞机、型号、人员、方法、事件、物品等。

(2)特性:表示一个对象类的所有成员共有的特征,通常是一个名词。例如:重量、高度、速度、颜色、长度、价格、年龄等。

(3)表示:指定数据元的表示形式,即数据元取值的有效值集合的格式,通常是一个名词,在最高层次上指定数据的通用类别,一般为值域、数据类型的组合,必要时也包括度量单位或字符集。例如:金额、数量、比率、代码等。

(4)限定词:通常被附加在对象词或表示词上,在特定语境中对其进行限定性描述,从而对数据元或其值域加以区分,通常是名词或形容词,数据元名称中可以有多个限定词。根据限定对象的不同,可分为对象限定词和类词限定词。例如:“国外供应商名称”中的“国外”是对象限定词,“供应商曾用名称”中的“曾用”是类词限定词。

对象类是在生产生活、艺术创造以及科学研究等一系列活动过程中产生的事物,在航空领域中,如飞行员、客机、战斗机、起落架、螺旋桨等;在生活中,比如人员、车辆、房屋等均为对象类。特性主要用于区分和描述对象,如重量、高度、速度、长度、颜色、价格等均为特性。数据的表示部分中,最为重要的方面是值域,表示与数据元的值域关系密切。一个数据元的值域指数据元的所有允许值的集合。表1和图3分别给出了没有限定词和有限定词的航空数据元的组成实例。

2.2 数据元标准化

通常情况下,数据元标准化是指制定统一的标准对数据元进行定义、分类、描述、表示、注册和废止等,并加以贯彻、实施的过程。制定数据元标准是信息技术标准化的一项基础性工作,是数据进行交互与共享的必要步骤。

企业在信息系统建设过程中,数据元标准化的研究水平和应用程度能直接用来衡量系统的数据交换与数据集成能力。良好的数据元标准化开发水平和推广应用,将为企业数据治理工作提供强大保障和有力支撑。

数据元标准化是一项专业且繁杂的系统工程,由于涉及面广、专业性强,并且其实施过程必须结合研究的业务领域。因此,在数据元标准化过程中,必须对应用的业务领域进行充分的调查研究。通过对业务模型进行深入的分析,抽取出业务的基本元素,并从各个字段数据中提取数据元,通过对业务模型的数据元标准化过程,实现业务流程涉及数据的标准化。

3 数据元标准化在航空装备数据治理应用

3.1 航空装备数据元标准化架构设计

针对航空装备企业目前面临的一系列数据问题,如各信息系统间数据项不统一、数据值域不一致、数据分类不统一、派生数据项繁多等,应用数据元标准化技术,对上述问题进行有效的数据治理。本文提出的航空装备数据元标准化架构设计,主要分为以下五个阶段。

(1)第一阶段:数据分析

通过对航空装备企业多个信息系统数据进行分析,挖掘数据之间的内在联系,明确现阶段数据集成与数據交互共享存在的问题。

航空装备各企业或部门的信息系统和数据库多为分散建设、自成体系,导致业务数据和基础数据种类繁多,各自定义的数据格式与数据模型使得未能形成统一的数据标准,造成了航空装备数据存在的“数据项不统一”“数据值域冲突”“数据分类不统一”“数据集成困难”“数据派生项繁多”等问题。

(2)第二阶段:范围划定

范围划定即是划定所要研究的航空数据元范围。明确的范围界定,可以有效确定需要定义的数据元内容。

通常来说,从项目工程、业务范围、研究领域等多个角度,均可以对需要定义的数据元进行范围界定。航空装备企业在实践过程中,可以采用增量式的定义方式进行范围划定。首先依据重点重大项目工程,对其中所涵盖的业务模型数据元进行标准化,然后根据项目建设需要扩大业务涉及范围,逐步增加所要研究的航空数据元范围。

(3)第三阶段:数据元提取

数据元提取是根据事先确定的规则对数据元进行清楚规范的描述,以及按照数据元属性规则对数据元赋值的过程。例如,数据元的定义、值域、数据结构和分类等多个维度。在对航空装备企业项目工程或业务范围等涉及数据元提取时,通过充分调研业务属性的特点,并以此为依据定义数据元提取规范,进一步增强数据元的实用性和可操作性。

(4)第四阶段:数据元映射

数据元标准库用于存储按照一定规则提取的标准数据元,但由于航空装备企业业务信息系统间数据项不统一的情况较为普遍,因此针对已完成建设的信息系统进行数据元标准化,首先需对信息系统中数据模型的表、实体或数据项,根据其含义逐一解析提取数据元,再将其与数据元标准库中的标准数据元进行一一映射。

从业务信息系统中解析提取出的数据元,在与数据元标准库中的标准数据元进行映射时,若提取出的数据元在数据元标准库中已经存在,则将其进行匹配后完成映射关系的建立,若该数据元不存在,则需建立一个新的数据元。

(5)第五阶段:数据元标准库的发布与管理

数据元标准库在发布和实施后,需建立相应的动态维护管理机制来确保其持续有效。数据元标准化是一项长期、持续的工作,并且需要各级业务部门长期努力、紧密合作,以适应不断变化的业务需求进行修改、补充和完善。

通过建设数据元标准管理系统,用于动态维护和管理数据元。同时,为保障数据元标准化的持续进行,建立一个动态维护管理机制至关重要。通过建设数据元标准管理系统和动态维护管理机制,可以解决数据元标准化面临的挑战和问题。此外,它也能够促进不同业务部门之间的协同合作,提高数据元标准的质量和适应性,为航空装备信息系统间带来更高效、可靠的数据管理和交互共享。

3.2 航空装备数据治理实施工作建议

航空装备数据治理的最终目标是通过提高各信息系统间数据集成和数据共享效率,解决现阶段各系统和数据库分散建设、自成体系的问题,从而为航空装备设计仿真、制造装配、实验鉴定、综合保障、维修大障等全生命周期提供强有力的支撑。

数据元标准化技术从数据底层逻辑出发,提高数据生产、开发、利用和服务的效率和质量,推动和促进航空装备数据的交换和共享,为航空装备企业数据治理工作提供强大保障和有力支持。航空装备企业数据元标准化可从技术和管理两个层面开展。

3.2.1 技术层面

(1)数据元标准体系架构建设

航空装备数据的数据元标准体系架构由数据元设计与管理规范、数据元标准库两大部分组成,如图4所示。其中,数据元设计与管理规范主要阐述航空装备数据中数据元的设计与管理的方法论,数据元标准库收录数据元设计与管理规范制定的航空装备数据共享中的所有数据元。

(2)数据元标准库建立

由于航空装备具有较强的复杂性、安全性、隐秘性和高可靠性等特点,可从重点项目工程、重要业务范围、前沿研究领域等多范畴出发,采用增量式的定义方式构建数据元标准库,确保航空装备企业各信息系统间数据元的一致性,以消除数据冗余和混乱,减少数据集成和交换的难度,提高数据的质量和可靠性。

本文4.1节提出了航空装备数据元标准化架构设计流程,用于指导航空装备数据元标准库建立,航空装备企业需充分调研现阶段面临的一系列数据问题,并结合自身信息系统建设情况,开展相应的数据治理工作。

(3)数据转换技术和数据元映射应用

随着航空装备企业信息化建设快速推进,逐步建设了企业资源管理、人力资源管理、财务管理、项目管理、质量管理等信息系统和信息代码库、标准库、标准件库、材料库等基础数据库。由于各信息系统和数据库复杂,形成了数量庞大、种类繁多的业务数据和基础数据,采用ETL(抽取、转换和加载)工具或数据集成平台等数据转换技术,实现数据元素从不同系统和数据源之间的转换和整合,确保数据的无缝集成和交换。

制定航空装备企业各信息系统中字段与数据元标准库的映射规则,并且可以进一步将不同信息系統中的数据元映射到统一的标准化模型中,从而实现数据的整合和一致性,实现不同系统或数据源之间的数据交互共享与数据集成。

(4)元数据管理系统建设

建立航空装备产品元数据管理系统,提供元数据查询、元数据映射、数据质量等功能。

实现基于标准内容的元数据质量评价、元数据映射关系建立,记录和管理数据元标准化相关的信息,包括数据元素的定义、用途、取值范围等,确保数据元的一致性和可维护性,并能提高数据的可追溯性和可理解性。元数据管理系统功能架构图如图5所示。

3.2.2 管理层面

(1)航空装备数据元标准化策略

航空装备数据元标准化策略是以增强信息系统间数据交互共享与集成、提高数据质量为目标,并且是航空装备数据治理工作开展的首要任务。结合航空装备企业数据共享业务的研发应用,构建基于数据元的数据交换应用模式,如图6所示,各个业务域数据集通过将各自不统一的数据,统一按照数据元组织后,形成航空装备数据元标准资源库,并形成航空装备数据共享服务/应用系统。

通过上述数据交换方式,既解决了各系统间的数据交换问题,又解决了上层应用对数据需求经常变化的问题,从而实现以“不变”(数据元)应“万变”(应用需求),即数据是稳定的、处理是多变的。

(2)建设配套管理制度

航空装备企业信息系统业务复杂、耦合性高,且数据存在多元异构现象,因此需建设健全的配套管理制度,完善跨部门的协作机制和沟通渠道,促进不同业务部门之间的合作和信息共享。

同时,通过建设完善的航空装备产品元数据编制要求、航空装备产品元数据管理办法及实施细则,实现数据元标准化的一致性和可操作性,确保航空装备数据元标准化的顺利开展。

(3)建立数据治理团队

航空装备数据元标准化工作是一项基础性强且涵盖业务广的系统工程,需成立专门的数据治理团队,负责数据元标准化的组织、规划和协调,并建立监督机制,定期评估数据元标准化的实施情况和效果。团队应由具备相关技术和管理经验的专业人员组成,为数据元标准化工作提供指导和支持,保障航空装备企业数据治理工作有序推进。

4 结 语

数据治理旨在提高数据的有效性,减少出现“数据孤岛”“数据烟囱”等现象产生,并增强数据的安全性,从而提高数据价值。本文通过分析现阶段航空装备数据面临的问题,引出航空装备数据治理的必要性,从数据元技术出发,提出了一种航空装备数据元标准化设计架构,并给出了数据元标准化在航空装备数据治理中的实施工作建议。

随着航空装备产业对数据的需求不断增加,航空装备数据管理和应用的重要性日益凸显。数据元标准化在航空装备数据治理中的应用前景广阔,而随着信息技术的蓬勃发展,数据元标准化可以与人工智能和大数据技术相结合,实现更智能、自动化的数据治理,在航空装备数据治理中将发挥更大的作用,推动航空装备产业向着智能化、高效化的方向发展。

参考文献

[1]董洪飞,安然,刘俊.航空数据治理体系研究[J].航空标准化与质量,2021(3):43-48.

[2]全国政协委员、中国互联网协会副理事长兼秘书长、中国信息通信研究院院长余晓晖:加快促进数实深度融合推动数字经济高质量发展[J].互联网天地,2023(3):12-14.

[3]张驰,崔凯,王润华,等.浅谈航空企业主数据治理实施策略[J].中国标准化,2021(13):107-112.

[4]全国信息技术标准化技术委员会.信息技术 词汇 第1部分:基本术语:GB/T 5271.1—2000[S].北京:中国标准出版,2000.

[5]全国信息技术标准化技术委员会.信息技术 元数据注册系统(MDR)第1部分:框架:GB/T 18391.1—2009[S].北京:中国标准出版,2002.

[6]全国信息技术标准化技术委员会.信息技术 数据元的规范与标准化 第三部分:數据元的基本属性:GB/T18391.3—2001[S].北京:中国标准出版,2001.

[7]邹景山,郑联语,孙香云,等.数据元素在企业信息集成中的应用研究[J].信息技术与标准化,2007(3):35-39.

[8]王丹,王文生.元数据与数据元的内涵及其应用[J].农业网络信息,2005(11):27-30.

[9]刘丽华,金水高,王骏,等.高数据元标准化基本方法[N].计算机世界,2006-10-16(B20).

作者简介

付远祥,通信作者,硕士,工程师,研究方向为航空标准化与质量、大数据与数字化技术、数据治理、人工智能。

张驰,博士,高级工程师,研究方向为航空标准化与质量、大数据技术与人工智能、图像识别、数据治理。

邢磊,硕士,研究员,研究方向为航空标准化与质量、大数据技术与数据挖掘、数据治理、人工智能。

张柯尧,硕士,工程师,研究方向为航空标准化与质量、大数据技术、数据治理、数据分析。

(责任编辑:袁文静)

猜你喜欢

数据治理标准化大数据
标准化简述
标准化是综合交通运输的保障——解读《交通运输标准化体系》
基于本体的企业运营数据治理
云端数据治理初探
基于大数据背景下的智慧城市建设研究
大数据治理模型与治理成熟度评估研究
大数据时代城市治理:数据异化与数据治理
论汽车维修诊断标准化(上)
交通运输标准化