航空飞行试验工程大数据管理与应用思考

(中国飞行试验研究院，西安 710089)

航空飞行试验工程大数据管理与应用思考

党怀义

(中国飞行试验研究院，西安710089)

飞行试验是航空装备研制的重要环节之一，形成和产生的工程数据具有明显的大数据特征；传统的以试验测试数据为主的数据管理思想，难以保证试飞工程数据及其关系的完整性和准确性，无法全面表征飞行试验全过程，不利于试飞数据的再利用；在分析航空飞行试验复杂系统工程的有机组成及其工程大数据的本质特征和逻辑结构的基础上，结合近年来在飞行试验数据管理和处理研究中取得的技术成果和实践经验，提出了基于试飞工程全生命周期的航空飞行试验工程大数据管理思想，以试验对象为中心的一体化大数据采集和系统化大数据结构模型，和面向业务的基于SOA的分布式系统框架，便于建立一个综合、全面、开放的试飞工程大数据管理和挖掘应用平台，促进航空产品试飞数据处理效率的提升和试飞工程大数据在航空科研中的挖掘和广泛应用，发挥试飞工程大数据的发展助推作用。

航空;飞行试验工程;大数据;管理;应用研究

0 引言

近年来，随着信息技术的发展，大数据成为各行各业重点关注和研究的热点问题，并且成为世界各国助推自身发展的强力催化剂，提升到国家战略层面进行研究、发展和实施，大数据范式是科研的第四范式[1]。1980年，阿尔文·托夫勒[2]等人预知大数据时代即将到来，与当时信息化方兴未艾所涉及的信息爆炸其内涵应该是相同的。大数据的定义较多，维基百科给出了大数据的定义：大数据是指利用常规的软件工具获取、管理和处理数据所耗时间超过可容忍时间的数据集。学界对此定义虽然讨论和异议颇多，我认为这个定义从内涵上是非常准确的，能够涵盖不同行业的不同类型和不同应用需求的各种大数据，也说明大数据本身就是一个模糊而确定的概念。大与小是相对的，换言之，能快速地获取、完整地管理和维护、高效地分析和处理的数据，都可以不认为其为大数据。因此，大数据是每个时代都有的，由于受限于那个时代的收集、管理和处理的工具与方法，总会有我们无法满意地应对的大数据存在。英国信息专家维克托·迈尔-舍恩伯格在他的《大数据时代：生活、工作与思维的大变革》[3]一书中，也准确地诠释了大数据的深刻内涵-大数据的核心是分析、处理和预测。人们对大数据的概念特征也莫衷一是，通常认为大数据具有数据量大(Volume)、数据种类多(Variety)，要求处理的时效性高(Velocity)和数据有价值(Value)，即4 V特征。维基百科的大数据的定义加上4 V的基本特征，有助于人们较为准确地理解大数据的基本概念。不同行业具有各异的数据基础，所面临的大数据属性、概念及其处理方法则会迥异。航空飞行试验大数据则是航空装备与系统研制过程中的重要数据信息资源，不但具有典型的大数据特征，同时由于航空制造业本身的特点，飞行试验大数据也是独具特质。

1 飞行试验大数据的特征

航空飞行试验是复杂的系统工程[4]，涉及到设计、制造及试验及用户等众多部门、环节、专业以及复杂过程；试验周期长，一般占航空产品研制周期的1/2以上(约4～8年)；试验内容极为复杂，这是由飞机系统的复杂性所决定的；风险大，新品发生事故的概率高，常常出现机毁人亡的灾难性事故；耗资巨大，一般占产品研制总经费的50%以上。围绕航空装备的飞行试验研究所产生的数据具有典型的大数据特征，除了具有大数据的4 V特征之外，还具备以下特征：①精确性要求高(Veracity)。飞行试验工程是科学研究工程，确保飞行试验能够安全可靠实施，试飞工程所采集获取的数据是航空装备产品鉴定/定型的根本依据，因此必须真实、精确、完整、可靠。②非结构化(Un-structure)。飞行试验工程产生的数据中，大约有3%～5%的数据是结构化的数据，或者说这些数据可以结构化，能够利用传统的数据库管理系统软件进行管理、维护和处理应用，其余97%的数据是非结构化数据，无法结构化的数据，或者结构化后也无法利用传统的方法进行分析处理的数据。③复杂性(Complexity)。航空工业素有“工业之花”之称，装备及其试验的复杂性决定了试飞数据的复杂性。试飞数据表征了航空器及其系统的综合工作状态，其中夹杂了复杂多变的真实环境条件因素，蕴含着工程方法、专业机理和综合复杂系统因素与系统状态之间交互的复杂逻辑关系，以及人们无法通过观察或测试手段去探测获取的复杂工程模型，试飞数据的复杂程度是可想而知的。

图1给出了飞行试验工程数据所具有的4 V+UC的大数据属性特征[5]。

图1 试飞工程大数据的属性特征

航空飞行试验大数据与其他行业大数据一样，由于其越来越复杂以及越来越大的规模而给管理与处理工作带来了巨大的挑战，而日益发展的航空装备对试飞大数据的管理的广度与应用的深度、功能的全面与多样与处理效率等的需求则是越来越高。本文分析了航空飞行试验大数据结构特点，结合近年来在航空飞行试验大数据管理与应用实践中所取得的研究成果，以及大数据行业技术的未来发展方向，针对性地提出了航空飞行试验大数据管理与挖掘应用的一些思路。

2 飞行试验工程大数据结构

航空飞行试验工程数据即围绕试验对象，涵盖飞行试验工程全过程所形成的数据。图2给出了航空飞行试验工程数据的管理结构模型。

图2 航空飞行试验工程数据结构模型

航空产品的全生命周期应该包括设计、制造、试验和保障4个关键环节，因此，航空产品飞行试验工程数据应该是航空产品数据的重要组成部分之一。飞行试验工程数据管理结构模型中，每一过程数据项实际上都是一个数据内容庞大、逻辑关系复杂、数据类型多样、功能流程迥异的大数据关系模型，达到工程数据管理与试验业务实现的统一。

飞行试验工程大数据管理结构模型的设计需要把握飞行试验业务特点，主要从以下3个方面考虑：

1)综合传统数据库和现代数据仓库的设计思想。

传统数据库解决的是业务自动化的问题，实现业务的联机处理，而数据仓库解决的是包括历史数据在内的业务数据的综合分析，实现业务的综合决策。飞行试验数据管理既要满足型号试验数据的统一管理和处理需要，同时需要对试验数据进行客观、持久的积累和管理，满足对试验任务的决策分析和试飞数据的溯源应用。一个型号的飞行试验会持续多年数千架次，单架次产生的各类数据信息将近1 TB，飞行试验数据更会伴随着产品的生命周期而存在，数据管理满足日常持续的试飞数据处理业务需要的同时，随着试飞任务的不断深入进行，也需要不断抽取和提炼历史综合数据信息满足试飞任务决策分析的需要，符合数据仓库应具有的面向主题的、集成的、时变的、稳定的技术特征，兼顾了试飞业务需要和航空科研试飞数据挖掘需要[5]。

2)建立元数据接口标准，满足庞大的试飞工程数据仓库设计需要。

元数据(metadata)是关于数据的数据，提供关于信息资源或数据的一种结构化的数据，是对信息资源的结构化的描述[6]。一般采用XML语言作为元数据语言的基础。其作用包括描述信息资源或数据本身的特征和属性，规定数字化信息的组织，具有数据的定位、发现、评估和选择等功能。元数据是数据仓库的中心库，是组织、管理和维护试飞工程数据管理模型的基础纽带，覆盖试飞工程数据信息全生命周期。针对试飞工程数据信息特点，设计标准化的元数据接口，将繁杂的试飞工程数据信息有机地关联聚合在一起，形成完整的试飞数据仓库。

图3 元数据与试飞工程数据管理结构模型

如图3所示，在试飞工程数据管理结构模型中，所有的节点内部和节点之间，都是依靠飞行试验元数据标准接口建立起关联关系的，如同胶水一样将所有数据信息及业务功能连接在一起。

3)以试验对象为中心，设计一体化的试飞工程大数据管理模型。

每一个型号的飞行试验实际上是产品研制过程的延续，而且试飞过程漫长，专业性强，技术复杂，业务流程环节紧扣。因此，试飞工程数据(Test Data Management)管理模型既要涵盖试飞工程全过程，还需要与产品设计数据(Design Data Management)、制造数据(Manufacture Data Management)以及运行保障数据(Operation Data Management)进行对接，形成完整的、一致的、全生命周期的航空产品数据仓库(Product Data Management)，如图4所示。试飞工程数据管理模型的一体化体现在两个方面：一方面是与设计、制造及运保数据的一体化，建立产品全生命周期数据接口，维护产品数据的一致性、完整性关联关系，便于产品的改进、改型、完善以及运行维护，确保产品试验数据信息的可追溯性。另一方面是涵盖试飞工程全过程的一体化，从试飞工程的规划开始，到试验设计、试验实施、试验保障和试验总结，即涵盖试飞工程全生命周期。

图4 航空产品数据仓库的构成

航空产品数据的生命周期不但需要覆盖航空产品的生命周期，从科学研究的角度，航空产品数据是永久的科学资料档案。数据的完整性和可溯源性也必须始终保持，能够从产品的任何一个物理部件或逻辑属性，贯穿到该部件在制造、试验环节中的相关工程信息，反之亦然，这是航空产品本身的特性所决定。

3 航空飞行试验工程大数据管理与应用思考

3.1 基于SOA的试飞工程大数据管理系统架构

大数据问题是一个复杂的问题，大数据的共性特征并没有掩盖不同的领域和行业内大数据本身的物理与逻辑应用特性，更加说明了大数据本身的复杂。航空飞行试验大数据不仅规模大，而且数据的关联性极强，因此必须系统性地针对试飞工程业务设计航空飞行试验工程大数据系统架构，涵盖试飞工程全过程，解决试验大数据的完整性建模、管理、整合、共享、分析以及归档和挖掘应用集成问题。图5为飞行试验工程大数据系统架构。

图5 飞行试验工程大数据系统架构

飞行试验工程大数据系统架构是管理和维护试飞工程全过程大数据信息完整性和可靠性的基础架构，也是试飞工程的业务工作平台架构，同时是飞行试验工程管理与应用的一体化平台，实现飞行试验一体化过程的复杂数据信息的全面管理和应用，既保证了数据的完整有效性，又保证了数据灵活可用性。

逻辑上，数据层是系统架构的基础层，每一类大数据与所对应的业务相匹配，同时各类大数据之间以试验对象为纽带相互关联；服务层由面向服务的中间件集合组成，用于实现试验大数据的管理和应用服务，也包括系统级的应用服务组件，如异构数据的管理与存储服务、大数据的各类计算服务以及业务调度等服务，采用SOA架构，便于应用的扩展、实现和管理；顶层为面向用户的接口层，面向航空行业设计、制造、试验以及科学研究等各类用户，可以采用B/S或者类B/S接口模式，实现用户对一体化的试验大数据的应用；而飞行试验工程大数据管理与应用标准体系、飞行试验工程大数据元数据接口标准则是支撑整个系统架构、维护试飞工程大数据的完整性和可靠性的重要纽带，纵横贯穿于飞行试验工程大数据管理的方方面面。飞行试验是一体复杂的系统工程，试验数据的复杂性和精确性是尤其所具有的科学性所决定的，这也是试飞大数据的显著特色，加之航空工业是一个国家的特殊行业，对因此试飞大数据的管理、处理与应用特点也会大有不同。

3.2 航空飞行试验工程大数据的一体化采集和系统化管理

3.2.1 基于ALM的TDM

图1可以看出，试飞工程大数据由少量的结构化数据和大量的非结构化数据组成，图2可以看出，这两者是一个有机的整体。图6为试飞工程全生命周期数据采集过程的概要示意。

图6 试飞工程数据采集过程

飞行试验占航空产品研制周期1/3甚至更多，持续4～8年之久。飞机系统几乎涉及到所有的工业专业，每一个专业的试验和飞行试验工程整体一样，都需要经过试验规划、试验设计、试验实施、试验结果、试验总结等5个过程，试飞工程数据纵横交错，从深度和广度上都需要一体化采集和系统化管理，这样才能保证试验数据的完整和全面，实际上就是基于ALM(应用生命周期)的TDM(试验数据管理)，这是唯一可能的、可实现的可靠与可用的技术实现方法。

3.2.2 有特色的非结构化大数据的采集管理

试飞工程大数据中，非结构化大数据占97以上。以我国新支线客机ARJ21-700飞行试验为例，单架次测试参数1～1.5万个，包括各类视频数据在内，单架次数据总量50～100 GB，飞行试验数据总量大约500 TB以上。

飞行试验非结构化测试大数据的采集具有自主技术特色。①在满足机载工程复杂环境技术要求的条件下，采用通用化的百兆、千兆网络实现高速率海量试验数据的采集和记录，取代传统的、低速率的、专用的PCM(脉冲码调整)结构模式，同时借助先进的嵌入式处理器技术，将传统单一记录功能的记录器扩展为具有数据同步、分路/分流、记录、处理等综合功能的嵌入式系统，实现数据处理功能前置，提高数据处理整体效率；②利用成熟的4 G无线通讯、光纤通讯等链路技术，取代传统的无线电遥测，提高遥测传输带宽，满足高带宽海量数据的远程传输处理需要；③借用Hadoop大数据技术思想，如并行分片、并行存取、元数据特征等，解决在通用WinIntel系统架构平台下，具有时序特征的非结构化试飞测试大数据的高效存储、管理和备份问题，满足试飞工程各业务部门通用化的数据访问、处理、备份和管理应用需求。实际的飞行试验工程中，开展了必要的技术探索和实践，取得了一定的技术效果。

3.3 以专业需求为牵引的数据处理与挖掘

试飞工程大数据是反映试飞系统工程以及飞机系统各专业的特征数据，试飞工程是一个科学的系统工程，因此试飞工程大数据是真实的、科学的，并且具有很到的研究价值，这一点与通用的大数据特征是不同的。试飞工程大数据的处理与挖掘应以专业的发展需求为牵引推动和实施，包括专业的预先研究和技术创新。

3.3.1 提高试飞综合效能的试飞实施数据处理挖掘

数据挖掘就是知识发现，利用现代的数学方法和原理，借助先进的信息技术手段，把埋藏在复杂数据信息之间的已知、未知或想知的知识、原理、模型等提炼出来。

以飞行试验工程规划与实施数据信息为主的数据处理挖掘任务，主要内容包括涵盖试飞工程管理全过程，支持业务应用的数据管理与处理，以及提升综合试飞效能的数据挖掘分析。图7所示。

图7 试飞综合效能提升数据处理与挖掘

3.3.2 探索解决飞行器工程科学难题的专业数据挖掘

试飞工程大数据中，非结构化测试大数据经过分析处理，其数据结果是以时间为同步轴的参数历程数据，反映了试飞员与飞机系统整体运行特征。参数之间的关系是非常复杂的，涵盖了飞机总体、动力装置、机载设备与系统等所有专业，参数之间的同步关系非常严格。在飞行试验中，测试工程师利用各种技术手段，耗费巨资尽可能地把工程专业所需的各类参数测试记录下来，实际上还有很多专业人员所需的参数无法直接测量得到，只能通过已知参数进行建模分析，最后得到飞机系统的试验鉴定结论。由此可见，试飞测试数据具有很高的科学研究价值。图7给出了飞机系统飞行试验测试数据的示意图。

图8 飞机系统试验测试数据

飞机系统各专业的数据挖掘研究以本专业科学理论和思想为基础开展，国外航空发达国家开展此项研究工作的深度和广度与其航空工业的发展水平相匹配，专业发展成就有目共睹，而我国针对飞行试验测试数据的挖掘应用则处于初级阶段，试验数据的挖掘利用比率为个位数，因此迫切需要建立试验数据的共享机制，确保数据安全的同时，为研究机构提供试验数据广泛应用，推动我国航空工业技术的发展。本文不再赘述。

4 结束语

飞行试验是复杂的系统工程，同时又是一个集所有的工程专业的科学研究工程，飞行试验工程的横向管理实施与纵深专业研究所产生的试飞工程数据，除了有常规大数据的基本特点之外，还具有高价值、复杂性、非结构化的鲜明特征，因此，飞行试验工程大数据的管理和处理应用所面临的技术任务更为艰巨。上世纪末至今，飞行试验工程数据的管理先后经过了C/S架构、B/S架构、混合架构，探索了基于SOA的云技术架构等[7]，数据管理与处理应用并进，试飞测试大数据的管理效率与处理能力取得了较大发展，但是由于试飞工程涉及的环节多、数据信息复杂、持续周期长以及工程应用广等问题交织，建立面向包括飞行试验在内的航空科研应用的、一体化的试飞工程全生命周期大数据管理与应用体系一直是专业技术人员努力的目标。信息技术的飞速发展，为试飞工程大数据的一体化采集、系统化管理、专业化挖掘研究提供了技术基础，而大数据价值与理念在试飞工程技术中的深入影响也为一体化的试飞工程大数据的设计实现提供了内动力，也是航空飞行试验工程技术发展的需要。建立面向航空行业的试飞工程数据中心，实现宝贵的科研试飞数据的共享和深入应用，是大数据技术条件下推动航空技术飞速发展的引擎，是试飞工程技术人员不断努力的技术方向。

[1] 李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域-大数据的研究现状与科学思考[J].中国科学院院刊，2012(6):647-657

[2] 托夫勒.第三次浪潮[M].北京：中信出版社，2006.

[3] 维克多·迈尔-舍恩伯格.大数据时代[M].上海：浙江人民出版社，2012.

[4] 周自全.飞行试验工程[M].北京:航空工业出版社.2010.12

[5] 党怀义，典型大数据仓库-飞行试验数据仓库设计[J].

[6] 孟小峰，慈 祥.大数据管理概念技术与挑战[J].计算机研究与发展.2013,50(1):146-169.

[7] 基于WEB 的分布式试飞数据处理系统结构设计[J].计算机测量与控制. 2010.18(6):1452-1453

ApplicationStudyofFlightTestProjectBigDataManagementandMining

Dang Huaiyi

(Chinese Flight Test Establishment，Xi′an 710089，China)

Flight test is one of the important links of the development processing, its engineering data forming and producing have the outstanding characteristics of big data. The traditional test data management thought based on measurement data can hardly ensure the engineering data integrality and relation accuracy, is unable to show entirely the flight test processing, and has more disadvantages to reuse the data. On the basis of analysis of the organic constitutions of the flight test project, and its engineering data properties and logical structures, combining with the achievements and practice experiences in flight test data management and processing technology in the recent years, proposes series pivotal investigation results and thoughts in currently technique conditions: the thought about engineering data management covering the whole lifecycle of the flight test project; the big data structure model for the center of the flight object with integral collection and systematic management; the design method of the system frame based on SOA faced to professional operations. It enables to setup a comprehensive, overall and open flight test big data management and mining system platform, helping to improve the data processing efficiency in flight test, and to exert the engineering data widely using and mining to drive the aeronautics technical research.

aeronautics;flight test project;big data;management;application research

2017-04-30；

2017-05-26。

党怀义(1967-)，男，陕西合阳人，研究员，主要从事飞行试验数据处理与软件技术方向的研究。

1671-4598(2017)11-0299-04

10.16526/j.cnki.11-4762/tp.2017.11.076

TP273

A