面向复杂系统的测试性试验验证技术研究

杜 熠，刘萌萌，宋成军，苏 峰

(中国航空综合技术研究所 质量工程中心，北京 100028)

面向复杂系统的测试性试验验证技术研究

杜 熠，刘萌萌，宋成军，苏 峰

(中国航空综合技术研究所 质量工程中心，北京 100028)

测试性试验验证是指产品在设计、研制、定型阶段，为了确认其测试性指标的量值，分析其测试性设计的正确性、合理性并识别设计缺陷、检测产品是否已经完全实现了测试性设计要求而进行的验证与评估活动；当前，对于设备级试验对象的测试性试验验证技术，已经形成了相关的技术规范，并在某些型号测试性验证工程中已全面使用，然而，产品的测试性设计水平最终要体现在系统层面上，设备级的试验只能考核设备自身的故障检测和故障隔离能力(即对内场可更换单元(SRU)的检测和隔离能力)，而难以体现出系统级的检测和隔离能力(即对外场可更换单元(LRU)的检测和隔离能力)；系统的检测和隔离能力主要体现在：系统对设备自身检测结果的综合处理与分析能力、系统对设备故障的检测能力以及系统对自身功能的检测能力；因此，为了有效验证系统的测试性设计水平，必须开展系统级的测试性试验；在目前测试性试验技术存在的基础上，基于目前测试性试验的基本思路，从测试性试验方案设计及故障注入技术两个方面开展研究，提出了一套面向复杂系统级测试性试验的技术方法。

复杂系统；测试性试验验证；故障检测；故障隔离

0 引言

测试性试验验证就是按照规定的方法，设计合理的试验方案，并按照方案的要求，给试验对象注入一定数量的故障，收集并分析产品对故障的响应数据以评估产品的测试性指标是否满足设计要求，同时识别产品测试性设计缺陷以实现测试性增长的过程。一个完整的测试性试验验证过程，包括了样本量的确定及分配、故障注入、试验评价与评估三部分内容，而以上三部分内容的合理与否，直接决定了试验对象测试性指标评估与评价的正确性与合理性。

目前，国内在科研与型号领域已经全面开展了单机级别的测试性试验验证工作。但随着试验工作深入，验证的对象逐渐从单机级过渡到了综合设备甚至系统级，而在面向系统级试验对象，特别是某些复杂系统时(例如机载雷达、机载通信、导航系统、电子对抗系统)，我们目前处在理论不充足、方法欠缺、无实践经验的现状，当前复杂系统测试性试验验证主要存在的问题及难点有：

1)复杂系统结构的复杂性和实施条件的局限性，限制了现有故障注入技术以及试验方案设计与评估技术的实施范畴。

2)缺少故障隔离率的验证方法。

本文针对上述问题，结合复杂系统级测试性试验验证的需求，从系统级测试性试验验证方案设计技术和系统级故障注入技术两个方面对面向复杂系统级测试性试验的相关技术方法进行了研究。

1 试验对象分析

1.1 复杂系统功能、结构特点分析

以航空飞行器为例，航空飞行器是一个非常典型的复杂系统产品，其功能的实现与任务的完成需要多系统协同合作共同完成。一般来说，航空飞行器按照结构进行划分，由底层向上包括LRU、设备、子系统及系统等4个层次，测试性验证工作也一般都按照此层次进行开展，以某大型飞行器为例，其诊断设计架构如图1。

图1 某大型飞机诊断设计架构

如图1所示，某大型飞机包含了飞控系统、机电系统、火控系统等10个系统。综合诊断处理机是大型飞机机载诊断体系的核心，由分布在各成员系统内部的机内测试装置和传感器完成对本系统或与其连接的其他系统的故障检测和状态监控，并将系统的故障数据和状态数据发送至综合诊断处理机，由综合诊断处理机进行集中处理和显示。

一般来说，一套机载故障诊断系统应该包括如下的功能：故障综合诊断功能；地面故障测试功能；整机/系统状态检测功能；系统诊断软/硬件配置管理功能；数据加/卸载功能。

综上所述，当我们面对一个复杂系统的测试性试验验证时，其试验验证工作具有如下的特点与问题：

1)试验对象结构复杂，一般都由多个甚至数10个LRU/LRM组成，并且外围环境复杂(与多种负载关联)，系统LRU/LRM间的功能相互影响，通信相互应答。

2)由于复杂机载系统结构与功能的复杂性，导致试验难度增大，有时需要借助半实物仿真技术对系统中缺失的设备进行仿真和故障仿真，增加了系统级测试性验证的难度。

3)围绕故障检测率、隔离率这两项指标而开展的验证评价仅能在一定程度上考核系统测试性的故障检测隔离水平，而无法实现对其他测试性方面能力的分析评估。

4)故障检测率、隔离率这两项指标仅是一种表现机内测试在诊断能力上的所有结果的分析，更适用于对系统测试性水平整体的分析与考核，而对其测试性设计评价的充分性还不够，导致对测试性设计的改进与优化支持不足。

1.2 复杂系统测试性验证实施要求

对于复杂系统试验对象，结合上文所述复杂系统功能结构特点，它的故障模式一般具有如下的特征：

1)由于系统各LRU之间互联和系统任务降级、重构的需要，导致系统故障的特点非常复杂。

2)新一代飞机系统结构和功能高度综合化的系统特点会增加关联故障、隐蔽故障、偶发故障等复杂性故障发生的几率，会带来故障检测和故障隔离困难，虚警率高等问题。

综上所述，基于复杂系统试验对象的故障模式特点与功能结构特点，系统级产品的试验实施一般具有如下的特点：

1)首先，欲对系统级产品开展测试性试验首先需要对构成系统的设备开展设备级测试性验证试验。同时，为了使得设备测试性试验数据能够部分支撑分系统级测试性验证试验，应对LRU级故障响应进行分析。

2)其次，对分系统级对象展开测试性试验，其测试性试验的故障注入实施尽量使用软件式和外部总线式故障注入。

3)最后，借助所有相关数据对系统级指标进行评估。通过对各类数据的获取，可为系统级测试性指标评估提供全面的故障数据输入，最终给出系统级产品一级维修指标是否满足设计要求的结论。

2 复杂系统测试性试验方案的设计与结果评估

系统级测试性试验方案的设计与设备级类似，都是以受试产品的FMEA、故障检测率、生产方/使用方风险等指标要求为输入的。首先基于受试产品FMEA确定试验用故障模式集(即待注入的故障模式集合)。接着，以确定的故障模式集为对象依次进行初步样本量的确定、分配及补充，同时确定试验评估的指标以及评估方法和评估原则。

系统测试性验证试验方案设计整体流程如图2所示。

图2 系统级测试性试验方案设计流程

2.1 系统级试验故障模式集的确定

为了确保试验验证覆盖的全面性进而实现充分验证系统对各类故障模式的检测和隔离能力，在对系统级对象故障模式进行确定时，应遵循如下的原则：

1)故障模式集中应包含系统中电子类LRU中的SRU级故障模式，其数目设为n1；

2)故障模式集中应包含系统中电子类LRM中的功能电路级故障模式，其数目设为n2；

3)故障模式集中应包含系统中非电类LRU级故障模式，其数目设为n3；

4)故障模式集中应包含系统中独立电子类LRU级故障模式(不是由SRU级传递上来的LRU级故障模式)，其数目设为n4；

5)故障模式集中应包含独立的系统级故障模式(不是由下层故障模式传递上来的分系统级故障模式)，其数目设为n5。

综上所述，n1、n2、n3、n4、n5即为本系统测试性验证试验的故障模式集合。

2.2 样本量的确认、分配与补充

2.2.1 初步样本量的确定

对于系统级产品，我们选用基于二项分布的最低可接受值试验方案作为系统级测试性试验方案，并且基于这样的一个整体思路，在进行试验方案的设计时，首先需要确认本系统级试验方案的初步样本量。系统级测试性试验的初步样本量的确定应采用如下方法：

按照公式(1)进行计算得到满足条件的一组样本量(N,C)，在多组样本量中选取大于∑ni的最小值作为初步样本量N1。

考虑试验工作量，这里可以设定一个N0，如果∑ni≥N0，则在多组样本量中选取大于N0的最小值作为初步样本量N1。

(1)

其中：β为订购方风险，这里给定β=0.2；q1(FD)、q1(FI)为本试验中应指协议书中签订的相应的检测率和隔离率指标值；NFDR为依据检测率计算出的样本数；NFIR为依据检测率计算出的样本数，∑ni=n1+n2+n3+n4+n5为受试产品试验故障模式集中的故障模式总数。

2.2.2 初步样本量的分配

在对初步样本量N1确定完成后，即可以以2.1节所确定的故障模式集中的故障模式元素为对象，同时参考每个故障模式的故障发生频率，按照简单随机抽样方法进行抽样，确定每一个故障模式所分配到的样本量，具体的分配方法见GJB2072。

2.2.3 样本量的补充

初步样本量的分配无法做到对所有故障模式的覆盖，因此，对于初步样本量中没有分配到的样本，需要人工对其进行补充样本操作。

目前测试性试验中的样本量补充方式存在以下问题：

1)由于当前的故障样本的补充是以样本量作为约束条件，当某项产品的故障模式数大于N0，且初步样本量分配覆盖的故障模式数有限，即使将样本补充到了N0，覆盖的故障模式也很有限。

2)目前故障模式的补充只补检测手段为BIT的，这导致了在计算故障覆盖率时，当∑ni比较小时，以∑ni为分母计算故障覆盖率，故障覆盖率计算结果会偏高；但当∑ni比较大时，尤其是大于N0，必然有部分检测手段为BIT的故障模式没有分到样本，而这会导致故障覆盖率结果会偏低。

针对以上所述的问题，系统级产品的试验方案的设计应专门进行考虑。

在对系统级产品进行故障模式的补充时，不再以样本量总数作为约束条件，而采用以故障模式数为约束条件，按条件补充，具体的方法如下：

设置试验故障上限为NUP，且NUP>N0，则故障模式补充有如下两种情况：

1) 对于∑ni≤NUP时，初步样本量分配结束后，对未分配到样本量的故障模式补充样本，每个故障模式补充的样本量为1。

2) 对于∑ni>NUP时，初步样本量分配结束后，优先补充严酷度高、故障率高的且未分配到样本量的故障模式，每个故障模式补充的样本量为1，直到分配到样本量的故障模式数和补充到样本量的故障模式数之和等于NUP为止。

这样的一种试验样本补充方式符合抽样的随机原则，也符合产品的指标计算的基本原则。

2.3 系统测试性指标的评估

基于样本量的分配及补充结果，针对所有检测手段为非人工检测的故障样本，分析其故障原因，确定可用于执行故障注入的备选的试验样本，形成备选试验样本库。为了确保样本的统计特性，备选试验样本选取仍需要以故障率为依据进行抽样，这里仍然可以采用按比例简单随机抽样方法将样本量进一步分配至器件/部件级故障模式以便进行故障注入操作。

2.4 系统测试性指标的评估

2.4.1 当前测试性指标评估的问题

在目前已经开展的测试性试验中存在一些不足，总体来讲，当前测试性验证试验指标评估存在如下几个方面的问题：

1) 目前，产品测试性指标计算的一个原则是，对于某个的故障模式，如果它在试验方案设计时设计有N种BIT对应的试验用例，然而在实际试验中，这N种BIT没有全部检测到，那么就认为该故障模式不能被检测到。根据此原则进行指标的计算可能会导致指标结果的不合理，例如，某个产品在线BIT指标为90%，启动BIT指标为30%，但总体BIT指标极有可能会不到30%，整体检测能力小于局部检测能力，这是不符合逻辑的；另外，此原则与国际上通用的测试性建模分析理论也不相符，测试性建模分析理论中只要有1个故障模式只要有1种BIT能检测，就算BIT能检测。

2) 产品测试性指标计算的另一个原则是，当试验的检测结果与实际检测判据不一致时(即错报)，则算检测不成功；

此原则是与产品故障检测的理念相互矛盾的，对于产品的故障检测率，它是产品自身的设计属性，在其使用时不会依据故障检测判据的一致性来判断产品是否检测成功，试验中发生错报只能说明实际与理论检测判据不一致，不能说明故障无法检出，有可能实际的检测判据就是它，因此，在试验中出现错报应区分是设计造成的还是分析错误造成的。

3) 故障隔离率(FIR)的评估没有成熟、可用的方法与手段。目前在已经开展的众多系列测试性试验中，还没有对故障隔离率提出考核要求，也没有成熟的方法、手段、思路可以直接引用，仅有一些标准可供参考，无法支撑系统隔离率指标的评估。

2.4.2 指标的评估

针对上文所述的现状与问题，本节就系统级测试性验的指标评估问题展开研究。

2.4.2.1 故障检测率

故障检测率(FDR)的计算方法如公式(2)、(3)所示：

设用规定的检测手段成功检测到的样本量为NS，该检测手段故障检测率的点估计值为：

(2)

单侧置信下限为：

(3)

对于系统级的产品，规定的检测手段一般包括了BIT、加电BIT、在线BIT、维护BIT，应按照公式(2)、(3)所述的方法对以上手段的故障检测率进行评估。

2.4.2.2 故障隔离率

故障检测率(FDR)的计算方法如公式(4)、(5)所示：

设用规定的检测手段正确隔离到模糊组为L的次数为NL，故障隔离率的点估计值为：

(4)

单侧置信下限为：

(5)

式中,NS为试验中用规定的检测手段检测成功总次数；NL为试验中用规定的检测手段正确隔离到模糊组为L的次数；C为置信度。

从上式中可以看出，目前故障隔离计算是以故障检测成功为基础的，在某些情况下，可能会出现故障检测率很低，但故障隔离率很高的情况(例如某个产品能够检测的故障很少，但只要检测成功就能实现隔离)，这种情况下故障检测率虽然看似很高，但并不能反映系统的真实故障隔离能力，为此，本文提出一个新的指标—故障绝对隔离率，计算方法如公式(6)所示：

(6)

单侧下限的计算方法参考公式(5)。

对于系统级的产品，故障隔离规定的检测手段一般包括了BIT、BIT+外场人工检测、BIT+外场测试设备+外场人工检测，应按照公式(4)～(6)所述的方法对以上手段的故障检测率进行评估。

在对系统进行隔离数据统计中，需要对不同隔离条件下的(L=1、2、3)NL进行统计，具体的如表1。

表1 系统故障隔离判据表

表1为受试系统的故障隔离判据表，需要由系统设计人员进行编写。编制原则如下：

第一列“模糊组”：列举所有L≤3的故障模糊组组合形式，注明编码及名称，例如：16-01 LRU1。

第二列“隔离判据”： 针对不同类型检测手段给出隔离判据。

2.4.2.3 故障覆盖率

故障覆盖率(FCR)的计算方法如公式(7)、(8)所示：

当∑ni≤NUP时，设用规定的检测手段成功检测到的故障模式数为M1。则通过公式(7)进行故障覆盖率的计算。

(7)

当∑ni>NUP时，设用规定的检测手段成功检测到的故障样本数为M1。则通过公式(8)进行故障覆盖率的计算。

(8)

除整体故障覆盖率之外，还应对受试系统的Ⅰ、Ⅱ类故障模式的覆盖率进行评估，计算公式参考(7)、(8)。

3 一种通用化的故障注入器设计

对于交联信号电压异常这一故障模式的模拟，目前我们比较常用的一种方法是后驱动故障注入方法，主要是通过拉出和灌入电流迫使电压发生变化，进而实现电压异常的模拟。然而这种方法较为简单、粗暴，难以精确的控制故障应力，并且还有一定的风险。

为了解决上述问题，本文提出一种通用化的电压故障注入器，可实现在不改变信号频率和相位的基础上，对中低频数字/模拟信号的输出进行等比例缩放和偏置，且能够实现持续、间隔、步进等多种故障注入方式，适用对象可为各类中低速的总线、离散量、传感器等信号。

3.1 电压故障注入器的硬件设计

本电压故障注入器在进行电路设计时应采用如下的方法和原则：

1)电压故障注入采用串接式故障注入，即将故障注入器串联到被注入系统不同LRU之间，尽量不引发原模块之间的通路中断。故障注入器在停止注入状态时应为“透明”状态，要保持通路信号不会受到干扰。

2)信号转换尽量采用模拟电路，同时减少CPU的干预，缩短信号传输延时。

3)建立电路传递函数，确保信号转换的准确性。

4)注意匹配设计以确保幅频、相频特性满足要求。

5)设计完成后的注入器应具有通道同步故障注入能力，应设计至少4个通道。

基于上述分析，本故障注入器的总体设计思路如图3所示(以单个通道为例)：

图3 电压故障注入器总体设计思路

故障注入器采用基于ARM的CPU控制单元控制增益调节模块与偏置调节模块对信号进行调节，调节后的信号可以叠加输出，这两个模块的设计思路如图4。

图4 增益和偏置模块总体设计思路

在增益调节回路中，主要通过放大电路的反馈回路实现对输入信号的幅值调整。如上图所示，在程控模式下，ARM处理器产生的控制信号(图4实线箭头)经过驱动放大后控制反馈回路的继电器组合调整反馈回路的阻值，根据反馈回路阻值与输入电阻的匹配关系实现幅度调整。在程控模式下控制信号来自本控源(如图4虚线箭头)。

在偏置回路中，主要产生偏置信号，然后与增益调整输出相加，完成偏置调节。在程控模式下，偏置信号由ARM处理器控制(图中实线箭头)的DAC产生，本系统采用电流输出型DAC，经过I/V转换后进行一次低通滤波，将滤波输出信号作为最终的偏置信号。本控模式下，控制信号来自本控源(如图4虚线箭头)。

为了便于通道模块的更换与维护，整体结构分为四块子板和一块母板两部分组成(如图5所示)，四块子板插接在母板上。

图5 故障注入器结构组成

每个子板均为一个独立的故障注入通道，均能独立完成增益和偏置调节，功能子板只有对母板的接口，不再添加其余的接口，在使用时直接将功能子板通过插拔方式安装在母板上即可。

母板完成了整个系统的供电、信号输入输出、信号测量、控制指令信号的产生、通信等功能。

3.2 电压故障注入器的软件设计

本电压故障注入器的软件主要包括上位机设计和下位机软件。

下位机软件使用keil4开发，通过USBSTcontroller2.0下载到主控系统CPU中，控制整个故障注入器功能实现，下位机主要包含了主函数、通信中断函数、定时器中断函数等：

1)系统主函数：系统主函数主要负责监控下位机与上位机之间的通信是否正常。定时(100 ms)发送下位机运行状态供上位机查询判断，定期标志来自CPU定时器3所产生的定时标志(TIM3_flag)。此外，在主函数中还要完成系统的初始化设置。主函数执行流程如图6。

图6 主函数执行流程

2)通信中断函数：本故障注入器下位机与上位机通信方式为RS232通信，在主控母版上设计有通信协议转换电路，核心芯片为232芯片。通信协议如表2。

表2 RS232通信协议

除了硬件通信协议外，还定义了上位机与下位机数据帧协议，本协议包含42个字节，其中，帧头为固定4个字节：a，b，c，d，帧尾为1个字节e，内容数据结构37个字节。

3)定时器中断函数：定时器中断函数是实现本系统功能的核心函数，在定时器中断函数中CPU依次调用相应的故障注入函数实现故障注入，定时中断工作过程如图7。

图7 定时中断执行流程

上位机软件基于Labview平台开发，主要完成了电压故障注入工作模式和注入参数的设置，本软件通过RS232总线与ARM进行数据交换，其一方面将4个通道的增益、偏置调节参数发送至ARM，ARM按照调节参数控制增益模块和偏置模块进行信号调节，另外一方面通过控制计算机与下位机的通信执行时间(包括持续时间和执行间隔时间)实现故障应力的持续、间隔、步进注入。上位机软件界面如图8。

图8 上位机软件界面

3.3 电压故障注入器故障注入案例

为了实现对电压故障注入器的功能验证，现搭建电压故障注入验证案例。在本验证案例中，设置故障注入的模式为信号增益1.65倍，同时偏置-2 V，如图9所示，绿色为故障注入前的信号，紫色故障注入后的信号，可以很明显的看出，信号峰峰值变大同时直流分量由0V变为-2V。

图9 故障注入效果比对图

4 结论

本文提出了一种适用于复杂系统的系统级测试性验证的试验样本量的确定、试验样本量的分配和补充以及隔离率的验证方法，可有效的支撑后续系统级测试性试验方案的设计与结果的评估。

此外，本文所提出的电压故障故障注入器采用面向信号的设计思路，具有较强的通用性、使用方面，能够对大多数协议总线、传感器信号、I/O信号进行故障模拟，为系统级测试性试验提供了有效的注入手段，大大提高了系统级测试性试验的效率。目前大多数的测试性试验系统是集成度较高的测控制系统，均采用了PXI、LXI总线标准，为了能够将故障注入器集成到测试性试验系统中，后续还需对故障注入器的结构、接口进行进一步改进以满足PXI、LXI标准。

[1]GJB2547A-2012[S]. 装备测试性工作通用要求, 2012.

[2]LiuDD,ZengZY.Thetestabilitymodelingandmodelconversiontechnologybasedonmulti-Signalflowgraph[A]. 2012Prognostics&SystemHealthManagementConference(PHM-2012Beijing)[C]. 2012.

[3] 邱 静, 刘冠军, 张 勇. 测试性试验与评估技术研究现状及发展趋势[J].测控技术, 2014，33(s): 1-4.

[4] 田 仲, 石君友. 系统测试性设计分析与验证[M]. 北京:北京航空航天大学出版社，2003.

[5] 秦思渊,韩 斌,李贵江. 基于多信号模型的中央维护诊断策略[J] . 测控技术, 2014，33(s): 204-207.

[6] 张晓杰,王晓峰,等. 基于机内测试性的故障注入系统设计 [J]. 北京航空航天大学学报，2006.

[7] 王 磊，陶 梅.精通LABVIEW8.X[M]. 北京：电子工业出版社，2008.

Research on Complex Systamatic Testability Test Verification Technology

Du Yi，Liu Mengmeng，Song Chenjun，Su Feng

(AVIC Aero-Ploy technology Establishment, Beijing 100028, China)

The testability test verification refers to a validation and evaluation activity in the design, detecting and sizing phase of the products, by which we can confirm the testability index determination, analyze the validity and rationality of the testability design, and identify the flaw of design, detecting the products if they have achieved the requirement of testability design completely. At present, the testability test verification technology of the equipment level test object, has formed the relevant technical specifications, and it has been used in the testability projects of some type. However, the testability design level of the products should be reflected in the system level finally, the equipment level test could check the equipment’s fault detection and fault isolation abilities (the detection and isolation abilities of SRU) of itself only, but it is difficult to reflect the detection and isolation abilities of the system(the detection and isolation abilities of LRU). The detection and isolation abilities of the system mainly reflect in: system integrated processing and analysis ability of the test results with the device itself, the ability of detecting equipment failure of the system and the ability of detecting the functions of system itself. Therefore, the testability test of the system level must be carried out, in order to validate the standard of the system testability design effectively. Based on the technology and the basic idea of the testability test, studied from the both aspects of the design of the testability test and the technique of the fault injection, a set of methods of the testability test that face to the complex system is put forward in the text.

complex system; testability test verification; fault detection; fault isolation

2016-01-18；

2016-07-06。

杜 熠(1985-)，男，陕西潼关人，研究生，工程师，主要从事测试性验证与评估，测试性建模与设计方向的研究。

1671-4598(2017)02-0217-05DOI：10.16526/j.cnki.11-4762/tp

TP

A