舰载电子对抗系统软件一体化测评框架设计与应用∗

（中国人民解放军91404部队 秦皇岛 066001）

1 引言

舰载电子对抗系统各分系统或设备通常分由不同的专业研发机构承担研制，各软件也交由不同专业研发方实施开发［1］，虽然各装备软件研发机构均遵循CMMI等标准体系要求组织研发，相关软件也须经“单元测试→部件测试→集成测试”等多级别测试进行验证后方可进入产品基线正式发布，但由于各分系统/设备多只在本地环境下实施针对自身分系统/设备软件的测试，仅能验证和确认各分系统/设备自身软件实现的正确性和符合性，无法发现装备系统中潜在的系统性软件缺陷并实现对舰载电子对抗系统软件系统整体的效能评估［2］，从而致使在装备进入服役和维护阶段后，暴露出过多的系统性软件缺陷，不仅造成整改成本过高，更有可能极大影响装备效能的正常发挥甚至导致核心任务失效、人员装备财产受损等严重后果。

综上所述，为验证舰载电子对抗系统软件系统整体功能的正确性和有效性、评估舰载电子对抗系统软件系统效能，须在所有分系统和设备完成各自软件的确认和验证后，从系统层面对由各分系统和设备软件所组成的电子对抗实装系统开展软件系统性验证测试以及软件系统效能评估［3］。本文基于工程实践牵引，通过对舰载电子对抗系统软件系统性验证测试工作所涉及的工具、方法、标准等要素进行分析汇总，兼顾软件系统效能评估要求，构建出可同时适用于舰载电子对抗系统软件系统性验证测试与软件系统效能评估的一体化测评框架。

2 舰载电子对抗系统软件一体化测评框架概述

2.1 总体设计思路

舰载电子对抗系统软件一体化测评框架总体设计思路是：以舰载电子对抗系统软件系统整体为对象，以被测电子对抗系统实装为基础，基于舰载电子对抗系统层面验证性测试的具体需求构建测试环境；分析并选取与之相适应的测试策略和方法；确定合理可行的测试评判要素；同时兼顾软件系统效能评估的特殊要求［4］，从测试环境、测评策略以及评判标准等方面构建出适用于舰载电子对抗系统软件系统性验证测试以及软件系统效能评估的一体化测评框架。

2.2 总体架构

软件系统性验证测试、软件系统效能评估在测试环境、测评策略、评判标准三方面的具体要求构成了舰载电子对抗系统软件一体化测评框架的三维架构，即环境维度、策略维度以及评判维度（如图1所示）。

图1 舰载电子对抗系统软件一体化测评框架三维结构图

环境维度提出了适用于舰载电子对抗系统软件系统性验证测试的柔性测评环境架构，阐述了所需的软硬件资源要求；策略维度与评判维度梳理并分析了舰载电子对抗系统软件系统性验证测试、软件系统效能评估过程中所涉及的特定的策略和方法、评判准则或评价标准。

3 环境维度设计

舰载电子对抗系统软件一体化测评环境架构如图2所示。

3.1 实装被测系统

区别于各分系统/设备独立开展的自身层面的软件系统/配置项测试时所采用的测试环境，舰载电子对抗系统软件一体化测评应基于被测软件运行实装开展，即将被测电子对抗系统所有分系统、设备应按照实装部署要求互联互通后，在其上安装各相关软件，构成被测系统实装运行环境。

图2 舰载电子对抗系统软件一体化测评环境架构图

3.2 作战系统模拟器

作战系统模拟器软件依据作战系统的工作原理、信息流程及接口关系，采用软件仿真的方式，模拟舰载电子对抗系统与作战系统相关分系统或设备，以及其它外部各系统和设备之间的信息交互及业务流程。舰载电子对抗系统与作战系统之间的业务及信息交互关系复杂，必须采用软件仿真自动化测试手段才能确保测试的效率及有效性（测试广度、测试深度）。

3.3 雷达模拟器

雷达模拟器应具备模拟雷达信号生成、被测系统干扰信号接收、干扰效果展示的能力，集成高/中/低重频、相参/非相参、LFM（Linear Frequency Modulation，相位编码）/PE（Phase-encoding线性调频）、线性/对数中放、移动目标检测（Moving Target Detection，MTD）处理/移动目标指示（Moving Target Indication，MTI）处理、恒虚警（Constant False Alarm，CFA）/普通信号检测以及低旁瓣/普通天线等特性，输出信号可覆盖各频段、多种类型信号，支持对各雷达参数、多种雷达体制的组合配置，实现功能多样、性能层次化的雷达模拟能力，尽可能多地模拟出各种潜在目标雷达特性［5］，以满足舰载电子对抗系统软件测试的要求。

3.4 多信号模拟器

多信号模拟器用于向被测电子对抗系统发送不同频点、不同类型的模拟雷达信号，其综合使用软硬件控制的方式集成多个标准信号源，从频率、重复周期、脉宽等信号特性层面构建雷达模拟信号，经天线馈线系统向被测电子对抗系统发射，构建用于测试的来袭模拟雷达信号［6］。

3.5 电磁环境录取及回放系统

舰载电子对抗系统软件系统性验证测试时，可直接使用由装备研制方配套开发的电磁环境录取及回放系统，将实装外场条件下所记录的电磁环境作为背景态势注入被测电子对抗系统，以产生仿真模拟手段无法构建的高逼真度复杂战场电磁态势，为系统软件测评实施提供真实的复杂背景电磁环境。

3.6 电子侦察目标模拟器

电子侦察目标模拟器依据电子对抗系统内外部信息接口协议，从信息层面构建出雷达、光电、通信等各种电子侦察目标及威胁态势，为舰载电子对抗系统软件系统性验证测试提供信息层面的综合目标模拟能力［7］。

3.7 辅助设备

主要包括GPS/北斗定位系统、对讲通信设备、光学瞄准系统、测试转台、云台、测试天线（发射、接收）等各种辅助设备或仪器。

3.8 其它相关要素

主要包括通用接口测试工具、专用测量仪器、软件质量特性分析工具等。

4 策略维度设计

4.1 环境构建策略

4.1.1 实装被测系统裁剪策略

为满足舰载电子对抗系统软件系统性验证测试以及软件系统效能评估的一体化测评要求，应最大程度确保所构建测评环境的实装性和有效性，当由于研发进度、资源调度等各种因素制约，导致实际项目开展无法获取与实装整体状态完全一致的被测系统测评环境时，可适当裁剪被测系统实装，但必须保证所有运行软件的分系统或设备以实装形态参与测试，并进行环境差异性分析。

4.1.2 雷达模拟器构建策略

雷达模拟器应基于半实物仿真及雷达模拟技术，遵循模块化、标准化、开放化设计准则，采用VXI、LXI等先进仪器总线作为底层架构，以确保其实时性、开放性和可维护性，其采用射频注入的方式将模拟信号注入被测系统，采用天线接收的方式接收被测系统发出的真实干扰信号，通过将模拟信号回注与接收干扰信号结合的方式产生回波信号［8］，基于对回波信号及模拟信号的对比展示实现干扰效果的显示。

4.1.3 多信号模拟器构建策略

为构建出涵盖不同频点和类型雷达信号的、逼近真实的模拟电磁空间环境，尽可能提供对实战环境下的潜在敌方目标特性的模拟仿真能力和手段，多信号模拟器可参考RF模型（载波频率模型）、PA模型（脉冲幅度模型）或PRI模型（脉冲重复间隔模型）等成熟算法模型，采用软硬件相结合的手段，以编程方式设置频率、脉宽、脉冲重复周期、调频模式、调频周期、调相编码、子码宽度、天线扫描类型及扫描周期等各类测试所需的雷达信号模拟的参数，实现对多种信号类型的灵活匹配，模拟出脉冲调幅信号（PAM）、线性调频脉冲信号（LFM）、相位编码脉冲信号（PCP）等各种体制雷达所采用的常见辐射信号形式，以提高射频信号模拟器输出信号的有效性。

4.2 电磁态势构建策略

1）基于射频注入的电磁态势构建。使用单台或多个雷达模拟器与被测舰载电子对抗系统互联，即可同时实现模拟信号射频注入、干扰信号接收、干扰效果展示等测试功能，构成电子对抗系统完整测试回路。

2）基于空间辐射的多信号电磁态势构建。多信号模拟器经天线向空间发射多个模拟电子目标信号，被测系统实装接收并进行处理显示，将高精度频谱仪与被测系统发射天线连接，检测干扰效果。

3）综合电磁态势构建。可将雷达模拟器、多信号模拟器、电子侦察目标模拟器以及电磁环境录取及回放系统集成进同一测试环境，综合采用空间辐射、射频注入、信息注入多层次模拟手段，为被测舰载电子对抗系统提供具有真实复杂电磁环境背景，同时覆盖多频段、多信号类型的多目标电磁态势输入。

4.3 测试类型选取策略

舰艇电子对抗系统软件系统性验证测试应为系统级测试，当对分系统或设备有特殊测评要求时，可增加相应的配置项级测试，测试类型选取主要以文档、功能、性能、接口、人机界面、强度、安全性、安装性等测试类型为主［9］。

4.4 系统效能评估方法

测试执行前，梳理并固化被测系统及软件在功能、性能等方面的需求（固化功能基线），依据层级关系构建被测系统的效能结构模型［10］；按照从上到下的顺序，以测试过程中实测数据（缺陷数量）为输入，构建除最底层外的各层各元素（效能项）的缺陷权比判断矩阵［11］；采用最大特征向量法，求解除最底层外各层各元素下属元素相对该元素的缺陷权比，并做归一化处理；求解过程中，应检验判断矩阵的一致性是否满足要求；从被测系统层次结构图的第3层开始，按照从上到下的顺序逐层计算各效能项相对系统的全局缺陷权比［12］。

5 评判维度设计

5.1 问题及缺陷评判准则

问题及缺陷评判准则包括类别评判准则以及严重等级评判准则。类别评判准则通常将问题及缺陷划分为程序、文档、设计以及其他四类，为进一步准确定位和描述所发现的各类问题或缺陷，可将上述通用划分进一步细化并将舰载电子对抗系统功能需求、专业背景代入类别评判准则；严重等级评判准则通常将问题及缺陷划分为致命、严重、一般以及轻微四个等级，为便于进一步对问题或缺陷实施量化分析，消除字面可能引入的二义性，可将严重等级评判准则以定量方式划分为粒度更为精细的多个层次。

5.2 软件质量特性评判准则

软件质量特性评判准则是在舰载电子对抗系统软件系统性验证测试过程中根据测试执行情况以及被测系统及软件运行状态对被测系统软件的质量特性进行判定和评价的依据。

5.2.1 需求满足度

系统软件系统性验证测试应对舰载电子对抗系统及软件的实现相较于系统顶层计划或方案所明确的系统需求的满足度做出定量评价，需求满足度评判指标包括需求覆盖度指标Cr、需求实现度指标Pf以及需求满足度指标Cp：

Cr=1时表明系统及软件实现覆盖了所有要求的需求项，Cr越小表明系统及软件实现对应于需求的覆盖度越小；Pf=1时表明系统及软件实现了所有要求的需求项并经验证合格，Pf越小表明经验证合格的系统或软件实现的需求项越少；Cp越小表明系统及软件对应于需求的满足度越小，当Cp=100%时表明系统级软件的实现经验证与预期需求完全相符。

5.2.2 代码问题及缺陷密度

代码问题及缺陷密度用于描述系统性验证测试所发现问题或缺陷的数量相较于被测系统软件规模的分布情况，常见的代码问题及缺陷密度度量形式为千行代码问题或缺陷率：

千行代码问题或缺陷率=系统性验证测试所发现问题及缺陷数量/被测软件代码规模×1000

5.2.3 代码质量特性评判准则

当在系统性验证测试阶段对被测舰载电子对抗系统软件实施内部质量特性检测时，应参照MISRA、JSFAV等工业规范及相关标准，明确控制流/数据流/表达式分析评判标准、代码质量度量指标等代码质量特性评判准则［13］。

5.2.4 代码特性评判准则

当被测舰载电子对抗系统软件对其编码的某一特性提出明确指标要求时，应建立相应的代码特性评判准则，常见的代码特性评判准则包括：程序处理时间及其余量要求、程序内存占用量及其余量要求等。

5.3 软件系统效能评估准则

5.3.1 检验缺陷权比判断矩阵的一致性评判

通过求解除最底层外各层各元素一致性指标CI（Consistency Index），比对随机一致性指标RI（Random Index），获取一致性比率CR（Consistency Ratio），检验缺陷权比判断矩阵是否满足一致性要求［14］。

5.3.2 单效能项纵向效能评估

通过采集不同测试轮次中实测数据，分析同一效能项所辖下一层各元素对应于该效能项的缺陷权比，实现对某一具体效能项效能实际质量效能的动态监测和评估。

5.3.3 软件系统效能评估

1）软件系统效能横向评估

通过对某一测试轮次中底层或某一中间层各效能项实测数据的采集，求解对应层次的各效能项相对于系统的缺陷权比，实现对某一配置状态系统软件效能实现质量状况的定量分析和评估，从而进一步分析出系统可能存在的质量薄弱点或影响整体效能发挥的瓶颈。

2）软件系统效能纵向评估

基于各测试轮次所获取的系统效能横向评估结果，分析系统整体质量效能的变化趋势和走向，实现对软件系统整体效能实现质量的动监测与评估。

5.4 其他评判准则

其他的评判准则还包括文档规范度、测评活动评判准则等。

6 舰载电子对抗系统软件一体化测评框架运用

在某新型舰载电子对抗系统研制过程中，项目组按照常规在独立实装环境下分别完成了各分系统/设备的相关软件的验证性测试。各分系统/设备在独立实装环境下均开展了2轮4次验证性测试（参见表1），可见经2轮次验证性测试后，被测系统各分系统/设备在独立实装条件下的运行状态已趋于稳定。

表1 某型系统独立实装环境下各分系统/设备验证性测试情况汇总

为深入验证被测系统软件系统整体功能、性能、接口、强度等方面实现的正确性和有效性，项目组采用本文提出的一体化测评框架设计方案，对被测系统整体实装进一步开展了软件系统性验证测试及效能评估（以下简称一体化系统测评），实际所构建的测评构架如图3所示。

图3 系统性验证测试及效能评估测试构架

一体化系统测评分为系统性验证测试、系统效能评估两个阶段组织实施，采用的测评环境基于被测电子对抗系统的系统实装，被测软件运行安置环境实装完整度达到100%，外围模拟环境包括作战系统等外部系统或设备的模拟仿真、电磁态势仿真环境等，构建主要基于已有经验证的模拟仿真手段，仅针对被测电子对抗系统验收试验专研1型雷达模拟器。系统性验证测试实际共执行2轮，所发现的问题情况如表2所示，可见虽然在独立实装环境下各分系统、设备已历经多轮次验证测试，但在全系统实装运行环境下，仍可暴露大量系统性软件缺陷，因此在条件允许的情况下有必要开展系统性验证测试。

表2 某型电子对抗系统一体化系统测评系统性验证测试情况汇总

采用AHP法（Analytic Hierarchy Process，层次分析法）构造效能层次评估指标体系［15］（参见图4）。

图4 被测舰载电子对抗系统效能结构模型示意图

项目组基于测试过程中所发现的缺陷数量，通过计算各层效能项缺陷权比［16］，对被测系统及软件预期效能实现的质量情况进行定量分析和评估，最终得到末端各项全局缺陷权比如表3所示。

基于第1轮系统性验证测试中所发现的239个缺陷，通过分析各功能项在系统中的全局缺陷全比分布情况，项目组认为：1）被测系统及软件整体质量状况不均衡，质量瓶颈出现在内部接口1、性能指标1、电子侦察功能2、电子进攻功能3、外部接口2等效能项中，系统及软件的质量需进一步整改提高；2）系统性验证测试中所发现的各类缺陷均由于系统各分系统/设备采用不正确的方式进行集成、交互、对接所导致，因此在独立实装环境下无法得到充分暴露。

表3 某型电子对抗系统效能项全局缺陷权比

研发方对第1轮系统性验证测试所发现的问题进行整改后，测试组采用同一测评框架对被测系统及软件开展了回归测评，相关测试问题均已解决，未发现新问题，系统性验证测试第2轮测试中所有功能项全局缺陷权比均为0，表明系统软件质量效能在当前所采用的测评框架的系统实装测评环境下已趋于稳定，可转入下一步检测阶段。

7 结语

实践应用表明，在独立实装环境下完成各分系统及设备相关软件的常规性测试后，若时间、资源、人力等条件允许，采用本文提出的一体化测评框架对被测系统进一步开展软件系统性验证测试及效能评估，能够在研制阶段提前暴露更多的系统性软件缺陷，有利于提升系统整体质量水平、降低系统研发及后续验收成本。但目前该一体化测评框架效能评估方案仅以系统验证性测试所发现缺陷问题数量作为输入，下一步可考虑结合缺陷类型、问题严重等级等多种因素，综合使用模糊综合评判法［17］，提高软件系统效能评估的合理性和科学性，实现对被测软件系统效能的整体量化评估。