基于体系仿真大数据的效能评估方法

胡鑫武，罗鹏程，张笑楠，王 骏

（1.国防科技大学系统工程学院，长沙 410073；2.湖南和信智仿信息科技有限公司，长沙 410013；3.解放军93123 部队，辽宁 辽阳 111000）

0 引言

随着复杂系统仿真技术、计算能力和数据管理能力的发展，仿真模型粒度越来越细，体系仿真实验因子多、因子空间规模大、因子间关系复杂并存在组合约束，而且对体系对抗中的大规模、复杂相关、不确定、智能、自适应等特性的仿真能力也逐渐增强。与此同时，仿真数据逐步呈现大数据特点，评估指标之间也存在维度高和信息冗余、高度相关等突出问题。

传统的体系效能评估分析方法如AHP 分析方法［1］、组合赋权评估法［2］、模糊综合评估法［3］、灰色关联评估法［4］等，难以对海量的仿真数据进行充分挖掘和探索，造成对体系仿真大数据高价值性的应用严重不足，而且需要专家分配评价属性的权值，相应的评估分析结论也不充分。针对体系仿真大数据等特点和评估指标体系高维度、高冗余、高相关等突出问题，开展结合深度学习技术的智能化评估技术研究，可望利用体系仿真大数据提供的大量训练样本，建立相应的智能化评估模型，为更加全面地探索实验设计空间、评估和优化体系效能等提供新的技术途径。

1 体系效能评估

体系（System of Systems，SoS）的基本含义是由系统组成的系统，体系具有演化性、适应性、学习性等特征［5］。国军标对效能进行了定义，即效能为武器装备在“规定的条件”下达到“规定使用目标”的能力。与之对应的效能指标旨在反映目标的实现程度。

体系仿真的效能评估问题随着体系仿真技术不断成熟变得日益凸显，将效能评估与眼下发展火热的深度学习技术结合成为必然趋势。

1.1 体系仿真的效能评估问题研究现状

体系效能评估主要包括6 种评估模式［6］，包括基于专家判断的效能评估、基于先验知识的效能评估、基于数学建模的效能评估、基于仿真的效能评估、基于靶场试验的效能评估、基于实战的效能评估。显然针对目前大数据环境，采用数学建模与仿真的方法更适用。

黄建新［7］等人提出采用基于Agent 建模仿真的方法进行体系效能仿真开发和评估，通过构建智能Agent 实现复杂系统的关系刻画。但是目前Agent 的建模、交互问题研究仍不够完善。文献［8］采用面向C4ISR 的网络特征分析方法进行效能评估，采用信息流的方式分析网络化C4ISR 系统，定义了3 种系统结构时效性分析指标来反映整个作战过程的时效性。文献［9］提出通过构建神经网络来选取指标，通过神经网络预测模型挖掘对影响效能评估结果的主要因素，能够减少在指标选取上对评估结果的影响。

1.2 大数据特征

复杂系统仿真技术、计算能力和数据管理能力不断发展，仿真的规模不断增大，仿真模型粒度越来越细，仿真包含的参数指数增长。仿真规模增大对数学建模的要求也不断提高。模型的复杂度不断提升，这导致仿真模型计算效率不断下降，运行一个完整仿真模型更加耗时。仿真过程产生的指标统计结果也显得更加庞杂。解决仿真效率低下以及指标庞杂的一个有效办法，就是采用深度学习技术重构仿真过程用于效能评估研究，采用新数据处理方法进行指标筛选与降维。

1.3 效能评估新难题

1）体系仿真技术不断发展，仿真涉及的数量不断增加，加大了效能评估模型的构建难度，传统的小数据模式和专家定性判断已不适用。

2）仿真得到指标统计结果庞杂，加大了指标体系构建难度，需要结合新的数据处理方法开展数据筛选、数据降维。

3）现有的效能评估方法只能满足静态条件下单方的评估，不能满足动态、整体、对抗条件的评估需要。

4）效能评估逆问题的需求，从给定体系效能需求，要求得到最优的体系方案。正问题用于从准备好的体系方案之间的排序选择，而效能评估的逆问题则是从所有符合条件的方案中寻优。显然效能评估的逆问题更具有现实应用意义。

2 深度学习技术与系统效能评估

2.1 深度学习目前的应用

目前体系仿真技术不断发展革新，仿真背景与仿真模型逐渐逼近实战，整个仿真过程趋于大数据形态，无疑增加了仿真体系效能评估难度。

使用神经网络方法进行体系仿真效能评估的研究国内较多。文献［10］设计了BP 神经网络评估方法用来解决通信电子防御作战中的效能评估问题，并引入了云模型对作战数据进行处理，利用BP神经网络的非线性学习能力训练得到评估结果。文献［11］提出了一种基于灰色AHP 理论的数据链系统BP 神经网络效能评估模型。构造三层BP 神经网络模型，以专家的知识与经验作为输入，以灰色AHP综合效能评价值作为输出训练网络。该模型运用BP神经网络非线性拟合的优势继承并有效聚合了专家的知识与经验，结果与专家评定一致。文献［12］提出了基于神经网络的雷达抗干扰效能评估方法，实例结果表明，该评估方法能客观、定量地评估雷达抗干扰效能，具有一定的实用性。文献［13］研究末敏子弹效能优化问题，通过构建灰色神经网络得到命中概率的预测模型，并采用遗传算法对网络权值阈值进行优化。与相关实验数据对比，预测模型及优化结果具有一定可靠性。

2.2 存在的问题

可以看出神经网络技术在作战效能评估上的应用比较广泛，能够利用其自学习能力完成评估任务。但是目前研究使用常规前馈神经网络为主，缺少在神经网络结构上的创新性研究，导致模型功能不足，结果预测的准确性有待提高。

3 深度学习的研究进展

深度学习（Deep Learning，DL）术语于1986 年首次被机器学习引入，后在2000 年被用于人工神经网络（ANN）的研究［14］。深度学习技术通过建立与人脑机制相似的神经网络来处理信息，从而实现有监督或无监督式的特征学习与分层特征提取，以及数据的分类与模式识别［15-16］。

3.1 深度神经网络模型架构

下面介绍一些较新的神经网络模型架构。

AlexNet［17］并没有出现质的飞跃，模型性能的大幅度提升是因为更好的处理器能够处理更多的隐藏层，Alex 架构如图1 所示。

图1 AlexNet 架构

VGG［18］网络采用了一个简单的标准：只有步长为2 的2×2 padding 和步长为1 的3×3 卷积（带有一个大小为1 的padding），因此，通过卷积操作保存了图像宽度与高度的大小，VGG 架构如图2 所示。

图2 VGG 架构

GoogleNet［19］引入新型层：inception 层。GoogleNet不通过简单的池化、卷积或全连接操作从CNN 的一个层到达下一个层，而是平均下列架构的结果，如图3 所示。

图3 GoogleNet 的inception 层

ResNet［20］架构接着堆栈大量残差模块，从卷积池层开始，以池化操作结束，从而获得一个输出函数可以直接应用的全连接层。ResNet 在一些常见的训练集中都达到了业内最佳的结果（如CIFAR、MNIST 等）。

Highway［21］是一种可学习的门限机制，在此机制下，一些信息流没有衰减地通过一些网络层，适用于SGD 法。

图4 Bottleneck 残差架构

图4 是Densnet 网络［22］的经典dense block 结构示意图，dense block 中每一层的输入都是来自前面所有层的输出，每一层输出都会作为后面层的输入。也就是说最后通道的叠加，通道数是变化的。在Densnet 中相当于每一层都直接连接输入和损失，因此，就可以减轻梯度消失现象，这样更新网络不是问题。

图5 dense block 结构

神经网络的奠基人Hinton 最近提出了Capsule［23］，该网络中Capsule 表示为一组神经元，其输入输出向量表示特定实体类型的实例化参数。使用输入输出向量的长度表征实体存在的概率，向量的方向表示实例化参数，例如姿势（位置、大小、方向）、变形、速度、反射率、色彩、纹理等等。

3.2 自编码神经网络

体系仿真得到的指标多而庞杂，且存在大量冗余和相关性高的数据，因此，需要进行降维处理，将指标项目进行约减。

数据降维方法主要包括以主成分分析（principal component analysis，PCA）［24-25］为代表的线性投影法、以核主成分分析（kernel principal component analysis，KPCA）［26-27］为代表的核方法、以等距映射算法（isometric mapping，ISOMAP）［28-29］为代表的流形学习算法和以自编码神经网络（Autoencoder）［30-31］为代表的深度学习方法，以及其他一些新提出的方法［32-34］。

其中，线性投影法不能解决非线性数据降维问题，而核方法、流形学习等非线性方法计算复杂度高，并且隐含层较少，复杂问题表现能力有限。为此，Hinton 等人［30］提出了一种用于自动提取特征的自编码深度学习方法。通过构建具有很多隐层的深度学习模型实现对训练数据进行编码/解码学习，提取能够更加反映样本本质的高级抽象特征，保证在重构误差最小策略下实现数据降维，提升分类或预测的效率。

文献［31］为了提高支持向量机SVM 的分类效率，采用自编码神经网络深度学习方法，实现高维、非线性高分辨率距离像功率谱的数据降维。仿真结果显示，自编码神经网络的降维效果远好于核主成分分析和等距映射算法，其降维结果对SVM 分类结果影响甚微，但大幅缩短了SVM 的计算时间，同时在隐层节点数相同的情况下，随着隐含层数的增加或者深度的增加，自编码神经网络数据降维及特征提取效果更好。

3.3 神经网络参数训练

构造的神经网络需要通过严格的训练才能用于评估分析中，参数优化能够大大提高模型的训练准确度。调节的参数包括神经网络的层数、每层神经元的个数、初始化权重、正则化参数、学习率等，除人工调整这些参数外还可以通过智能算法进行参数的优化求解。

通过智能算法寻找神经网络的参数组合能够帮助建立最优神经网络，提高网络的预测能力。常见的智能算法有粒子群算法［35］、遗传算法［36］、人工蜂群算法［37］等，文献［38］采用反向传播算法、萤火虫算法、模拟退火算法、入侵杂草优化算法和混合蛙跳算法，对神经网络的参数进行优化，训练得到评估结果表明模拟退火算法的优化效果最佳，实验误差最小。

神经网络的训练函数选择也比较多，针对数据特点选择合适的训练函数、转移函数、学习函数，能够有效提高神经网络的学习能力。文献［39］通过试错法对神经网络进行参数优化，训练函数选择包括：LM 算法（Liebenberg-Marquardt，LM），BFGS 算法（Broyden Fletcher Goldfarb Shanno，BFGS）和自适应学习算法（adaptive learning algorithms）；转移函数选择包括：PURELIN、LOGSIG 和TANSIG，学习函数选择包括：梯度下降（Gradient Descent，GD）和基于动量的梯度下降（Gradient Descent with Momentum，GDM），通过对比实验得到最优的参数设计。

神经网络的学习函数还包括基于动量两步更新的随机梯度下降法（SGD Nesterov Momentum）、能够自适应地为各个参数分配不同学习速率的Adagrad、针对RNN 最好的优化器RMSprop、对每个权值都计算自适应的学习速率的Adam 等［40-42］。

4 基于仿真大数据的评估方法

深度学习技术的发展为原本难以处理的大数据问题提供了解决办法。基于仿真大数据的效能评估问题也可望结合深度学习技术得到突破。

首先针对评估指标体系高维度、高冗余、高相关等问题，对仿真数据进行数据筛选和降维处理。相比传统的数据降维方法，自编码神经网络会有更好的降维效果，其能够学习出数据中蕴含的特征，得到综合评价指标。

大数据环境下的体系仿真往往包含庞大的数学模型，仿真过程比较耗时，此时可以采用深度神经网络对仿真过程进行重构。利用体系仿真大数据提供的大量训练样本，结合降维得到的综合指标，建立相应的智能化评估模型。

基于深度神经网络的评估模型只需要输入仿真的参数选择，就能够得到其对应的综合评价结果。深度神经网络能够对仿真数据进行充分的学习，能够挖掘出仿真数据蕴含的丰富信息，为更加全面地探索实验设计空间、评估和优化体系效能等提供新的技术途径。

5 结论

本文介绍了体系效能评估的研究进展，及其目前存在的问题。介绍了深度神经网络的最新架构，指标约简的常用方法，指出自编码神经网络具有较好的降维效果。当前已有不少基于神经网络的效能评估技术研究，但是针对多指标的效能评估研究较少，且采用的网络模型过于简单，而实际体系仿真往往会统计大量的指标项，数据量不断增加，对模型的学习能力要求不断提高。因此，对指标进行合理的约简、使用高效的神经网络模型是下一步研究的重点。