基于贝叶斯优化的作战仿真方法

常 强，姚 雯，李 群，周炜恩*

(1. 军事科学院国防科技创新研究院，北京 100000；2. 国防科学技术大学系统工程学院，湖南 长沙 410073)

1 引言

仿真是研究战争的重要手段，受到各国军事研究人员的重视。开展作战仿真大致包括确定仿真目的、设计作战想定、建立仿真模型、仿真设计、作战推演、仿真结果分析与评估等步骤。

随着人工智能技术的发展，战争形态将朝着智能化、多域化、体系化方向发展，开展作战仿真涉及的实体规模越来越庞大、每个仿真实体行为越来越复杂，影响仿真结果的因素也越来越多。仿真方案会随着影响因素的增多呈指数级增长。例如，某次仿真目的是探索某型无人机各项性能参数如何取值可最佳达成作战意图。假设该无人机有10个性能指标，每个指标有10个变化水平，则总的仿真方案将达到1010个。假设每次仿真只需要1秒钟，为了提高仿真结果的有可靠性，每个方案运行100次，则总的作战推演时间将长达317年。另一方面，仿真方案的指数级增长，还会生成海量的仿真结果，为仿真数据分析与评估带来巨大的挑战。

因此，智能时代的作战仿真对实验设计提出新的挑战。本文提出贝叶斯优化仿真方法：基于少量实验构建高斯回归模型，通过高斯回归模型指导后续仿真方案设计并开展实验，不断扩充数据集，迭代更新回归模型，从而优化试验方案。与现有实验方案设计方法不同之处在于试验方案事先并不确定，而是通过回归模型给出。该方法的优点在于可显著减少仿真次数，提高仿真效率。

2 常用实验设计方法

实验设计是指制定合理的实验方案，对实验结果进行统计分析的理论与方法[1]，实验设计的目标是使用尽可能少的实验方案取得尽可能好的实验结果。常用的实验设计方法包括：完全随机实验设计、正交实验设计、均匀实验设计、析因实验设计、拉丁方实验设计、正交拉丁超立方实验设计以及近正交拉丁超立方实验设计等。下面首先简单介绍现有典型实验设计方法优点及不足，随后重点介绍与本文算法进行对比的近正交拉丁超立方实验设计方法。

2.1 典型实验设计方法

2.1.1 完全随机实验设计

完全随机实验设计是指随机确定各影响因子水平，并进行实验与数据分析的方法[2]。这种实验设计方法保证每个因子的不同水平都有相同的机会进行取值，而不受实验人员主观倾向影响，又称单因素实验设计。完全随机实验设计适用于条件、环境差异较小的实验，可以采用t分布或者方差分析对结果进行统计分析，但是由于只分析一个因素，不考虑因素之间的差异，因而要求实验对象具有较好的同质性。且未考虑非实验因素的影响，因而实验误差较大，结果的精确性较低。

2.1.2 正交实验设计

正交实验设计[3]基于均匀分散性和正交性的数学思想，采用“充满空间”的抽样方法，从全样本空间中挑选出部分有典型代表的点进行实验。均匀分散性确保样本点有代表性，正交性则使得实验数据便于分析。正交实验设计的主要过程是利用标准化的正交表和交互作用表，对影响因素进行合理安排，并采用方差分析方法对实验数据进行统计处理。正交实验设计是一种高效、快速的研究多因素多水平的设计方法，但是在方案空间很大的情况下设计出的实验方案并不能很好的代表整个空间，容易陷入局部最优。

2.1.3 均匀实验设计

均匀实验设计由王元、方开泰于1978年最早提出[4]，同样采用“充满空间”的抽样方法。与正交实验设计相比，均匀设计摒弃正交性的要求，只考虑样本点在实验范围内均匀散布，可大幅减少样本点个数，从而有可能用较少的试验次数获得预期结果。当样本空间较小时，均匀实验设计的效率和准确率很高。但是，均匀实验设计没有消除变量之间的相关性，可能导致重复实验；且当变量数很多时，设计出的方案较多，实验效率不高。

2.1.4 析因实验设计

析因实验设计[5]将多因素不同水平交叉分组进行实验，可使用方差分析的方法对实验结果进行统计分析。析因实验设计可以准确估计各因素的主效应大小，还能估计因素间交互作用的大小，是一种高效的实验设计方法。但是，当因素和水平较多时，所需要的试验次数过多。因此，有人提出部分析因设计[6](Fractional Factorial Design)，选取高低两个水平，根据需要考察交互作用，采取CCD(Central Composite Design)等方法进行实验设计，该方法可有效减少因素和水平较多时的实验次数。

2.2 近正交拉丁超立方实验设计

NOLH[7]源于拉丁超立方实验设计[8](Latin Hypercube Experimental Design， LHC)，LHC是拉丁方实验设计[9](Latin Squares Experimental Design)的改进。

拉丁方实验设计是一种采用拉丁方(Latin Square)安排实验方案的实验设计方法。拉丁方是指由拉丁字母组成的正方形排列，每个字母在每一列与每一行的中只能出现一次。采用该方法进行实验时，实验精确性比随机实验设计高，结果分析简便。但是，当实验同时研究的因子多于三个，或者三个因子水平数不同时，无法采用完整的拉丁方设计方法，人们提出改进方法，包括不完全拉丁方设计[10](Incomplete Latin Squares)、LHC等。不完全拉丁方设计是一种用尤登方(Youden Square)安排实验方案的实验设计方法。尤登方的行列数不相等，可用于处理因素较多的实验，实验结果分析与拉厂方设计类似。拉丁超立方实验设计则是一种修正的蒙特卡洛方法，适用于影响因素较多的情况，可显著减少实验规模。但是，当影响因子较多时，该方法设计的实验方案空间填充性较差。

基于上述不足，Cioppa等人于2002年基于均匀分散性和正交性要求，对LHC进行了扩展并提出NOLH[7]，该方法不仅在一定程度上满足正交性，还具有很好的均匀性。Sanchez等已将该方法编成工具可免费下载使用[11]。Travis[12]、周威[13]、李群[14]分别基于该方法开展仿真，结果表明，采用NOLH方法仅需要少量实验就能得到较好的方案。

然而，随着仿真规模的扩大，现有实验设计方法仍难以满足研究需求。以文献[13]中的仿真想定为例，该论文采用NOLH方法可将1.145万亿规模的样本空间缩减到512个方案，且能够保证正交性和均匀性。为排除随机因素影响，保证结果的有效性，每个方案采用不同随机数种子运行100次，假设每次想定运行时间约为2秒钟，则完成一次实验约需30个小时。为了提高仿真效率，基于贝叶斯优化理论，提出一种新的实验方法，在保证结果有效性基础上，进一步减少仿真运行次数。

3 基于贝叶斯优化的作战仿真方法

通过作战仿真在海量样本空间寻找最优方案过程中，面临着目标函数形式未知而无法利用梯度信息或者目标函数的计算带有不确定性而无法准确估计等问题，难以找到最优实验方案，因此通常会使用均匀设计、正交设计、析因设计、拉丁方设计等实验设计方法，对全空间进行搜索。然而，作战仿真涉及的实体规模越来越庞大、每个仿真实体行为越来越复杂、影响仿真结果的因素越来越多，传统方法设计的实验方案仍十分庞大，难以快速、准确找到最优实验方案。

贝叶斯优化方法常应用于求解高维复杂黑箱优化问题[15]，即问题具有下列特点：

1)目标函数形式未知，无法利用梯度信息；

2)目标函数的计算需要花费大量资源；

3)目标函数的计算带有不确定性。

上述三个特点符合仿真过程中最优方案选择问题的特点，本文基于贝叶斯优化提出新的作战仿真方法。

贝叶斯优化实验方法：

输入：目标函数f，采集函数A，迭代次数T

初始采样得到数据集D

for i=|D|:T do

利用高斯回归模型求预测分布p(y|x，D)

利用采集函数与高斯回归模型进行采样

xi←arg maxx∈XA(x)

计算函数值yi=f(xi)

扩充数据集D←D∪(xi，yi)

end for

采集函数选用EI(Expected Improvement) 函数：

A(x)=Ey～p(y|x，D)[max(0，y*-y)]

(1)

其中y* 为当前最优函数值。下面，以文献[13]中的仿真想定为例，对本文提出的算法进行验证。

4 仿真验证

文献[13]中的想定是：蓝方航母战斗群(Carrier Strike Group， CSG)通过有人、无人机协同，突破红方空中巡逻区域，对岸舰导弹阵地进行打击，仿真目标是如何配置无人机各项指标使阵地毁伤率最高，且自身损失率最低。论文采用近正交拉丁超立方实验设计方法，将1.145万亿个实验方案压缩到512个，每个方案运行100次。为了便于分析，本文首先基于51200组实验数据，采用梯度提升回归树(Gradient Boosting Regression Tree， GBRT)[16]，对CSG损失率、蓝方生存率分别建立代理模型。代理模型中的误差函数为均方误差 (Mean Square Error， MSE)，超参数运用 10-fold 交叉验证(Cross Validation)配合贝叶斯优化进行选取。对两个代理模型分别考虑每个因素的加权 Gini 指数，得到各因素重要性视图，如图1所示。

图1 因素重要度排序

可以看到，对CSG损失率影响最大的因素为 GBU31 命中概率，随后是蓝方飞行速度、AIM120命中概率、无人机数量、对无人机探测概率，其它因素影响较小。对蓝方生存概率影响最大的因素为AIM120命中概率，随后是AIM120攻击距离、F35数量、蓝方飞行速度、对无人机探测概率，其它因素影响较小。

随后，将本文提出的贝叶斯优化试验方法和近正交拉丁超立方实验设计方法进行对比。贝叶斯优化目标综合考虑CSG损失率、蓝方生存率，同时人为设定武器装备的使用代价：无人机数量=1，F18数量=5，F35数量=10，UCAS武器数量=1， 单架飞机携带AIM120数量=1.5，单架飞机携带AIM9数量=1。目标函数形式为

(2)

其中C(x)为CSG损失率函数，S(x)为蓝方生存率函数，cost(x)为使用代价，cos tMax为代价归一化因子，λ为调整系数。

基于Seas平台开展仿真验证，该平台与文献[13]使用的平台相同，由国防科技大学系统工程学院军事建模与仿真系开发。实验比较了GBRT代理模型与贝叶斯优化试验方法，对装备性能概率参数选取如下：GBU31命中概率=0.5，AIM120命中概率=0.5，AIM9命中概率=0.5，对无人机探测概率=0.05，对F18探测概率=0.4，对F35探测概率=0.05，目标函数下降曲线如图2所示。

图2 目标函数曲线

从图2可以看出，相对于近正交拉丁超立方实验设计方法，寻找相同作战效能的试验方案，贝叶斯优化试验方法所需的实验次数减少约90%；在相同时间条件(运行100次)，新方法找到的实验方案作战效能提高约6%。

5 结论

针对作战仿真规模越来越大，影响因素越来越多的问题，人们提出了很多实验设计方法尽可能减少实验次数，获取更好的实验结果。

本文基于序贯实验设计思路，提出贝叶斯优化实验方法：首先，基于少量实验构建高斯回归模型；随后，利用回归模型预测仿真结果的分布，基于结果分布，确定下一次实验方案；最后，利用预测的试验方案进行实验并将实验结果用于更新高斯回归模型。通过上述三个步骤反复迭代，可有效降低实验方案个数，快速找到最佳实验方案。

仿真结果显示，寻找相同作战效能的试验方案，新方法所需的实验次数减少约90%；在相同实验次数约束下，新方法所找到的实验方案作战效能高约6%。未来，将在更大规模仿真场景中，对新方法进行验证并改进。