考虑时域稳定性的军事信息系统运维性能评估

刘 彬， 张杰勇， 钟 赟,2， 孙 鹏

(1.空军工程大学信息与导航学院，西安, 710077；2.空军工程大学装备管理与无人机工程学院，西安, 710051)

随着信息网络技术在军事领域的广泛应用，军事信息系统成为影响体系作战效能的关键因素[1]。军事信息系统作为军队战斗力的“倍增器”、作战体系要素的“黏合剂”和作战指挥控制的“神经中枢”[2]，是各级指挥所和指挥员开展作战指挥控制活动的必要手段，对其运行维护水平进行定期定量评估，有利于促进军事信息系统的建设和发展。

军事信息系统评估涉及的对象、内容和层次复杂，主要包含指标体系建立、指标权重确定和评估结果生成等基本步骤。根据评估方法的不同，军事信息系统评估包括云模型方法[3]、灰色理论[4]、模糊神经网络方法[5]、系统动力学方法[6]和区间方法[7]等。根据指标权重确定方法的不同，主要包括主观权重确定法、客观权重确定法和组合权重确定法。在实际评估问题中，可根据需要采用相应的权重确定法。

对于军事信息系统评估工作，存在不同视角下的多样化研究成果。文献[8]针对面向服务构建军事信息系统过程中的不同生成方案，从服务组合方案和服务部署方案两个方面出发建立指标体系，并按照专家意见一致性集结和基于指标相对优势关系评估的顺序进行高效生成方案评估。文献[9]从军事信息系统体系作战能力角度出发，建立包含信息基础支撑能力、要素能力和任务能力在内的分层指标体系，基于相应评估方法，提出评估支撑平台的建设思路，并结合典型案例验证提供了对军事信息系统评估实践的重要参考。文献[10]针对军事信息系统应用层攻击问题，建立三级评估指标体系，采用双因子主客观组合赋权法确定指标权重，并建立具有学习机制和改进能力的模糊隶属函数，进而设计包含单一和多种攻击效能的系统应用层攻击评估方法。文献[11]针对指挥信息系统综合评价问题，采用主观层次分析法和客观CRITIC法确定指标权重，并基于接近理想解排序方法进行系统评估排序。文献[12]针对军事信息系统运维人才能力评估问题，建立包含基本素质维、业务知识维、岗位技能维和运维行动维的指标体系，构建人才能力评估结构方程模型，并进行参数估计与检验，最后给出人才能力评估模型的思考建议。

根据对上述已有研究成果的分析，提出以下可以进行拓展研究的方面：①当前对于军事信息系统运维性能进行评估的研究相对较少；②在指标权重的确定过程中，主客观信息融合方式和程度不够科学合理；③当前研究大多属于瞬时评估，未引入时间维影响进行动态评估。

1 系统运维指标体系及评估模型构建

军事信息系统运维是系统运维人员按照特定的方法手段和规章流程，对军事信息系统各类环境、设备和软件进行日常维护和综合管理的活动[13]，对其评估主要包括指标体系和模型构建两个部分。

1.1 指标体系构建

以某飞行保障军事信息系统为例，军事信息系统主要包括网络运行子系统、安全防护子系统、文电传输子系统、视频监控子系统、指挥控制子系统和情报保障子系统。

按照客观独立、完备可测的指标体系构建原则，确定军事信息系统运维的“6+20”指标体系。图1为典型飞行保障军事信息系统运维性能评估指标体系。

图1 系统运维性能评估指标体系

其中，网络运行维、安全防护维、文电传输维、视频监控维、指挥控制维和情报保障维为一级指标，网络运行维包含网络带宽、网络延迟、网络丢包率、网络吞吐量和网络连通率5个二级指标，安全防护维包含日均病毒告警次数、安全检查漏报率、安全策略添加率和硬件设备安全性检测率4个二级指标，文电传输维包含文电传输时效性和文电传输准确率2个二级指标，视频监控维包含视频区域覆盖率、视频呼点应答率和视频音频质量3个二级指标，指挥控制维包含系统支撑能力、系统冗余备份能力和软件容错能力3个二级指标，情报保障维包含情报完整率、情报时效性和情报精度3个二级指标。对于所有指标，指标类型包括效益型指标和成本型指标两类，效益型指标越大越好，成本型指标越小越好。

1.2 评估模型构建

实际上，军事信息系统作为长期运行系统，对其进行综合评估，需要同时考虑系统运行水平和运行稳定性两个方面。与传统性能评估不同的是，考虑时间维影响的性能评估是通过构造评估系统在不同评估时点上运维综合性能，形成完整时域上的系统运维性能评估结果。由于考虑时间维影响的性能评估是综合考虑对象、指标和时间的三维评估问题，故具有一定的复杂性。在指标的初始取值方面，均由系统进行实时采集或阶段性数据累积计算得到，如网络带宽、网络延迟可以通过网络分析软件实时获得，日均病毒告警次数、安全检查漏报率可以通过上级监控系统统计生成。在得到初始数据基础上，可采用相应的规范化方法进行处理。对于效益型指标和成本型指标，规范化方法分别为:

(1)

(2)

式中：x*为规范化后指标值；xmax为指标最大值；xmin为指标最小值。

首先，对系统运维性能评估的关键要素进行定义。令评估系统集合为S={s1,s2,…,sM} ，其中，M为评估系统的数量；令属性指标集合为A={a1,a2,…,aN} ，其中，N为属性指标的数量；令评估时点集合为T={t1,t2,…,tP} ，其中，P为评估时点的数量。令系统sm(1≤m≤M) 在时点tp(1≤p≤P) 的第n(1≤n≤N) 个经过规范化处理的属性指标取值为xmnp，则所有这样的属性指标取值构成三维数据矩阵X。综合考虑系统运维性能评估的各方面因素，可以建立评估模型为：

(3)

式中：wnp为指标an在评估时点tp的权重，通过主客观信息综合给出，用于衡量不同指标对系统运维性能的影响大小；rmn为评估系统sm在指标an上的稳定性因子，一般而言，指标的稳定性越强，则该指标对系统运维性能的正向影响越大；ωp是评估时点tp的权重，用于衡量不同评估时点对系统运维性能的影响大小。

从式(3)可以看出，考虑时域稳定性的军事信息系统运维性能评估模型综合考虑了指标大小、指标权重、评估时点权重和指标稳定性4个方面因素影响，实现了对军事信息系统运维性能从瞬时评估向动态评估的转变。

对于评估系统sm在指标an上的稳定性因子rmn，采用评估系统sm的指标an在不同评估时点取值xmnp的方差值倒数进行度量，计算公式为

(4)

(5)

2 指标权重及评估时点权重确定

2.1 基于主客观信息综合的指标权重确定

考虑主观信息确定指标权重过程中，首先由专家集合中具有不同权威度的多名专家集体给出各自的指标权重赋值，然后建立相应的主观指标权重确定模型，最后通过对模型的求解可以得到主观指标权重。

若专家集合为Z={z1,z2,…,zQ} ，专家zq(1≤q≤Q) 的权威度为φq。假定在评估时点tp，定义专家zq对指标xmnp的指标偏好度ζmnpq由专家给出指标权重值δnpq、专家权威度值φq和指标值xmnp共同决定，即有：

ζmnpq=δnpqφqxmnp

(6)

由于经验知识的差异，不同专家的指标偏好度各不相同。综合考虑不同专家的指标偏好度，得到指标xmnp的专家平均偏好度ζmnp为：

(7)

根据主观信息确定指标权重过程中，主要考虑使得指标xmnp的专家平均偏好度ζmnp及其实际值xmnp两者之差绝对值的加权值最小，即可建立相应权重确定模型为:

(8)

考虑客观信息确定指标权重过程中，主要采用基于离差最大化的指标权重确定方法。基本思想是若所有评估系统在某指标下的取值差异越小，则该指标对系统运维性能的影响程度越小，应赋予较小权重；反之，若所有评估系统在某指标下的取值差异越大，则该指标对系统运维性能的影响程度越大，应赋予较大权重。假定在评估时点tp，定义评估系统sm与其他评估系统sm′在指标an上的离差dmnp为

(9)

(10)

由此，可以建立基于离差最大化的客观指标权重确定模型为:

(11)

综合主观和客观信息，可以建立基于主客观信息综合的指标权重确定模型为式(12)；为求解如式(12)所示的规划模型，构造拉格朗日函数Lp(wnp,λ) 为式(13)，根据取Lp(wnp,λ) 极值条件，分别对wnp和λ进行求导，并令相应导函数为0，即有式(14)；联立式(14)和式(15)，可求得式(16)；对所有wnp进行归一化处理，可求得式(17)。

(12)

(13)

(14)

(15)

(16)

(17)

2.2 基于方差最小化的评估时点权重确定

评估时点权重向量Ω=(ω1,ω2,…,ωP) 的确定是军事信息系统运维性能评估的关键一环[14]，评估时点权重方法主要包括熵值法、方差法和极小范数法。本文主要采用方差法确定评估时点权重。

首先，定义评估时点函数ρ为:

(18)

评估时点函数ρ具有一定的实际特性，当Ω=(1,0,…,0) 时，ρ=1；当Ω=(0,0,…,1) 时，ρ=0；当Ω=(1/P,1/P,…,1/P) 时，ρ=0.5 。因此，若ρ越接近于1，则远期评估时点的权重相对越大；若ρ越接近于0，则近期评估时点的权重相对越大；若ρ越接近于0.5，则各评估时点的权重相对较为均衡。

方差法的具体原理为在给定评估时点函数ρ情况下，选取一组评估时点权重使得权重方差D(Ω) 最小，具体计算式为:

(19)

可以建立基于方差最小化的评估时点权重确定模型为:

(20)

(21)

根据r值和s值取值情况，可以将ρ∈(0,1)的取值情况采用析取式形式表征，即有:

(22)

(24)

(25)

(26)

通过满足式(23)的给定ρ值，就可以通过式(24)～(26)计算最优评估时点权重值。

3 仿真算例分析

为验证相关方法的有效性和可靠性，在CPU核心频率为2.27 GHz的计算机上，基于MATLAB2021a仿真平台开展相应仿真验证工作。

在参数设置方面，令参与评估的军事信息系统数量N=5，令参与决策的专家数量为Q=3，权威度分别为0.58、0.65和0.83。

在确定评估时点权重时，令评估时点数量P=5，则根据式(23)，评估时点函数值ρ的取值范围为[0.25,0.75]。若在评估过程中，更加注重近期运维性能，则令ρ取值为一较小值。根据式(24)～(26)，可计算得到最优权重向量为Ω*=(0.12,0.16,0.20,0.24,0.28)，可以看出越是近期评估时点，其权重值越大，符合理论分析的结果。

表1为各评估时点下各评估系统的典型指标取值情况。表2为各评估系统指标的稳定性因子取值情况。表3为各评估时点下指标权重大小。

分别取ρ为不同值，分析评估时点函数ρ对评估结果的影响。表4为ρ在不同取值下的评估结果。可以看出，当ρ值取为0.9时，评估结果分别为15.290 5、11.861 9、10.030、15.245 5和10.533 4，系统运维性能从优到劣依次为s1>s4>s2>s5>s3；而在其他取值时，系统运维性能从优到劣依次为s4>s1>s2>s5>s3。因此，ρ的取值越趋于1，对系统s1和s4的优劣相对关系影响越大。

令ρ=0.4，将本文方法和未考虑稳定性方法、文献[15]方法进行对比，各方法的评估结果见表5。

表1 关键性指标取值情况

表1(续)

表2 关键性指标的稳定性因子

表3 关键性指标的权重大小

表4 不同时点函数ρ取值评估结果

表5 不同方法评估结果

从表5可以看出，考虑稳定性方法与文献[15]方法的排序情况一致，而未考虑稳定性方法在s3和s5上与其他两种方法存在差异。这是因为考虑稳定性方法与文献[15]方法在评估模型中均考虑了指标动态变化的影响，评估结果更加全面。

4 结语

考虑到军事信息系统运维性能评估是一个多时域连续问题，本文提出了一种考虑时域稳定性的系统运维评估方法。结合某飞行保障军事信息系统运维实际，构建评估指标体系；在系统运维评估模型中，综合考虑各评估时点及指标稳定性的影响；分别基于主客观信息综合和方差最小化思想，通过一定运算法则确定指标权重和评估时点权重；最后，通过仿真算例验证了方法的有效性和可靠性。本文所提出的运维性能评估方法，可为军事信息系统以及其他类似系统的运维评估提供一定方法借鉴。