基于Web的通用效能评估仿真架构实现研究

(中国运载火箭技术研究院 研发中心，北京 100076)

0 引言

效能[1]是指在规定条件下达到规定使用目标的能力。效能评估[2]指对某种事物或系统执行某一项任务结果[3]或者进程的质量好坏、作用大小、自身状态等效率指标的量化计算或结论性评价，广泛用于军事、科研、制造行业，也可用于评估某种计划、工程。随着效能评估重要的突显，各行业各领域对效能评估的需求极大增加，效能评估任务趋于复杂化、系统化、体系化，传统针对效能评估软件主要是从效能评估算法开发方面创新[4]，对效能评估流程的创新很少[5-7]。

本文首先提出基于任务驱动和角色审核的评估流程与任务管理模式，解决效能指标分解和完整性审核难题。基于数据采集挖掘、统计分析等多种先进的智能技术，将仿真系统产生的海量数据引入效能评估仿真分析环节，使得效能评估过程可有效利用仿真真实数据，提高效能评估结果的可信性。构建基于脚本引擎调用的效能评估算法集成与扩展，提升了效能评估仿真框架的通用性和扩展性。最后，采用B/S模式，基于Web架构，完成了通用效能评估仿真架构实现，提升了效能评估系统的通用性和扩展性，提高了效能评估工作效率。

1 基于Web的通用效能评估仿真架构

利用Web架构设计效能评估仿真架构，可在Web浏览器中访问应用系统，突破了传统单机软件的限制，可有效解决复杂系统效能评估中多个专业指标协同分解、效能评估流程管理、效能指标聚合等，为效能仿真平台系统的便捷部署和大规模应用提供了基础。

1.1 功能架构设计

基于Web的通用效能评估仿真架构系统功能架构分为三层，分别为数据层、服务层以及应用层，其功能架构如图1所示。数据层主要包括任务数据以及效能评估模型数据，是系统开发和运行所需的以及产生的相关数据资源集合，通过数据服务接口向上层提供统一数据访问和存储服务；服务层包括流程服务，任务管理服务，评估算法库，评估算法执行器以及仿真数据集成服务，实现了系统运行共性服务模块，提高系统模块化程度；应用层主要包括评估流程与任务管理，需求指标建模，指标评估，仿真数据集成以及多方案对比分析，是效能评估者直接接触和使用的工具，与用户通过交互，完成效能评估全流程仿真。

图1 功能架构设计

1.2 应用模式设计

传统效能评估系统主要是对效能评估算法的集成，从使用便捷和系统扩展性来说，都有很多遍不便的地方，本系统为解决传统效能评估系统的应用局限，对评估模式进行了创新，基于评估流程化管理方式，实现任务驱动执行、任务导航和数据的自动流转。基于此效能评估过程主要分为5个步骤进行，分别为指标分解建模，指标完整性审核，评估算法选择与赋值，权重赋值以及评估计算及结果。

整个效能评估过程由流程进行驱动，并由流程进行任务的初始化以及任务过程控制，从而保证从效能评估模型建模到效能评估整个过程的规范性。在指标分解建模环节建立效能评估模型，并将模型在指标完整性审核环节进行审核，保证效能模型的完整性和正确性。通过完整性审核后即可选择效能评估算法，并对指标模型进行赋值操作，在该环节可以引入综合突防仿真数据。完成算法选择与赋值后并指标模型各项评估指标进行权重赋值，完成前四项工作后即可进行效能评估，并得出评估结果，具体效能评估流程如图2所示。

图2 效能评估流程

2 通用效能评估系统开发

通用效能评估系统采用B/S架构，用户可通过浏览器直接访问应用系统，能够实现多用户同时登陆，完成协同效能评估。系统前端采用设计流程图(Raphael)进行矢量绘图，利用fusioncharts做统计分析图，保证系统对各浏览器的兼容性。数据库采用mysql关系型数据库，服务层采用springmvc框架对外提供轻量级的http接口服务。

通用效能评估系统由指标评估流程与任务管理，效能指标体系动态建模工具，指标效能评估算法库，效能多方案对比和仿真数据集成模块5个模块组成，系统软件架构如图3所示。

图3 系统软件构构成

2.1 评估流程与任务管理

指标评估流程采用流程化的方式管理效能评估活动，实现任务的驱动执行，任务导航，以及数据的自动流转。评估流程与任务管理模块主要的功能包括任务导航、任务回跳、任务驱动执行。流程图中一个节点代表一项任务活动，流程采用不同的颜色区分任务活动状态。

2.2 效能指标体系结构动态建模

效能指标体系结构分解对应于整个任务的指标分解环节。指标体系结构分解通过建模工具实现，可用于对体系效能各专业指标进行建模，对指标提升指标分解的可视化和便捷性。通过该模块可以满足对的可用性、可信性、能力指标体系进行动态建模，利用树状，网状或环状等视图对指标模型进行展示，同时完成对指标体系的编辑等。该模块指标建模库分为指标组节点、定量指标、定性指标三大类，通过不同的颜色方便用户进行区别。该模块主要功能包括以下几点：

1)指标体系分类，实现对指标体系的分类建模功能；

2)指标动态建模，实现对指标体系的动态可视化分解与图元化建模功能；

3)指标关联关系建模，实现对指标间的关联关系进行建模；

4)指标多视图浏览，实现对指标模型按照多种可视化的方式进行展示；

5)指标模型保存，实现对指标模型实例的保存及数据导出。

效能指标体系结构分解建模流程如图4所示：用户接到效能指标分级任务后，通过Web登陆效能评估仿真系统，启动建模工具，通过拖动指标建模库实现指标创建，对拖入的指标的基本属性进行设置，对不合理的指标进行删除操作，动态调整指标模型直至合理。然后对各个指标进行权重分配和关系建模操作，赋值方式包括手动赋值即人工计算每一层级每个指标所占的权重，也可选择采用模糊一致矩阵法进行赋值，从而完成专业指标体系建模。完成指标建模后，可行选择发布指标给其他专业，或者导出文件，方便后续加载导入，导出的格式支持XML、Excel和txt。

图4 效能指标建模流程图

2.3 指标效能评估

效能评估环节对应于效能评估任务，用于对指标进行效能评估。系统集成的评估的算法包括ADC算法、SEA法、模糊综合法等多种效能评估算法，算法功能见表1，用户可以根据实际情况选择相应的评估算法对指标进行评估。对定量指标效能计算、定性指标效能录入等进行了优化设计。同时为实现不同效能指标的聚合，研究了AHP层次聚合算法，实现指标多层次算法聚合。系统提供了可扩展接口开发功能，方便后续的模型更新及算法升级，系统具备较好的扩展性。该模块具备对武器效能指标进行评估计算的能力，具体包括：

1)定量指标效能计算，计算定量指标的效能；

2)定性指标效能录入，通过录入的方式录入定性指标效能；

3)AHP层次聚合算法，实现指标多层次算法聚合；

4)权重校验，校验指标权重和；

5)效能分级显示，按照效能等级显示指标状态；

6)评估算法选择，实现多算法选择。

系统提供可扩展接口开发功能，包括聚合算法扩展接口，评估算法扩展接口，指标属性接口扩展接口，权重分配算法接口以及建模元素库扩展接口等。针对未内置用户自行开发的算法，用户可通过算法编辑器，可实现基于MATLAB、JavaScript等语言编制的算法进行集成扩展，通过脚本引擎对用户编写的算法进行解释调用，算法扩展如图5所示。

表1 算法功能表

图5 算法扩展

2.4 多方案对比分析

进行仿真评估和试验时会产生多个版本的数据。针对同一效能评估模型，用户可以使用不同版本的数据对系统进行效能评估。通过多方案对比工具用户可以快速的得出结论。

用户可以导入不同的指标方案，多方案对比工具能够自动对各指标方案进行统计分析，统计的内容包括满足项、基本满足项、以及不满足项的比例；以及总效能等。并能据此给出直观的统计图方便用户进行对比分析，具体包括：

1)多方案指标模型导入；

2)指标项对比，高亮显示；

3)删除指标方案模型；

4)综合效能统计对比；

5)统计图展示。

2.5 仿真数据集成模块

仿真数据集成模块主要是通过采集仿真试验数据，并通过数据处理分析，将仿真试验数据录入到指标模型中。

基于轻量级J2EE技术，通过jBPM框架实现复杂流程的设计与定制，满足试验数据按不同专业进行划分，并且按处理顺序从参数处理、判读、预处理、计算分析、统计分析到综合分析。用户可对原始数据进行规范化处理，将处理后的数据，通过数据曲线的自动判读和人工判读对数据的有效性和数据峰值进行选点，完成数据判读工作。之后进行数据预处理和计算分析，完成数据的分析工作，在对多组数据进行统计分析后，将处理后的试验数据引入到效能评估系统中。

通过引入仿真数据将仿真引入到效能评估环节，利用仿真过程及结果数据，支撑效能评估。

1)仿真数据文件导入，导入仿真文件；

2)仿真数据库读取，配置仿真数据库信息，导入仿真数据；

3)仿真数据区块选择，选择特定的数据区块选择、过滤条件配置；

4)数据提取算法选择，取最大值、取最小值、取平均值。

3 应用实例与分析

完成基于Web的通用效能评估仿真架构系统开发后，对软件的功能和性能进行测试和应用。

3.1 指标体系分解建模

效能评估系统指标建模模块采用可视化的建模方式建立指标模型，利用多种图元对定量指标和定性指标进行区别描述，通过拖动图元到指标模型树的方式建立指标项，通过编辑图元的属性对指标项进行配置。指标节点层数可任意拖拽扩展，满足复杂体系指标复杂多层指标建模需求，对建立的指标体系采用缩略图的模式展示，方便全局查看。支持指标模型的保存、导入等功能。

效能评估结果评判活动是通过对指标效能的统计、排名等，以详细列表的方式对指标结果进行了全面的展示。支持对各项指标权重的图谱分析功能，提供各项指标对比的雷达图，可直观进行指标权重对比分析，方便进行合理性检查，图谱分析展示如图6所示。通过结果评判可以直观的反应出复杂系统效能的整体状况。

图6 图谱分析

3.2 仿真数据导入

效能评估系统中引入仿真试验结果，将极大提高效能评估结果的可行度。由于仿真数据一般较多，且数据文本的直观性差，为实现将仿真数据引入效能评估回路，基于Web的通用效能评估仿真架构支持结构化的数据库和非结构化的文本仿真数据导入功能。

通过对试验数据的采集、数据转换清洗处理、数据加载，分析并提取必要的效能评估信息。将试验仿真引入效能评估环节，利用仿真过程及结果数据，参与效能评估流程，为效能平台提供了真实的试验结果支撑，全面提高效能评估系统结果的真实性。

3.3 多方案对比

复杂系统不同版本或者不同型号之间，可以通过方案对比工具进行对比分析。多方案对比分析工具支持同时导入多个效能模型数据，在指标对比列表中对不同方案的同一指标项进行对比，将效能不同项进行高亮显示，方便用户快速进行差异化比较。同时多方案对比工具提供统计图和统计表，分别对各方案的各等级指标分布情况，以及总效能进行了对比。

多方案对比模块解决了效能评估中经常进行相同型号不同版本及相似型号之间的效能比对问题，通过快速导入效能模型及不同项的显示，方便用户快速进行不同方案差异化定位，通过图表直观工具和统计工具，方便用户进行问题定位和快速分析。多方案对比工具的实现为方案优化、设计提升提供了重要支撑。

4 结论

针对效能评估中指标多专业协同分析和指标完整性审核问题，提出了一种基于Web的通用效能评估仿真架构，重点讨论了系统开发的流程方案，目前已经初步完成了原型系统开发。通过研究表明，基于此方法构建的效能评估系统，能够提高效能评估系统通用性、扩展性和便捷性，通过Web系统机构的设计，提升了平台的通用性，可满足不同复杂系统不同应用场景效能仿真需求。通过可扩展接口实现了系统的扩展性，为后续新算法的集成提供支撑。通过拖拽式建模、多方案对比等人性化操作设计，提高的用户使用的便携性。研究成果为复杂系统效能评估提供了有效支撑。