军用软件测评实验室能力评估指标体系研究

窦小强，古文刚，黄茂生

（1.国家国防科工局经济技术发展中心，北京 100081；2.工业和信息化部电子第五研究所，广东 广州 510610）

0 引言

随着武器系统朝信息化方向不断发展，软件系统在武器中的比重和地位日益增强，软件测评是从软件中发现并排除错误的过程，是提高软件质量的一项重要措施；军用软件测评实验室是军用装备质量管理体系的重要组成部分，是对军用软件质量进行测试、评估和把关的技术部门。与装备招标服务采购相比，有关军用软件测评服务采购方面的理论研究很少，尚未形成较为完善的理论体系，军用软件测评实验室能力评价缺乏理论支撑，如何在军用软件测评服务采购中选定合适的军用软件测评实验室尤为重要，亟需开展军用软件测评实验室综合能力评估指标体系研究，为军用软件测评服务采购提供全方位的理论支持。

为了方便军用软件测评服务采购方和管理部门评估和选择测试实验室，本文借鉴实验室能力评价的经验做法，结合军民融合实验室管理经验，研究提出了一个军用软件测评实验室能力评估指标体系，从测评规模、技术能力、行业覆盖和授权等10个方面进行了评估。

1 综合能力评估指标体系

军用软件测评实验室的能力涉及多个方面，包括测评资源、测评能力和测评经验等方面。

a）实验室软件测评资源

供应商的软件测评资源必须能够满足军用软件测评的要求，主要包括测试设备与设施、测试人员、测试工具、测试平台、软件故障数据和测试问题数据等。

b）实验室软件测评能力

软件测评能力是软件测评机构提供测评服务的能力，主要包括测评服务范围、测评服务质量和测评服务数量。测评服务范围是指测评机构能进行测评的软件种类，必须涵盖待测评软件所在的领域；测评服务质量与用户的满意度直接相关，一般包括软件确认能力 （软件与要求的一致性）和软件缺陷探测能力 （软件中隐藏错误的发现能力），测评服务质量越高，则测评能力越强；测评服务数量是指在规定的时间内，能承担的软件测评任务的数量，其从侧面反映了软件测评机构的测评能力。军用软件测评服务采购供应商应具有在规定时间内完成软件测评任务的能力。

c）实验室已往的测评经验

同类软件测评项目在测评内容和测评方法上具有一定的继承性，特别是改进完善、软件升级项目，已有的旧版本软件测评所积累的经验可通过测试用例传递给新版本的软件复用，从而减少测试用例开发时间、缩短测试周期。因此，软件测评的可继承性对软件测评效率有很大的影响，若供应商以前承担过同类软件测评项目或有类似项目的测评经验，在选择时可优先考虑。

评价一个软件测评实验室的综合能力应采用综合评分法[1]，具体的评价指标包括测评规模、人员规模、技术能力、测评能力、军兵种覆盖、行业覆盖、授权、实验室管理经验和独立性，以及测试技术工具研发能力共10个方面。

1.1 测评规模

代码行数是军工软件测评行业用来评估测评工作量的基本度量单位。软件测评实验室在单位时间内完成的代码行数越多，说明其设备、人员、技术和管理能力越强，效率越高，其经历的工程经验越丰富。目前，行业内骨干软件测评实验室的年测评规模 （含代码审查、单元测试、部件测试、配置项测试和系统测试）的平均数约为300万行 （等效C语言代码），优秀的软件测评实验室的年测评规模更大[2]。

测评规模的评价标准如下所示。

a）10分:规模大于1 500万行。

b）8分:1 300万行≤规模＜1 500万行。

c）6分:1 100万行≤规模＜1 300万行。

d）4分:1 000万行≤规模＜1 100万行。

e）2分:规模＜800万行。

1.2 实验室规模

软件测评行业是技术密集型行业，在目前又是人力资源依赖型行业，专业测评人员是实验室开展测评工作的保障因素，专职测评人员的数量代表着实验室规模。目前，行业内专职人员超过100的实验室较少。

软件测评实验室专职测评人员数量评价标准如下所示。

a）10分:人员≥100。

b） 8 分:80≤人员＜100。

c） 6 分:60≤人员＜80。

d） 4 分:40≤人员＜60。

e）2分:人员＜40。

1.3 技术能力

原总装军用软件测评实验室对技术能力认可主要包括应用类别、测评级别和测试类型3个方面[3]。应用类别包括嵌入式、非嵌入式类；测试级别包括单元测试、部件测试、配置项测试和系统测试4个级别；测试类型共包括功能测试、性能测试和安全性等20多个测试类型。获得的上述认可的数量越多，代表实验室的技术能力越强，多数实验室获得认可的测试类型在15项以内。

原总装软件测评实验室认可的测评级别和测试类型等能力如下所示。

a）应用类别

嵌入式 （1分）、非嵌入式 （1分）。

b）测试级别

单元测试 （1分）、部件测试 （1分）、配置项测试 （1分）、系统测试 （1分）。

c）测试类型

1）4分:测试类型≥15；

2） 2 分:10≤测试类型＜15；

3）1分:测试类型＜10。

1.4 测评能力

年测评项目数代表实验室并行开展多个项目软件测评的能力，其取决于实验室的高端测试技术人员、设备、测试工具的数量、人员技术水平和实验室的管理水平，行业综合规模较大的实验室年测评项目的数量在60个以上[4]。

每年可测评项目数量 （按5万行/项目预计）的评价标准如下所示。

a）10分:项目数≥60。

b） 8 分:45≤项目数＜60。

c） 6 分:30≤项目数＜45。

d） 4 分:15≤项目数＜30。

e） 2分: 项目数＜15。

1.5 军兵种覆盖范围

软件测评水平的高低与软件测评实验室对应用领域的理解深度紧密相关，军兵种应用的范围可度量软件测评实验室在不同军用领域的经验和水平。考虑到军工软件测评实验室的综合性、跨行业的建设发展方向及其服务对象范围，设立该项考核指标[5]。

海军、空军、陆军 （含陆航）、火箭军、战略支援部队和其他军兵种中，每覆盖一个加2分。

1.6 行业覆盖范围

对多行业背景的理解有利于军工软件测评实验室朝着综合性、跨行业的方向发展，航天、航空、兵器、核工业、军事电子和船舶行业中，每覆盖一个行业加2分。

1.7 授权

授权代表用户单位及其主管机关对军用软件测评实验室的综合能力的全面认可。实验室获得的授权越多，代表着其获得的认可度越高[6]。实验室通过原总装军用软件测评实验室认可的实授权加2分；获得海军、空军、陆军 （含陆航）、火箭军和战略支援部队军兵种的授权，每一个授权加2分；但本项总分不超过10分。

1.8 实验室管理经验

良好的实验室管理是保证测评质量的重要因素，实验室运行时间越长，管理经验越丰富，测评工作质量就越可靠[7]。同类软件测评项目在测评内容和测评方法上具有一定的继承性，特别是改进完善、软件升级项目，已有的旧版本软件测评所积累的经验可通过测试用例传递给新版本的软件复用，从而减少测试用例开发时间、缩短测试周期。因此，软件测评的可继承性对软件测评效率有很大的影响，若供应商以前承担过同类软件测评项目或有类似项目的测评经验，在选择时可优先考虑[8]。

第一批通过原总装军用软件测评实验室认可的加10分，第二批通过认可的加8分，第三批及以后通过的加6分。

1.9 独立性

软件测评实验室应具备独立性，才能保证其测试过程不受干扰，确保测评结果的客观和公正。合格军用软件测评服务采购供应商的前提条件是:供应商必须是与军用软件需求方、军用软件测评服务采购机构和军用软件研发机构无隶属关系或其他利益关系的第三方软件测评机构[9]。软件测评实验室的独立性分为单位的独立性和行业的独立性两个方面。

a）单位独立性

1）5分:软件测评实验室所属法人单位未从事武器装备产品研发；

2）4分:软件测评实验室所属法人单位从事武器装备产品研发，测评实验室为该单位内的独立部门；

3）3分:其他。

b）行业独立性

1）5分:软件测评实验室未依托特定军工集团，不是集团内的测评机构；

2）3分:其他。

1.10 测试技术工具研发能力

研发能力是保证软件测评实验室可持续发展的关键因素，测试工具集中地体现了软件测评实验室的经验积累和技术能力[10]。在测试行业内，实验室的技术工具研发能力主要体现为其自行研发的测试工具的数量[11]。

从其已研发并申请著作权的测试工具数量考评，得分标准如下所示。

a）10分:工具数≥20。

b） 8 分:10≤工具数＜15。

c） 6 分:5≤工具数＜10。

d） 4分: 工具数＜5。

最后，综合测评规模、人员规模、技术能力、测评能力、军兵种覆盖、行业覆盖、授权、实验室管理经验、独立性和测试技术工具研发能力共10个方面的评分，形成综合能力评估表 （如表1所示）进行评估排序。

表1 军用软件测评实验室综合能力评估表

2 结束语

随着军事装备信息化程度的不断提高，军用软件研发任务日趋繁重，对军用软件测评服务进行采购，是深入推进军民融合战略，将军队研究院（所）的资源集中到提供核心软件的研发能力上，充分发挥军地双方专业软件测评机构的资源优势，降低软件测评成本的必然选择。目前，对军用软件测评服务采购的管理还处于探索阶段，开展军用软件测评实验室能力评价指标体系研究，加强对军用软件测评服务采购供应商的管理，对军方更好地开展军用软件测评服务采购工作具有重要的理论支撑和实践指导意义。