军用软件测评供方能力特长评估探索与实践

◎96901部队 张幼春 史国华

现代化武器装备日趋复杂，软件在武器装备中所占的比重越来越大，对武器装备的影响也日益增加。随着我军装备建设的发展，各类武器系统的综合性能也相应提高，但从根本上看，绝大部分武器性能的提高都离不开软件，软件已成为各类武器系统和保障装备的中枢神经，软件质量的高低，将对武器装备性能的发挥带来直接影响。由于武器装备软件在开发标准、使用环境、作用结果等方面的特殊性，要求软件在研发完成后必须符合军方所提出的战标，最终结果由军方主导。因此，如何更进一步的提高软件质量，确保武器装备性能得到最大限度地发挥，是摆在我们军用软件测评总体单位面前的一个重要课题。

近期，我们结合测评工作开展及任务承担单位情况，组织开展了军用软件测评供方能力特长评估审核工作，以探索一条更加适应军用软件建设发展需要的软件测评保障方式，为今后软件测评工作的开展和确保软件质量的不断提高提供一个良好的基础和条件。

一、开展测评供方能力特长评估的必要性及其意义

随着部队新的编制体制的逐步推进和武器装备建设快速发展的实际，软件测评需求和测评力量建设之间的矛盾成为一个较为突出的问题，主要表现为以下几个方面。

一是军内软件测评机构受编制名额的限制，实有的人员技术力量难以再继续承担大量的武器装备软件测评任务；二是武器装备建设发展的速度不断提高，相关软件项目研制数量也随之不断增加，相应的测评需求也较前有着成倍或多倍的增长；三是随着国家信息化建设的不断发展，地方一些有资质的工业部门及相关企事业单位对软件测评力量建设的重视程度不断提高，软件测评单位如雨后春笋般蓬勃发展，在其能力特长范围内可以并且期望承担军用软件测评任务；四是对于期望承担军用软件测评任务的地方软件测评单位，如何准确选择和把握其特长，充分发挥其测评能力，合理安排和部署军用软件测评任务，确保软件测评质量。

这些矛盾和问题的根本，是军用软件测评需求与军内测评力量建设的矛盾，这个问题仅靠部队自身的力量难以得到有效的解决，只有按照“军民融合”这一国家战略的要求，走军民融合的发展道路，充分发挥地方测评机构机制灵活、手段多样、各具特长等优势，才能使这些矛盾和问题得到有效缓解，确保武器装备软件的研制质量和工作效率不断提高。因此，适时组织军用软件测评供方能力特长评估审核工作，具有重要的现实意义，可有效解决以下几个方面的问题：一是可解决军用软件测评需求量大、部队测评机构人员技术力量不足的问题；二是可进一步提高军用软件测评任务安排部署的准确性，避免目前软件测评任务按招标、指定测评单位等方式安排部署所存在的弊端；三是按评估的能力特长安排测评工作，可使相关测评单位的能力特长得到充分发挥，最大限度地保证军用软件质量；四是通过评估审核，既可达到优中选优、择强选用的目的，又可促进相关软件测评单位整体建设和测评质量的进一步提高。

二、测评供方能力特长评估方式及实践

（一）能力特长评估审核的方式

军用软件测评供方能力特长评估审核工作，按照单位申请、现场审核、数据汇总、择优推荐、上报审批的程序执行。具体审核方式与2725A和CNAS审核有较大的不同，主要在以下几个方面：

一是审核内容的不同。军用软件能力特长评估审核主要是在2725A和CNAS审核的基础上，着重对测评单位所具备的能力特长组织审核评估。具体地说，就是相关申请单位首先必须具备2725A或CNAS资质，这是申请评估的准入条件。在申请评估时，需在申请书中所明确的软件分类的几种类型中，选择与本单位完成过的项目特点相同或相近、且具备明显经验特长的软件类型进行申报，审核评估专家组依据申请内容，重点组织对所申报的能力特长进行评估审核，对于2725A和CNA S认定的内容不再组织专门的重复审核。

二是审核标准的不同。军用软件能力特长评估审核主要采取定量审核的方式，与2725A和CNAS以定性审核为主的方式有所不同。评估审核主要依据评估模型，结合申请单位所申报的能力特长项目，逐项、定量地检查项目中每项指标的落实情况，同步采集记录相关结果。评估模型对测评单位的管理能力、测评技术能力及过程质量管理等各方面都规定了具体的考核指标，并根据相关指标在测评工作中的重要程度明确了量化评定标准，现场审核结束后，依据标准对审核数据进行汇总、统计，得出评估审核的最终量化结果。

在这里需要说明的是，采用量化考核的方式进行评估，各参评单位的能力特长水平通过具体的量化结果来体现，相较定性考核更为客观、有效。经过定量考核，各单位能力特长方面的实际情况直观明确、高低立现，更加有利于特长突出单位的确认。

三是审核程序的不同。军用软件能力特长评估审核在审核程序上，与2725A和CNAS也有所不同。除前所述的总体程序为申请、现场审核、数据汇总、择优推荐、上报审批外，在现场审核的程序上也有不同。主要是现场审核为一次性审核，不组织复审，不开具不符合项，不组织整改落实的监督核查；在末次会上只提出审核发现的问题及整改建议，不现场明确审核是否通过的初步结论；最终的评估审核结论在参评单位达到一定量的积累后，通过对各单位评估审核最终量化结果的比对、衡量，按优中选优的原则提出能力特长测评单位推荐意见，报机关审批。

四是审核的结论不同。军用软件能力特长评估审核的审核结论，是测评机构能否被确定为某种类型军用软件能力特长测评单位。相关机构被确定的能力特长可以是一项，也可以是多项，以各单位在评估审核中的实际量化成绩，经最终比对、衡量、推荐后的审批结果为准。

五是结论的应用不同。军用软件能力特长评估审核的结论，是相关测评单位可否参加军用软件测评工作的主要依据，也是软件测评总体单位安排部署软件测评任务的主要依据。相关软件测评机构能且只能承担经评估审核后审批确认的特长类型软件测评任务。软件测评总体单位在安排部署测评任务时，也将依据软件类型，结合审批确认的类型特长测评机构实际情况，进行测评单位的甄选及任务的安排部署。未经确认软件类型能力特长的测评单位，原则上不得承担该类型软件的测评任务。

（二）能力特长评估审核试点工作开展情况

为确保能力特长评估审核工作的准确、有效，根据需要，我们组织有关专家依据实际需求完成了评估模型的制定，选择了三家单位作为评估审核工作的试点，并组织专家组分别对试点单位进行了全面细致的评估审核。在试点审核工作中，按照不同的准备条件，对审核实施工作进行了验证确认，确定了更为合理的现场审核准备要求；同时，在每次试点单位现场审核工作完成后，我们组织审核专家结合试点审核情况，对评估审核的相关工作进行了研讨，并依据专家意见，对评估模型进行了进一步的修改完善，为下一步评估审核工作的全面开展摸索了经验、打下了基础。

（三）评估审核工作中发现的主要问题

通过对几个试点单位现场审核工作的情况梳理我们感觉到，从总体上来看，各单位整体建设水平相对都比较扎实，各方面的建设也都在持续推进，但在一些具体的管理能力、技术能力和条件建设等方面的发展水平也还存在着参差不齐的现象。存在的主要问题有：在管理能力方面，对于一些测试技术和方法的规范指导文件不够健全，人员技术力量与所申报特长要求还不适应，对于测试发现的一些软件问题(缺陷)的级别不能严格按标准确定，部分过程数据的比对、计算管理记录未及时收集归档等；在测试技术方面，覆盖率测试不到位，动态测试工具的使用不够，测试环境或平台在测试项目中的应用及效果难以证明，过程测试记录欠缺或不完整，有些嵌入式软件缺乏白盒测试内容等；在可编程逻辑器件软件测试方面，存在测试设计不够充分，测试类型涵盖不全，设计约束要求不到位，测试激励要求不明确，有的测试类型使用测试方法不当等。上述这些问题都是比较有代表性的问题，需要我们在后续的测试工作中尽可能地改进、克服。

三、测评单位在能力特长建设方面需关注的几个方面

在组织对试点单位进行的评估审核工作中，除发现一些管理和测试技术方面的问题外，还有一些整体建设方面的问题需不断加以改进和完善，主要是以下几个方面。

（一）质量管理体系的充实完善

质量管理体系，是各测评单位开展测评工作的指导依据和管理规范，在试点评估工作中，我们发现各单位在质量管理体系建设方面总体上都比较重视，质量管理体系相对也比较完善，但在作业指导文件上还不同程度地存在一些问题。主要表现在作业指导文件的编制还不够细致，一些测试主要环节的技术要求过于粗略，无法起到对某项具体作业的指导和规范作用。例如有的单位在作业指导文件中对于测试需求分析、测试用例设计、文档审查、代码审查等工作的技术规范，仅在某一级别的测试规程中进行了简单说明，没有进行详细的规范和明确，更没有使用独立章节进行说明，这就导致在同一项工作内容中，因为没有详细的技术程序和规范作指导，技术能力强的测试人员所做的工作相对会细一些，而技术能力较弱的测试人员所作的工作则会很粗，测评质量也会因此而大打折扣；还有的单位对于可编程逻辑器件软件这类测评工作的规范，仅用《可编程逻辑器件软件测试》这样一个作业文件进行了说明，对于一些诸如静态时序分析、形式验证、仿真测试等主要测试方法的技术要求，只是在文件中一笔带过，甚至根本没提，将很难保证软件的测试质量。

（二）软件测试工具的使用和完善

软件测试工具作为软件测评工作的主要辅助测试技术手段，对测评质量和效率的提升有着极为重要甚至不可替代的作用，因此，软件测试工具在各测评单位的条件建设中，应该占有较大的比重，亦应给予必要的关注。在几个试点单位的评估审核工作中我们发现，各单位对于软件测试工具的建设都比较重视，有的测试工具已相对比较完备，有的已开始启动整改建设，随着建设的进展，测试工具也将逐步完备落实。但在测试工具的具体使用上，则还存在一些不足。主要表现在有的单位所提供审核的软件测评项目中，工具使用率较低，有些项目(特别是在协作单位搭建环境组织的测评项目)甚至基本没有使用工具，全部靠测试人员的自身能力完成测试，圄于人员精力和项目时间的限制，这类测试项目的质量将难以得到有效保障，同时，一些必要的数据资料也难以收集、提取和存档保留，给后续的分析、总结等相关工作带来不便。因此，建议各测评单位在测试工具的使用上要提高重视程度，无论是在自有的环境组织测试，还是到外单位的环境中开展测试工作，只要有可用的测试工具，都要尽可能合理安排使用，为自身能力建设和软件测评质量的提高创造条件。

（三）测评经验、力量与申请特长的适应程度

测评经验，是每一个测评单位经过多年的工作实践、不断总结积累而形成的、对于软件测评某一领域或某一类型的深刻的认识和技能的凝聚，且与单位测评力量的建设紧密相关。在试点工作中，我们发现有的测评单位申报测试特长时，在自身经验的总结梳理上不够充分，忽视了测评经验及力量建设与能力特长的关系，过于追求能力特长在名义上的多而全，以致出现所申报能力特长与实际情况不相适应的情况。为此，建议各测评单位在历年完成的测评工作基础上，对自身的经验、特长进行深入的总结梳理，结合软件类型、工具配备、人员力量建设、项目积累等多个方面，形成对自身实际具有的能力特长的准确认识，按照不断强化特长、逐步补足短板的方式，有针对性地开展工作，以扎实推进自身测评能力特长建设。对于还存在的一些自身目前可以做、但还不足以成为能力特长的方面，在组织建设时应注重从体系的完善、工具的配套、测试技术力量及技能的提高、测评项目的总结积累等方面同步加强，以达到“强的更强、弱的建强”的目的，把自身建设成为一个管理有效、环境工具配套、技能全面的软件测评机构。

（四）测试数据的采集和管理

测试数据是测评工作从准备、实施至结果评价都密不可分的重要测试依据及结论评定依据，它贯穿于测评工作的方方面面；按实际情况分，既有需要测试予以验证的数据，也有需通过测试执行对结果进行验证的数据，还有作为评判依据对结果进行评定的数据，无论哪个方面的数据，对测评工作来说都至为重要，需要进行严密的采集和严格的管理。在试点审核工作中我们发现，在数据的采集管理方面还不同程度地存在采集不够严谨、管理不够到位的问题。体现在：一是用于测试的数据准备记录不详细、管理不充分，在测试文档中仅记录测试数据由谁提供，是真实数据还是模拟数据，对于数据的数量、类型、对需求的覆盖程度等没有具体描述，且未能做到对所用数据全部进行存档管理；二是某些测试类型的测试结果数据记录不全，且未能按要求进行存档管理；三是过程数据的比对、计算管理记录采集不够到位，也未能按要求进行存档管理。对于一些因客观原因而无法采集的数据(如源程序、部分真实数据等)可以不做为硬性要求，但对于其他数据、特别是测试产生的数据，无论是在测试方提供的环境中测试还是在自己搭建的环境中测试，都应予以严密的采集和严格的管理，测评项目结束后，应与相关测评文档一并按规定进行归档管理，这既是保证测评质量的必要手段，也是各测评单位不断加强自身建设、全面提高测评能力所需依托的必要条件，同时也是测评管理的必然要求。

（五）可编程逻辑器件软件测试技术及方法的规范

随着可编程逻辑器件技术的发展和应用，可编程逻辑器件软件测试能力建设，已成为测评领域的一个重要建设内容，作为一类在测试方法上有着明显自身特点的软件测试技术，各测评机构均已投入精力进行相关测试技术的学习和探索，有些测评机构已经积累了相当丰富的测试经验，基本具备了这类软件的测试特长。基于这类软件的特殊性，我们在评估模型中专门将其定义为一种独立于各种软件类型之外、需要单独评价的特长类型。在试点审核中，各测评单位都申报了可编程逻辑器件软件测试特长这一项，但在审核取证中，感觉各单位对这类软件测试技术的认识和理解存在差异,在测试技术及方法的应用上也不尽相同，需进一步统一和规范。目前，GJ B 9433-2018已正式颁布实施，建议各测评机构严格按照国军标的要求，对相关的体系文件、测试技术、测试方法及条件建设进行进一步的梳理、规范和完善，不断加强在这一领域的能力特长建设，以更加适应可编程逻辑器件软件建设及应用快速发展的实际需要。

四、对后续软件测评质量监管工作的思考

对军用软件测评供方能力特长的评估，是我们对军用软件测评工作的准入机制进行的探索与实践。同时，为保证软件测评质量监管工作的持续、有效，我们对后续相关监管机制的建立也进行了同步的思考。

对于通过准入机制承担军用软件测评任务的机构，建立完善测评机构动态管理机制，与监督抽查、定期考评、奖优罚劣等制度有机结合，定期发布测评工作简报，对测评工作总体情况及测评机构的增减情况进行通报明确。

对于测评机构动态管理中的质量监管和考核工作通常结合测评任务进行，特殊情况下可组织专项考核；监管和考核情况做为对测评机构实施动态管理的基本依据。

监管和考核工作拟按以下几个方面组织实施。一是建立过程跟踪机制。依据软件测评工作不同阶段的实际，安排专职人员对软件测评项目的执行情况进行全程跟踪，在组织重要节点工作成果专家评审的基础上，按照不同阶段的工作特点，有针对性地开展相关监督检查工作；检查过程中如发现问题，按不同情况进行必要的处理，并将问题情况予以登记备案。二是建立能力比对机制。对定型级别比较高的项目或测评结果存疑的项目，根据实际需要安排不同测评机构进行比测或复测等比对验证工作，对能力比对中出现重大误差的测评机构，予以必要的处理。三是建立中期考核机制。按照军用软件测评管理的实际需要，定期组织对名录中的测评机构质量管理体系运行情况和技术能力进行检查考核。对检查中发现的问题，及时通报被审核测评机构，相关考核数据作为对测评机构年度管理考核的重要依据。