软件产品质量比对测试与比对方案探讨

王 蕊

（国家软件产品质量监督检验中心（江苏），江苏 南京 210012）

软件产品质量比对测试与比对方案探讨

王 蕊

（国家软件产品质量监督检验中心（江苏），江苏 南京 210012）

软件产品质量评价与测试是保障软件产品质量的方式之一。文章在《软件工程软件产品质量要求与评价（SquaRE）商业现货（COTS）软件产品的质量要求和测试细则》（GB/T25000.51-2010）等国家推荐性标准的基础上，提出了对软件产品进行功能比对测试的比对方案，并在实际比对测试中进行了应用与验证。

软件产品质量；软件比对测试；比对方案；质量控制；判定限

1 比对测试概述

实验室间比对是对实验室检测结果质量控制的常用方法之一，是根据预定条件，由两个或多个实验室就相同或类似的试验项目开展的组织、实施和评估活动。通过参加实验室比对，可以确定实验室对特定试验或测量的能力，了解实验室的检测水平，并进一步监控实验室的持续检测能力，识别实验室的问题并采取纠正措施，提高质量管理水平。

实验室间比对的代表性目的有以下十点（实验室可以根据比对实验的目的来设置比对实验）：（1）评定实验室从事特定检测或测量的能力及监视实验室的持续能力；（2）识别实验室存在的问题并启动改进措施，这些问题可能与诸如不适当的检测或测量程序、人员培训和监督的有效性、设备校准等因素有关；（3）建立检测或测量方法的有效性和可比性；（4）增强实验室客户的信心；（5）识别实验室间的差异；（6）根据比对的结果，帮助参加实验室提高能力；（7）确认声称的不确定度；（8）评估某种方法的性能特征，通常称为协作试验；（9）用于标准物质/标准样品的赋值及评定其在特定检测或测量程序中使用的适用性；（10）支持由国际计量局（BIPM）及其相关区域计量组织。

与国际软件检验机构之间进行比对测试是国家软件中心验收时的重要环节。软件产品的比对测试通常是由评审组提供一个软件样品，然后每个被评审的成员对该样品分别进行测试，出具检验报告或缺陷报告，考察他们的测试结果与真实情况的偏差，从而认定某个检验机构在某个项目上的检测能力是否满足既定要求。

软件产品的比对测试主要是对软件样品的功能性进行测试，根据既定条件和已知软件样品，由5家以上检验机构依据产品需求规格说明书、使用手册等用户文档集，对该软件样品进行功能测试，各自找出软件样品中预埋的缺陷，输出检验报告，然后根据检验报告或缺陷报告，总结归纳出各家检验机构发现的有效缺陷。根据既定的比对测试方案和判定限，对有效缺陷的最终结果进行比对，通过比对测试和结果分析得出国家中心的检验能力是否达到国际先进水平，是否能顺利通过国家软件中心的验收考核。

2 比对测试方案和判定限

判定限：比对测试主要以发现的有效缺陷数为判定的主要依据，具体内容如下：

第一，所有检验机构发现的有效缺陷数（以Ni表示）取平均值（以M表示），然后把平均值跟本中心发现的有效缺陷数（以N1表示）进行比较，如果本中心发现的有效缺陷数大于平均值，即N1≥M，则进行第二个步骤的比对。

第二，假如有n家检验机构参与此次比对，取参考值K，且K＝[0.7n]（“[]”表示四舍五入并取整），如果本中心发现的有效缺陷数排名在K家检验机构之前，则本次比对测试通过，结果为满意，否则本次比对测试结果为不满意。

第三，相关注释：注1：预埋缺陷：比对样品中预先埋入的已知缺陷；注2：发现缺陷：检验机构实际发现的缺陷；注3：发现的有效缺陷：检验机构发现的缺陷如果在软件样品预先植入的缺陷范围内，则为有效缺陷，否则为无效缺陷，不做统计和比对。其中有效缺陷数以Ni表示，i取1，2，……，n，n为正整数，代表参与此次比对测试的检验机构数目；注4：有效缺陷数平均值M＝（N1＋N2＋N3＋……＋Ni）/i。

3 比对测试过程简介

本次参与比对测试的检验机构有国家软件产品质量监督检验中心（江苏）、新加坡某学院、上海某信息技术有限公司、某研发有限合伙公司、德国某检验机构、美国某大学分校6家检验机构，比对软件样品为关键技术项目信息采集系统，测试的主要功能模块有安全管理角色、审计管理角色、数据管理角色等。

在本次比对测试中，本中心依据产品需求规格说明书、使用手册等用户文档集，采用等价类划分、边界值分析、因果图法、决策表法和错误推测法等黑盒测试技术，通过设计覆盖全部软件产品功能实现的测试用例的方法，从功能实现的功能正确性、功能实现的完整性、功能的计算准确性、计算精度的符合性等方面对用户需求的软件产品全部功能性进行质量测试，并将功能性检测结果与用户需求中的功能要求比较，评价该软件产品功能是否符合用户需求和文档要求。

测试前准备工作如下：（1）根据用户需求和用户文档集，编制测试方案，并经过严格评审；（2）搭建缺陷跟踪与管理信息系统，如直接使用HP ALM系统进行测试管理；（3）检查测试所需的软、硬件、操作系统等环境设施是否已到位；（4）检查测试组人员的配置是否合理，测试人员的工作能力和经验是否符合测试要求。

软件测试执行过程如下：（1）根据测试方案中相关内容，检查测试环境（包括软硬件环境和操作系统等），确认测试环境符合要求；（2）根据测试用例的陈述，按测试目的，对每一个测试用例设计具体的操作步骤、前置条件、输入数据、预期结果；（3）执行测试用例，并记录所有相关信息，如果测试用例执行的结果与预期结果不符合，则应详细记录环境信息、操作步骤、问题描述、可复现性等；（4）测试用例执行完毕后，根据具体情况，备份系统数据或对系统进行恢复；（5）编制检验报告、缺陷报告等。

在测试执行过程中，针对发现的软件缺陷，定义缺陷等级如下：

S1级：发现影响被测系统正确运行的严重问题：导致系统崩溃；出现不可挽救的数据丢失或损坏；主业务流程出现断点；导致死机；内存泄漏。

S2级：发现影响被测模块正确运行的严重问题：导致程序模块丢失或未实现；软件错误导致数据丢失；被测数据处理错误；用户需求未实现。

S3级：发现影响被测功能正确实现的问题。

S4级：一般性的错误或功能实现有不完善处。

S5级：建议性问题。

检测完成后，各个机构检验人员根据编制的检验报告和缺陷报告，结合比对测试方案，得出最终比对测试结果如表1所示：

表1 各家检验机构比对测试结果

由表1得出，国家软件产品质量监督检验中心（江苏）有效缺陷数N1＞M；6家检验机构中，国家软件产品质量监督检验中心（江苏）发现的有效缺陷数排名为第2名。排名第一位的是美国某大学分校。

最终结论：国家软件产品质量监督检验中心（江苏）比对测试通过，结果为满意。

4 结语

随着信息技术的飞速发展，对软件产品的使用已经渗透到大众生活的各个领域，小到日常生活所需的家用电器、手机平板等电子产品，大到金融、国防、医疗等领域的高端精密设备。软件产业作为现代服务业发展的核心，已成为促进国民经济与社会发展、保障国家安全的战略性新兴产业。伴随着软件产品应用的不断深入，其设计的复杂度和难度也在逐步加大，而开发周期却在缩短，因此对软件产品质量的要求也在逐步提高，软件质量一旦出现缺陷将引发诸多问题，其后果也越来越严重。可以说，未来很长一段时间，软件企业的竞争力不仅体现在软件产品功能的先进性以及类型的多样性，更多的体现在软件产品质量的可靠性、易用性、可移植性以及可维护性上，软件质量已成为软件企业的核心竞争力。在《国务院关于印发进一步鼓励软件产业和集成电路产业发展若干政策的通知》（国发[2011]4号）明确指出“鼓励软件企业大力开发软件测试和评价技术，完善相关标准，提升软件研发能力，提高软件质量，加强品牌建设，增强产品竞争力”。与此同时，软件产品质量的检验检测也越来越受到政府相关部门、软件企业、软件用户的关心与重视。

作为第三方检验检测机构，为了发现更多的软件产品质量问题，保证高质量的软件产品能够交付使用，不仅需要有严谨、高效、公正、规范的检验管理流程，还需要通过比对检验、能力验证等方式，不断提高自身技术水平，并对在同行中处于什么样的位置有一个清晰的认识，从而更好地开展相关业务，服务政府、服务企业、服务社会。

[1]软件工程软件产品质量要求与评价（SquaRE）商业现货（COTS）软件产品的质量要求和测试细则（GB/T25000.51-2010）[S].

[2]软件工程产品质量第1部分：质量模型（GB/T16260.1-2006）[S].

[3]软件工程产品质量第2部分：外部度量（GB/T16260.2-2006）[S].

（责任编辑：蒋建华）

TP311

1009-2374（2017）12-0115-02

10.13535/j.cnki.11-4406/n.2017.12.059

王蕊（1983-），女，山东惠民人，供职于国家软件产品质量监督检验中心（江苏），中级职称，硕士，研究方向：计算机通信网络、软件和网络产品检验。

A