系统测试改进分析

郁文斌

(1．北京全路通信信号研究设计院集团有限公司，北京 100073；2．北京市高速铁路轨道交通运行控制系统工程技术研究中心，北京 100070)

系统测试改进分析

郁文斌1，2

(1．北京全路通信信号研究设计院集团有限公司，北京 100073；2．北京市高速铁路轨道交通运行控制系统工程技术研究中心，北京 100070)

针对铁路信号产品临时限速服务器（Temporary Speed Restriction Server，TSRS）科研项目系统测试，通过引入一种软件测试过程反馈控制分析模型对测试过程进行理论分析，发现系统测试中的缺陷。根据分析数据结果，针对TSRS产品特点引入正交化方法设计案例，以改进测试相关的参数，在测试结果满足预期且保证测试质量的前提条件下提高测试效率，从而改进系统测试。将对系统测试改进方法后续工作进行展望，提高铁路信号产品系统测试的质量和效率。

铁路；信号；临时限速服务器；系统测试；反馈控制模型

1　介绍

TSRS是基于信号故障安全计算机的控制系统。它根据调度员的临时限速操作命令，实现对各列控中心、无线闭塞中心分配和集中管理列控限速指令，旨在保证列控限速设置的安全性，以确保临时限速作业的顺利实施。TSRS产品属于铁路信号系统的安全设备，安全等级为SIL4，遵从铁路总公司的技术规范[1]。

2009年12月26日，LKX-T型TSRS首次在武广客专开通运营，标志着TSRS系统从攻关研发走向工程运用，其后广泛应用于CTCS-2和CTCS-3级[3]系统，装备线路里程将达近万公里。

因此，给TSRS测试工程师提出更高的要求和挑战。作为测试者，是保障铁路安全产品TSRS现场部署前质量的最后一道防线。如果测试不充分，让潜在的安全问题潜伏在现场部署的系统软件中，后果不堪设想；最大限度追求测试充分，需要对测试资源提出更苛刻的要求。如何既能最大限度的保证测试充分，杜绝隐患同时又能提高测试效率是一个有意义的问题。

本文，对比当前系统测试分析模型的若干研究成果，诸如Joao W.Cangussu提出的软件测试过程的一种反馈控制模型[4]，Joao W.Cangussu在另一个论文中提出的软件测试过程的一种随机控制模型[5]，Aniket Mitra在其研究课题中提出的软件测试测试的随机模型和最优化控制[6]，Srikanth在其论文[7]给出提高错误检测率的方法。引入反馈控制模型[3]分析TSRS系统测试过程的数据，通过改进测试案例设计方法提高测试策略的维度，从而达到提高测试效率的目的。

2　反馈控制模型

根据文献[1]的结果，使用反馈控制模型[4]，系统测试阶段需要定义如下变量和参数：r为剩余错误数；Wf为测试团队规模（人数）；Sc为软件复杂度；t为时间；γ为测试过程整体质量的恒定特征；ef为有效测试力；er为减少剩余错误数的阻碍力。Sc为基于维度的凸组合加权值。系数γ是一个表征测试过程整体质量的参数。ef用来度量测试团队在减少系统软件错误数的实际效力。er用来表示在减少系统软件错误数时所做的无用功，其阻碍减少错误数的效力。

根据数学模型[4]，能够得到如下微分方程公式：

ef和er根据数学模型[4]3个假设条件消元：

其中，Fd表示对于ef的干扰力，本文中根据项目实际情况，可以认为Fd=0。

本模型方程的使用需要对参数初始化值进行估计，根据测试子阶段观测的实际数据通过解（1）和（2）得到，具体原理参见文献[4]。本文中，仅根据其中极端分析情况对TSRS系统测试进行结果分析。

3　系统测试结果分析

本节以项目P1（TSRS系统测试的优化研究项目）和项目P2（TSRS基础软件修改项目）所记录的数据通过模型[4]进行分析。

项目P1根据测试数据，系统测试总共进行2轮。第一轮持续时间为2013年5月14日至2013年10月31日，第二轮测试为回归测试，持续时间为2013年11月26日至2013年12月10日。整个系统测试阶段，总共发现问题数111个。

项目P2根据测试数据，系统测试总共进行3轮。第一轮持续时间为2014年12月1日至2015年1月20日，发现问题数17个；第二轮测试持续时间为2015年1月26日至2015年2月7日，发现问题数5个；第三轮测试持续时间为2015年2月9日至2015年2月11日，发现问题数为0个。

3.1数据分析及问题的提出

对于项目P1，测试参数Wf=5，Sc=7，γ=0.8，tα≈1.6t〞high，根据模型[3]，P1处于一个不合理的范围。

在[1]中，定性分析P1测试时间未达标，测试负责人的选择是在P2中做出调整和改进，以使有限的测试资源更有效的配置到测试中。

对于项目P2，根据[1]，在P1项目的总结基础上，通过对人员复用和案例去冗余做出改进，提高模型参数γ值，Wf=3，Sc=7，γ=0.92，tlow≤tα≤thigh，根据模型[3]，P2符合预期。

针对第1章中的问题“如何既能最大限度的保证测试充分，杜绝隐患的同时又能提高测试效率”，对于P2项目，是否能够对系统测试过程做出改进？根据P2的参数分析，答案是肯定的。

3.2解决措施

本节中，根据上述分析结果，对P2项目的系统测试过程进行分析：测试过程中，对测试环境进行了调整，提高人力利用率Wf=3。同时，在制定测试案例过程中，通过冗余原则设计案例的测试策略以提高γ。但是，根据测试结果分析发现，实际在测试试验中，对于复杂功能的案例设计中，全部功能点测试可引入正交实验法进行设计。对于TSRS测试特点，功能测试考虑因子为：1）客专限速；2）既有线路限速；3）TSRS间限速。每一因子的水平数为：1）正线上行；2）侧线上行；3）正线下行；4）侧线下行。因此，可以采用正交表L16（45）考虑试验的选取。通过此方法，案例数从P2的409降到274。

4　数据验证

本节分析项目P3（TSRS平台移植项目）的测试记录数据，验证引入正交试验法设计案例后所提高的测试效率，分析如下：

系统测试总共进行了3轮，第一轮持续时间为2015年5月5日至2015年5月27日，发现问题数25；第二轮测试持续时间为2014年6月27日至2015年7月8日，发现问题数6个；第三轮测试持续时间为2014年7月8日至2015年7月25日，发现问题数为0个。

在测试过程中，测试人员数Wf=3，由于被测系统软件与P1、P2相同，则复杂度Sc与之前相同。

同P2比较调整如下：项目测试期限与P2相当，测试人员已熟悉TSRS产品测试并有良好的测试技能，N1、N2和P2相同，测试策略基于项目P2成果，对测试案例设计采用正交试验，N3也与P2相当，N4、N5、N6与P2相同，据此γ与P2相当，即γ≈0.92。

ξ和ζ同P2，根据文献[4]中的估计，γ≈γhigh，Slow≤Sc≤Shigh，"α=0.05，遗留问题数目rα所需要的时间tα应满足：tlow≤tα≤thigh，本项目中，tα=22+11+ 17=50（天），得出tlow≤tα≤thigh，符合预期。而且根据文献[4]对于剩余问题数的分布曲线，本测试3轮发现问题数的分布趋势在合理范围内。

P3与P1、P2作对比，分析结果如表1、2所示。

表1　案例效率类比

表2　时间效率类比

根据表 1和表 2，得出分析如图1所示。

根据图1所示，可见无论从测试案例效率，还是测试时间效率，P3都比P2有提高。

5　总结

本文主要在系统测试分析[1]的基础上，通过控制反馈模型[4]分析P1项目、P2项目测试数据，发现系统测试中的缺陷，提出对案例引入正交试验方法进行设计的解决方案，提高测试效率，并通过P1、P2、P3三个项目的实际数据进行结论验证。

同时，本文没有对模型参数进行估计，仅根据文献[4]的极端分析结果对TSRS系统测试进行了分析。后续工作将根据测试子阶段相关数据，对参数r0、ξ和ζ进行估计，得出符合TSRS测试的微分方程（1）和（2）的特征根及特征曲线，通过预估测试子阶段问题数的维度而非本文的测试策略维度提高测试效率。

[1]郁文斌，孙志科.系统测试分析[C]//中国铁道学会.综合轨道交通体系学术沙龙论文集.2015.

[2]铁运[2012]213号 临时限速服务器技术规范（暂行）[S].

[3]傅世善.铁路信号论文选集[M].北京：中国铁道出版社，2012.

[4] J.W.Cangussu，Raymond A.DeCarlo，et al.A Formal Model of the Software Test Process[J].IEEE Transactions on Software Engineering，2002，28（8）：782-796.

[5] J.W.Cangussu.A Stochastic Control Model of the Software Test Process[J].Software Process，2004，9(2):55-56.

[6] Mitra A.Stochastic Modeling and Optimal Control for System Testing of Software[D].VU Unversity，2013.

[7] Srikanth H，Williams L，Osborne J.System test case prioritization of new and regression test cases[J].IEEE International Symposium，2005，5（14）：10.

Aiming at the system test of TSRS (Temporary Speed Restriction Server) research project, the paper analyzes theoretically the test process to discover defaults during the system test by introducing a software test process feedback control analysis model. According to the analysis results, the orthogonal test method can be adopted in the test case design considering TSRS features to improve the relevant test parameters and fi nally promote test effi ciency on the premise of that the test results conform to the prospective achievements, as well as guaranteeing test quality. The paper also presents the prospect for the system test improvement method to promote the quality and effi ciency of railway signal products system tests.

railway; signal; temporary speed restriction server; system test; feedback control model

10.3969/j.issn.1673-4440.2016.03.007

2015-07-30）