基于时效质量鉴定成本的列车运行控制系统测试评估*

杨海东 周庭梁 周宇恒 涂 超

(卡斯柯信号有限公司,200071,上海∥第一作者,工程师)



基于时效质量鉴定成本的列车运行控制系统测试评估*

杨海东 周庭梁 周宇恒 涂 超

(卡斯柯信号有限公司,200071,上海∥第一作者,工程师)

针对列车运行控制系统的质量安全测评工作，一般采用基于质量成本的评估方法。目前，已有的质量成本评估方法主要关注点在于追求降低测试质量成本,却忽略了项目对时效性的需求。引入时效维度,建立基于时效因子的测试质量成本评估模型,并应用于城市轨道交通列车运行控制系统的测试过程评估。利用自适应遗传算法寻找到的最优解表明,在满足时效性的条件下,可有效地改善现有的测试质量成本,为测试过程的评估提供了更好的参考。

列车运行控制系统; 测试评估; 时效因子; 质量成本

Author′s address CASCO Signal Ltd.,200071,Shanghai,China

1 研究背景

城市轨道交通列车运行控制系统(简为“运控系统”)是一个安全苛求系统,直接关系到乘客的生命财产安全。由于存在所谓的“安全侧”,运控系统无需追求没有止境的极高可靠性,应在满足一定可靠性、可用性需求的基础上,实现系统“故障导向安全”的最终运营安全目标[1]。

对于运控系统而言,测试工作是系统构建过程中,验证系统是否满足需求的必要一环[2]。国内轨道交通的发展对运控系统的测试提出了更高的要求。例如，要求运控系统能作出多条地铁线路的并发测试及快速切换。同时，运控系统的测试分工日趋细化,相应的质量成本也越来越高。因此，需要对测试质量成本进行有效地度量和分析，并通过合理的系统评估,最终实现系统、人、环境、运营、维保质量、安全、成本的统一。

约瑟夫·M·朱兰在其《质量控制手册》中提出,质量成本是指“为保持和提高产品质量而支出的一切费用,包括因为未达到既定的质量水平而造成的一切损失之和[3]。”一般将质量成本分为预防成本、鉴定成本和损失成本三大类[4]。其中，鉴定成本是针对产品或服务的测评所支付的费用,也正是本文所研究的对象,其它两类成本在本文中不作考虑。

对于运控系统而言,其鉴定成本主要涉及到仿真测试环境的准备和搭建、场景案例设计、测试执行、结果分析、报告生成、过程验证等环节。其中,测试所需的仿真测试环境应符合信号系统的接口和使用环境,属于必然发生的成本，且相对明确;而测试执行的完成时间则因采用不同的测试策略、计划而不完全相同,从而使所需花费的成本发生变化。

国内外不少专家学者对测试质量成本进行建模分析。文献[5]提出的三维质量控制模型关注控制成本与故障成本的平衡。文献[6]提出的模糊控制模型引入了模糊控制理论。文献[7]提出基于非齐次泊松分布的软件可靠性增长模型以降低在软件开发测试阶段的成本。文献[8]基于事故发生率提出测试成本模型[8]。文献[9]针对单元测试提出ATCUT模型[9]。这些模型在一定程度上有效地优化了测试质量成本,但忽视了一个在项目实施过程中的关键因素,即时效性。

与大多数项目一样,时效性是轨道交通运控系统测试工作的一个重要考量因素[10]。首先,工程测评验收的前提条件是测试工作已完成;其次,由于测试样本空间巨大,不可能无休止地进行测试以追求测试的完整性,确保产品的极高可靠性和安全性,即使能通过功能验收以及独立第三方的系统安全认证,但这有可能导致产品还未上市即已遭淘汰的命运。

为此,在满足测试覆盖率要求[11]的前提下,本文提出一种基于时效因子的测试质量成本评估模型,针对测试过程的测试质量成本进行评估,可发现测试过程的可改进环节,控制测试质量成本,实现测试成本与时效的统一。

2 安全苛求系统测试的现状

根据EN 50126,EN 50128,IEC 61508等标准中关于安全苛求系统开发的相关要求,系统的功能、性能、RAMS(可靠性、可用性、可维护性和安全性)等系统需求应分配到软件或硬件中实现。这是一个自上而下的过程。也应地,测试过程分成软硬件级、系统级的确认和验证,也是一个自下而上的过程。系统级测试过程如图1所示。

图1 系统级测试过程

在设计环节,必须验证系统架构和系统需求的追踪关系,以确保所有的系统需求都在系统架构设计中被继承并正确分解,同样软硬件开发文档也要满足对系统架构设计的正确追踪关系。

在测试环节,为确保最终产品正确实现了系统需求,首先，应执行系统集成测试对系统的架构进行确认,验证所有系统模块之间的接口是否被正确实现,要求测试对于接口的覆盖率必须达到100%；其次,应对系统的行为进行确认,验证每一条系统需求是否被正确设计实现。在实际操作中,需设计一个环境仿真器来模拟所有外部条件,并在最终设计产品上逐条对系统需求进行测试；同时，还必须进行EMC/EMI(电磁兼容性/电磁干扰)及振动、温湿度等环境测试。软件级测试过程如图2所示。

图2 软件级测试过程

针对软件需求、软件架构设计、软件模块设计,要有对应的软件确认测试、集成测试和单元测试来确保软件需求、软件模块及接口被正确实现。在软件编码阶段,应进行静态分析来验证编码对于编码规则的符合性。

3 基于时效质量成本的全生命周期测评模型

系统需求会在系统、软件、硬件层面逐步实现,并在软件、硬件、子系统、系统层面分步进行测试。测试的过程如图3所示。

需要注意的是，不同层面的测试需要层次递进,依次进行。例如在进行子系统集成之前,要先完成软件及硬件相关测试,然后才能进行子系统集成测试。在同一测试阶段,测试案例之间具有衔接性,需要按照一定序列依次进行。例如某测试案例的输出可能正是另一测试案例的输入。

不同的测试策略(包括测试案例集的组成及顺序、测试平台的数量等)决定了测试阶段的持续时间及测试质量成本。为判断该测试策略能否满足时效性要求,测试质量成本是否达到最优化配置,需要对既有的测试策略进行评估并优化。为此,提出一种基于时效因子的测试质量成本评估模型。

图3 测评模型的测试过程

(1) 作为安全苛求系统,需要保持系统的测试覆盖率。为此,通过划分测试用例的输入变量等价类的方式[12],来避免测试用例的共模失效。

(2) 根据不同的测试阶段,进一步划分测试案例集。

(3) 每个测试案例,都有一个耗费人工的经验值,以人日为单位。

测试用例划分如图4所示。

图4 测试用例划分

3.1 测试质量成本的计算

假设m个用例在n台测试设备上的分布为F,如果忽略同一个测试员在不同测试设备间的切换时间,则可以证明，这m个用例的测试时间与测试员的数量无关。因此，如果测试设备的折合成本为K,测试时间的折合成本系数为C,所有用例的测试时间为t,则所有用例的测试成本因数W可表示为

W=K+C×t

(1)

3.2 基于时效因子的测试质量成本评估模型

由于项目一般都对时效性有要求[1],故提出一种基于时效因子的测试质量成本评估模型,并称该成本为时效质量成本。

设测试阶段数为np,测试用例总数为nc。在阶段i的测试用例有Li类,则第j类测试用例涉及需测试的用例数为nc，j，可提供的测试设备总数Mj,每台设备的折合测试成本Kj。则全阶段的测试用例总数nc为

(2)

每类用例随机分配到该类用例的测试设备上,以ci,j,m表示阶段i第j类的第m个用例,以pi,j,m,n表示用例ci,j,m分配到第n台设备,可知ci,j,m∈[1,nc,j],pi,j,m,n∈[1,Mj]。

(3)

由于测试按从底向上的顺序进行,故全阶段的测试时间t为

(4)

设阶段i第j类测试项目实际投入测试设备数为qi,j∈[1,Mj],则全阶段的时效质量成本因数W为

(5)

由式(5)可知,通过设置不同的成本系数C,可实现不同的优化策略。例如,如果考虑采用时效优先策略,则可将C设置得较大,加大t的比重;如果采用成本优先策略,则可将C设置得较小,加大K的比重。

设给定的测试工期为tg,则定义时效因子Δt为

(6)

可知,Δt>0。如Δt>1,则说明测试超时；如Δt≤1，则表明测试满足工期要求。因此,优化目标即在Δt≤1的情况下,对各阶段的测试用例及测试设备进行合理分配,找出全阶段最优时效质量成本因数

(7)

4 应用案例分析

根据深圳地铁2号线城市轨道交通运控系统的实际项目案例,对测试数据样本进行取样及分析,基于本文提出的评估模型,对项目的测试策略进行评估,并给出合理化建议。

以深圳地铁2号线一期工程(线路全长约20.65 km,正线设置12座车站)为例,项目原测试计划需要实施工期为53 d。根据深圳项目的测试数据,测试用例的执行时间分布情况及计划配套的测试设备数量如表1所示。

表1 项目测试数据(深圳地铁2号线一期工程)

由表1可知,项目测试主要分为2个阶段。第1阶段是子系统级测试,子系统包括计算机联锁(CI)子系统、列车自动控制(ATC)子系统、列车自动监控(ATS)子系统、数据传输(DCS)子系统,维护支持(MSS)子系统。第2阶段是系统级测试,即基于通信的列车控制(CBTC)系统测试。用例数为对应子系统/系统的测试用例数量。测试设备即用于执行测试用例所对应的子系统/系统实物。

根据基于时效因子的测试质量成本评估模型,分别采用成本优先策略和时效优先策略对深圳地铁2号线一期工程测试的时效质量成本进行评估。

采用自适应遗传算法进行最优解的搜索,其中,初始种群规模为100,选择规模为120,进化代数为200。采用单点交叉、精英保留策略。交叉概率和变异概率采用自适应的策略,随进化代数而改变[14]。交叉概率和变异概率的变化曲线如图5所示。

按成本优先策略,参数C与项目计划中的取值相同,即取为10。经200代的进化后,搜索到的最优解显示:Wopt为9 784.2,所需测试时间为41 d。此时,时效因子Δt为41/53=0.773 6。W的进化曲线如图6所示。

按时效优先策略,参数C取值为50。经200代的进化后,搜索到的最优解显示:Wopt=12 766,t=26.12 d。此时,Δt为26.12/53=0.492 8。W的进化曲线如图7所示。

各测试阶段的配置情况见表2。其中,发布测试版本数是指发布到测试平台的测试版本个数。

根据以上结果,在确保质量安全的前提下,这两种策略都可以满足工期要求。经对比可知,后者的时效因子为前者的63.7%,但前者的时效质量成本是后者的76.64%。因此,在满足测试时间的前提下,如果能有效缩减测试设备,尤其是较昂贵的系统功能测试设备,将测试人力尽可能投入到其它阶段的测试,将有利于降低整个系统的测试成本。而表2的寻优结果也表明,利用自适应遗传算法,可找到最优路径。

图5 概率变化曲线

图6 基于成本优先策略的W进化曲线

图7 基于时效优先策略的W进化曲线

测试阶段子系统/系统发布测试版本数/个用例数/个测试设备/套用例分布成本优先时效优先成本优先时效优先子系统级CI21621316254,55,53ATC31351213568,67ATS1047024237,233122,119,119,110DCS252125226,26MSS51402369,7142,48,50系统级CBTC428011280280

5 结语

对于运控系统这样的安全苛求系统,随着测试分工的细化,其在项目中所占的质量成本越来越高,需要进行有效的度量及分析。为实现测试质量成本与时效的统一,需针对系统测试进行基于时效质量成本的评估,并采用合理的测试策略。在确保质量安全及满足工期要求的前提下,获得更优的时效质量成本。

目前的研究成果已应用到轨道交通领域单个项目的测试评估上,未来需进一步研究面向项目群的测试策略评估及优化问题。

[1] YAN F,TANG T.Research and development of safety technology in signalling system of rail transit[J].China Safety Science Journal,2005,15(6):94.

[2] BSI.Railway applications-Communication,signalling and processing systems-Safety related electronic systems for signaling:EN 50129[S].London:BSI,2003.

[3] JUNAR J.M,GRYNA F M.Juran’s quality control handbook[M].3rd ed.Columbus:Mcgraw-Hill,1988.

[4] CAMPANELLA J.Principles of quality costs:principles,implementation and use[M].3rd ed.Milwaukee:ASQ Quality Press,1999.

[5] YUAN Y Y,GU S.Research and establishment of quality cost oriented software testing model[C]∥IEEE Canadian Conference on Electrical and Computer Engineering.Ottawa：IEEE,2006.

[6] SHANG S S,YOU J X.Quality cost control model based on fuzzy neural network[C]∥16th International Conference on Industrial Engineering and Engineering Management.Beijing：IEEE,2009.

[7] HTOON C Y,NI L T.Model-based testing considering cost,reliability and software quality[C]∥6th Asia-Pacific Symposium on Information and Telecommunication Technologies.Yangon:IEEE,2005.

[8] FARREN D,AMBLER A P.System test cost modelling based on event rate analysis[C]∥Third International Conference on the Economics of Design,Test and Manufacturing.Washington D C:IEEE,1994.

[9] SHRIVASTAVA D P,JAIN R C.Unit test case design metrics in test driven development[J].International Conference on Communications,Computing and Control Applications.Hammamet:IEEE,2011.

[10] LIBERATORE M J,POLLACK-JOHNSON B.Improving project management decision making by modeling quality,time,and cost continuously[J].IEEE Transactions on Engineering Management,2013,60(3):518.

[11] BSI.Railway applications-communication,signalling and processing systems-software for railway control and protection systems:EN 50128[S].London:BSI,2011.

[12] NICLOA G D,TOMMASO PD,ESPOSITO R,et al.A hybrid testing methodology for railway control systems[M].Heidelberg:Springer,2004.

[13] TEEE.IEEE dtandard for communications-based train control (CBTC) performance and functional requirements:EN 1474.1—2004[S].New York:IEEE,2004.

[14] CHEN C Z,WAN N.Adaptive selection of crossover and mutation probability of genetic algorithm and its mechanism[J].Control Theory and Application,2002,19(2):41.

Testing Assessment Based on Timeliness Quality Cost for Train Control System

YANG Haidong, ZHOU Tingliang, ZHOU Yuheng, TU Chao

Quality cost assessment is commonly adopted in the testing and assessment of quality and safety of urban rail transit train control system.The existing method is mainly focused on the reduction of testing quality cost, while the timeliness requirement from a project is often neglected. The timeliness dimension is introduced in this paper to establish an assessment model based on timeliness factor for the evaluation of the testing process for urban transit train control system. An optimum solution found by the adaptive genetic algorithm shows that the testing quality cost is improved when the timeliness requirement is satisfied. The proposed model can provide a better reference for the assessment.

train control system; testing assessment; timeliness factor; quality cost

*上海张江国家自主创新示范区专项发展资金重大项目(ZJ2012-ZD-011)

U 231.6

10.16037/j.1007-869x.2016.09.005

2015-09-15)