基于可视化的集成式自动化测试管理平台

摘  要：大数据和云计算的兴起，对数通厂家的产品质量和测试效率都提出了极高的要求。由于云计算自动化管理平台和RF自动化管理平台都无法解决测试过程和测试报告的管理问题、复杂环境并发问题等疑难问题。文章提出VTest的自动化测试管理平台，实现测试流程、自动化开发、标准化结果输出等集成式管理，满足企业内部测试、互联网企业和运营商集采入围测试的需求，可以提升测试效率，缩短测试周期，提高产品的质量，加速产品的发布速度。

关键词：自动化测试;测试管理;自动化测试开发

中图分类号：TP311.52     文献标识码：A 文章编号：2096-4706（2020）12-0098-07

Abstract：With the rise of big data and cloud computing，the product quality and test efficiency of data communication manufacturers have put forward extremely high requirements. Because the cloud computing automation management platform and RF automation management platform can not solve the test process and test report management problems，complex environment concurrency problems and other difficult problems. This paper puts forward the VTest automated test management platform，which can realize the integrated management of test process，automatic development and standardized result output，so as to meet the needs of enterprise internal testing，internet enterprises and operatorscentralized purchase and shortens the test period，improves the product quality and accelerates the release speed of products.

Keywords：automated testing;test management;automated test development

0  引  言

成功入围互联网企业如阿里、腾讯、运营商如中国移动等的集采测试，是对厂商在业界中的领先地位的一种认可，集采测试每次都能吸引诸多设备厂商竞争。集采测试涉及路由器领域、交换机领域、无线领域和安全领域等，其中高端路由器和数据中心交换机集采测试是中国移动在IP数通产品领域最重要的选型测试，会从众多国内外产品供应商里优中选优[1]。在路由器和交换机领域的设备选型过程中设置了最高测评规格，移动方基于Spirent（思博伦）和IXIA（意达康）的仪表厂商，构建了相应测试平台[2]，其保密性高、测试效率高。由于移动测试人员一个人需面对多厂商产品的测试，在高标准的验收条件下，如何提升测试效率是目前最主要的问题。本文章通过分析传统自动化管理平台、RF自动化管理平台，提出了全新的VTest（Visual Test）自动化测试管理平台，实现了测试用例管理、测试报告管理、测试过程管理、自动化测试管理等集中式管理，提高了测试效率，缩短了测试周期，降低了人工成本，有效地降低了外部测试的风险。

1  现有的自动化测试管理平台分析

云计算的自动化测试管理平台[3]，更倾向于企业内部的集成测试，实现功能型的测试，局限性较大，无法胜任中国移动集采入围测试的相关测试要求。

RF平台的优势在于较好的扩展性，支持较多第三方管理平台如Jenkins、持续集成（Continuous Integration，CI）平台[4]等，支持主流的开发语言。由于其开源特性，对外提供的公共库支持有限，用户需要基于不同的产品投入大量的人力和时间，以进行二次开发并进行适配。这就要求人员对自动化语言要极其熟悉，对人员水平要求极高。同时，RF缺少相应的测试管理和测试报告管理，测试配置通过表格形式进行设置，易用性较差，稳定性也不足。平台运行复杂组网用例时需要人工逐个配置，极其耗时也容易出错。

2  VTest自动化测试管理平台

通过对比RF自动化测试管理平台的优劣势，提出并设计了VTest自动化测试管理平台，其优势如表1所示。

2.1  VTest自动化测试管理平台架构

互联网业务和运营商网络都具有周期短、质量要求高等特点，锐捷网络公司为了更好地控制人力成本、缩短产品交付周期、提升产品的测试效率、提高产品的交付质量，分析研究了云计算自动化测试管理平台和RF自动化测试管理平台无法解决的复杂场景组网测试、可视化测试管理等问题，基于测试仪表厂商Spirent和IXIA的配套仪表，提出了VTest自动化測试管理平台，通过分级分层的测试平台架构，实现了测试用例、测试脚本等的统一管理，具有上手快、自动化开发效率高、维护简单等优点，其封装的QuickCall和自带的Native API扩展功能可以解决复杂的叠加应用场景，并支持多厂家的测试报告输出，输出报告统一并且完整，方便对过程的跟踪和问题的排查。如图1所示，将整体分为表示层、逻辑层、封装层、接口层和物理层。

用户基于可视化操作界面，发送相应的测试指令给测试资源、被测设备以及测试仪表，完成对测试拓扑的管理。

2.2  VTest自动化测试管理平台实现与应用

2.2.1  VTest自动化测试管理平台实现的动能

（1）测试用例库管理：实现记录测试项目名称、测试厂家信息、测试软件版本号以及测试用例名称等测试用例管理功能。

（2）自动化测试管理：根据测试用例的设计要求，实现自动化公共库设计、自动化脚本开发、自动化脚本调试等自动化相关功能。

（3）测试过程管理：按照项目测试要求，在自动化测试管理平台下发全局的功能配置、测试动作与拓扑对应关系配置，把以上配置结果分别下发给被测设备与测试仪表，完成测试用例的测试。同时，通过测试过程的监控，实现对被测设备的设备信息、测试表项、设备回显、测试指标等信息的监控功能。

（4）测试报告管理：自动化测试管理平台提取登记内容、测试时间、测试过程以及测试结果等信息自动生成测试报表，同时实现对测试结果的浏览和打印功能。

2.2.2  VTest自动化测试管理平台的应用

（1）应用于企业内部测试：自动化测试管理平台可实现对测试全流程的监控，并提供了可靠的自动化测试解决方案，通过可视化的人际交互界面和标准化的测试报告，解决了成长性企业内部自动化率低、测试流程混乱以及无严格的测试报告审核等问题。该平台的使用让本公司的产品的自动化率从10%提升到80%、测试效率提升了8倍，缩短了产品研发的周期，提高了产品入市的速度，有效地降低了40%的成本。

（2）应用于互联网企业入围测试：由于互联网产品的版本迭代快、测试内容多、效率要求高等特点，自动化测试管理平台支持CI平台的联动，通过QuickCall与Response Maps的组合，使测试用例转化为快速的自动化测试，利用平台的拓扑管理功能，实现服务器、虚拟机、物理PC机、被测设备和测试仪表的多套并发与拓扑自动切换，结合CI平台实现自定义时间段的执行与测试验证，极大程度上减低了人工成本的投入。单测试用例执行周期从60分钟/个提升到6分钟/个，测试效率提升10倍，有效地缩短了测试回归周期，提升了测试用例的复用率。

（3）应用于运营商集采测试：针对运营商集采测试周期短、用例复杂度高、测试要求严苛等特点，利用自动化测试管理平台的可视化界面，结合报文的回放和录制功能生成千万级路由转发流量;利用测试用例随机、测试端口随机等随机算法，实现了测试用例随机概率的触发;再进一步通过图形化人机交互功能，实现10台被测设备的复杂组网;由自动化测试管理平台统一调用800个测试仪表端口，实现瞬时的并发操作，从而完成7*24 h稳定的长时间的自动化拷机测试。该平台的使用让环境搭建周期从7天缩短到1天，测试效率提升7倍，大大降低了测试的复杂度，提高了测试的质量，减少了人工操作的耗时以及手工任务的错误概率，提升了企业入围集采测试的可能，降低了入围集采测试失败的风险。

VTest自动化测试管理平台提出了可视化的自动化测试管理，统一了操作规范和测试流程，解决了传统自动化的资源独占性问题。其通过测试拓扑的自动切换，提升了被测设备、被测仪表等测试资源的利用率，较好地缩短了项目的测试周期。該平台解决了云计算自动化测试管理平台下应用场景局限性的问题，能更好地适应复杂的、严苛的、较大规模的测试场景;解决了RF自动化框架稳定性差、开发效率低的问题，保证了自动化测试管理平台的稳态运行，提高了自动化脚本的开发效率，从而进一步提升了测试的效率。

2.2.3  VTest自动化测试管理平台的提升效果

文章分析了业界多平台多架构的优劣势，VTest自动化测试管理平台采用分层架构，以高效率、高可用、高可靠、扩展性强为设计准则，满足多厂商的适应复杂性环境、多功能、高性能、大容量、能完成7*24 h测试的测试需求。VTest平台通过对运维管理工具的整合和对测试流程的管控，实现了产品质量与测试管理方面的创新性突破。借助这一全新的平台，参与集采测试的厂商实现了产品质量与测试管理水平、测试工作交付效率的大幅度提升，从而不断降低测试成本与入围测试出局的风险。

3  结  论

VTest自动化测试管理平台是集成测试用例设计和执行的解决方案，可用于测试用例的快速开发、自动化和维护以及标准化测试报告的管理。该平台能灵活应对企业内部测试、互联网企业集采测试、运营商集采测试等业务场景的挑战，避免自动化测试项目可能遭遇的各种陷阱。其更完美地提供给客户定制化的解决方案，严格地遵循产品开发和测试过程中的最佳实践方案。对比现有的自动化管理平台，VTest提升了自动化脚本开发的效率，提高了测试用例的复用率，提升了产品的质量，有效地缩短了产品测试周期，极大地降低了人工成本，完全可以适应今天和未来所面临的各项挑战。

参考文献：

[1] 周俊.运营商产品测试机制研究 [J].电信技术，2014（3）：8-11.

[2] 蒙克.思博伦通信：测试为ICT产业保驾护航 [N].网络世界，2013-04-29（8）.

[3] 林奇.基于云计算的测试管理平台 [J].科技传播，2013，5（17）：227-228+192.

[4] 张晨，姚莉.基于RF的自动化测试脚本设计与应用 [J].电子技术与软件工程，2014（1）：103-104.

[5] WELCH B B.Tcl/Tk编程权威指南 [M].崔凯，译.北京：中国电力出版社，2002.

作者简介：贺宏达（1986.10—），男，汉族，湖南耒阳人，中级工程师，本科，研究方向：数通产品测试、软件黑盒测试。