基于国产IaaS云平台的性能测评基准设计与应用

刘维，杨攀飞，陈玥同

（基础软硬件性能与可靠性测评工业和信息化部重点实验室工业和信息化部电子第五研究所，广州 511300）

0 引言

在“互联网+”国家战略的驱动下，云计算［1］逐渐成为互联网领域主流的计算模式，是信息技术发展和服务模式创新的集中体现。云计算的核心理念是资源租用、应用托管和服务外包，将硬件基础设施、开发平台、应用软件、网络带宽等资源整合在云端服务器，通过虚拟化技术［2］将分布的计算节点组成一个共享的虚拟化池，为用户提供按需租用的计算资源和可靠稳定的云服务。云计算已成为承载各类应用的关键基础设施，为大数据、物联网、人工智能等新兴领域的发展提供基础支撑。

近年来，国内外云计算技术发展迅速，很多公司都向云计算领域投入了资本与技术力量，向用户提供虚拟网络、云服务器、云存储［3］等服务，主流的云服务提供商包括亚马逊、微软、阿里云、腾讯云等，主流的云服务形态包含私有云、公有云、混合云等。在国际上，颇具影响力的公司和组织均已推出了自己的IaaS［4］云平台的测试基准。不同的测试基准各有特色，其测试指标和测试基准都不尽相同甚至大相径庭。极具有代表性的云测试基准有：基于BUNGEE Cloud Ealastic⁃ity Benchmark的虚拟机测试基准［5］、VMmark云平台测评基准［6］、SPECvirt_sc 2010［7］、Perfkit Benchmarker（PKB）［8］以及SPEC Cloud Benchmark。

在国内，基于Wintel体系的国内云计算厂商大多基于开源成果（如Open Stack［9］）做定制开发或直接采购商用服务，将更多精力放在产品的优化开发及市场推广，缺乏测试技术研究及测评工具研制，基本依赖国际成果。基于国产基础软硬件平台的国产云计算厂商技术水平与产品质量参差不齐，据调研，国产服务器虚拟化软件厂商约30家、国产容器云平台软件厂商约33家、云管理软件厂商约39家、云桌面软件厂商约27家，技术研究条块状、碎片化、重复化严重，没有形成产业创新链条，在测试技术研究及自主工具研制方面尚未形成研发合力。再加上，当前国产基础平台存在多条不同的技术路线，且无标准可依、无工具可用，对基于不同基础平台的IaaS平台的服务能力无法进行评估（如可提供多少用户并发、可部署几套系统等），导致信息化建设中设备采购无测算依据，国产IaaS云平台的选型无有力判据。

基于上述问题，本文提出了一套基于国产IaaS云平台系统的上云/迁云测试指标评估体系，包含国产虚拟化云平台、容器云平台、桌面云性能测评指标体系，实现对国产IaaS平台计算、网络、存储等资源的性能隔离性测试，以及可靠性测试和服务能力评估，可有效支撑“信创云”［10］生态产品质量测评服务。

1 测评指标研究与基准设计

通过研究虚拟化云平台、容器云平台、桌面云系统的技术特点，分别制定不同云平台下云主机、云平台并发、云存储、云网络等的性能测试指标体系，涵盖硬件虚拟化性能指标、虚拟化云平台性能测试指标、容器云平台性能测试指标、桌面云性能测试指标共4个大类14个小类140余项指标，指标基准大类及具体细则如表1所示。

表1 指标类别及细则

续表1

1.1 硬件虚拟化性能测评基准研究及设计

虚拟化技术是云平台构建的核心，被广泛用于计算领域中资源按需分配的配置与管理。虚拟化技术的基本特点是实现资源的优化分配、虚拟环境的等价执行、性能效率的明显提升，以及资源的高可用。由于云平台需要各种管理软件和虚拟化软件等额外的应用，与同等配置的物理机相比，虚拟机的性能会有一定损失，因此需要通过对相近配置的虚拟机和物理机进行多项对比测试来考察性能损耗，如表2所示。

表2 硬件虚拟化性能指标权重表

根据业务场景灵活设置每项测试指标的权重值，拉齐各测试项单位，硬件虚拟化性能测评得分见公式（1）。本文设置权重1为45%、权重2为10%、权重3为5%、权重4为25%、权重5为15%。

1.2 虚拟化云平台性能测评基准

云平台是由搭载了云平台服务器端软件的云服务器、搭载了云平台客户端软件的云电脑以及网络组件所构成的，用于提高低配置或老旧计算机的综合性能，使其达到现有流行速度的效果。在实际生产环境中，云平台动态管理和调度虚拟资源，为上层应用服务提供支持，如表3所示。

表3 虚拟云平台性能指标权重表

云平台基本操作性能反映了云平台的基本能力，会影响云平台动态扩展、弹性伸缩及故障恢

复等高级特性，是实现云平台竞争力的重要基础；SPEC Cloud ® IaaS 2018是目前最新的SPEC Cloud云计算平台基准测试，具有完备的云计算平台级性能测试能力，本文选用其作为国产IaaS云平台基础设施性能测试指标；虚拟机作为云平台提供的主要虚拟资源，其主要性能指标为处理器性能、内存性能、硬盘性能、网络性能以及虚拟机整体性能五个方面，需要考虑多个虚拟机进行共同作业时的性能隔离性。

续表3

根据业务场景灵活设置每项测试指标的权重值，拉齐各测试项单位，虚拟云平台性能测评得分见公式（2），本文设置权重1为15%、权重2为20%、权重3为35%、权重4为5%、权重5为25%。

1.3 容器云平台性能测评基准

根据容器云的特性，本文选取单个/多个容器启动耗时、单个/多个容器关闭/杀掉耗时、容器服务时效感知时间作为度量容器云平台基本操作性能指标；容器镜像作为云平台提供的主要虚拟资源，其主要性能指标为处理器性能、内存性能、硬盘性能、网络性能以及虚拟机整体性能五个方面，同样需要考虑多个微服务进行共同作业时的性能隔离性，如表4所示。

表4 容器云性能指标权重表

根据业务场景灵活设置每项测试指标的权重值，拉齐各测试项单位，容器云性能测评得分见公式（3），本文设置权重1为20%、权重2为30%、权重3为50%。

1.4 桌面云性能测评基准

根据桌面云的特性，本文选取单个镜像发放拟桌面迁移、虚拟桌面帧率作为用户体验性能指标，如表5所示。一台/多台虚拟桌面耗时、单个/多个虚拟桌面启动耗时、虚拟桌面连接耗时作为度量桌面云平台基本操作性能指标；主要考量网络传输带宽、虚

续表4

表5 桌面云性能指标权重表

根据业务场景灵活设置每项测试指标的权重值，拉齐各测试项单位，桌面云性能测评得分见公式（4），本文设置权重1为20%、权重2为80%。

续表5

2 应用验证

保证测评结果的公平、公正，本文对测评对象、测评范围、测评环境进行约束：

（1）测评对象。本文中描述的信创云测评对象包括虚拟云平台、容器云平台、桌面云，适用于公用云、私有云、混合云的测评。

（2）测评范围。测评指标体系仅涵盖IaaS层云平台相关的性能指标，尚未涵盖PaaS层、SaaS层相关内容。

（3）测评环境。已完成国产主流硬件的适配验证，适用于基于龙芯、飞腾、鲲鹏、海光、兆芯等硬件为底座的云平台。测评环境如图1所示。

图1 国产IaaS云平台性能测评测试环境

2.1 基于灵活可定制负载模型的国产IaaS平台性能隔离性测试

IaaS云计算平台面对多种多样的业务，IaaS云服务商需要对计算、网络、存储资源管理进行优化，而虚拟机则是多种资源的集合体。虚拟机性能的优劣，体现了IaaS云服务的水平。因此，在进行性能隔离性测试时，对虚拟机计算、存储、网络资源进行测试，主要体现是对CPU、内存、网络、磁盘的性能进行隔离性测试。

本文基于提出的国产IaaS云平台性能测试基准，设计灵活可定制负载模型的国产IaaS平台性能隔离性测试，其主要思想是：①从大量虚拟机中选取一台虚拟机进行性能测试，期间其它虚拟机不进行性能测试或其它负载测试；②大量虚拟机在同一时刻进行性能测试，将两种测试得到的测试结果进行对比分析，分析IaaS性能隔离性的优劣。

各类型性能隔离性测试主要分为两种情况：一种情况是在不同时间测出每台虚拟机的性能（分别为CPU、内存、网络、磁盘等的性能），期间其他虚拟化不进行相关负载运算；另一种情况是大量虚拟机在同一时刻测试所有虚拟机的性能（分别为CPU、内存、网络、磁盘等的性能）。对CPU性能测试主要关注CPU的并行计算性能、计算圆周率性能、素数加法运算性能，以及浮点预算性能等；内存测试主要关注内存带宽、内存延时等指标；磁盘I/O性隔离性测试主要关注磁盘读、写、随机读、随机写等指标；网络性能隔离性测试主要关注网络带宽及吞吐量、响应时间及延迟等指标。

2.2 基于分布式Web系统中间件构建典型业务负载场景的国产IaaS平台服务能力评估

结合当前“信创云”工程实施特点，本文提出基于分布式Web系统中间件，通过构建典型业务负载场景，对云平台的性能进行全方位的测试，通过模拟真实业务场景负载，评估国产IaaS平台可提供服务（可支撑的并发用户数、吞吐量、响应时间等）的能力。

基于分布式Web系统中间件的负载测试系统主要包括：分布式Web系统中间件、国产关系型数据库、典型业务模型、测试引擎。其中典型负载模型选取接近真实使用场景的交易型业务模型。测试引擎中的测试负载的选择需要根据实际业务场景为被测试云平台添加多样化、全方位的工作负载。测试负载模块提供图形化测试管理端，提供测试条件配置，如：提供测试连接配置、负载因子、并发数、会话数、测试持续时间、预热时间、请求频次和思考时间等。测试负载模块用于提供的负载测试执行计划，支持多线程框架，保证多个线程并发访问和取样能力，提供对测试执行的访问结果回传测试管理端的能力，并支持多种协议的模拟访问（如HTTP、HTTPS、FTP、Database/JDBC等）。测试引擎中的测试结果分析模块提供测试结果的统计汇总展示，提供并发数、总吞吐量、平均每秒吞吐量、总请求数、平均每秒请求数的统计值，以及提供事务平均响应时间及通过率。综上，根据设置的负载模型，以及测试结果，即可评估出该国产IaaS平台的服务能力，为国产IaaS产品的选型及设备采购提供有力评判手段。

3 结语

在政府积极引导和企业战略布局的推动下，基于国产IaaS平台的信息化基础设施建设已成为加快信息化全领域的国产化安全替代优选方案。本文提出的一种基于国产IaaS云平台的性能测试基准，在国产云计算领域处于不断完善的时期，填补了国内IaaS云平台性能测评指标体系的空白，通过制定基于灵活可定制负载模型，实现对国产IaaS平台计算、网络、存储等资源的性能隔离性测试；通过采用基于分布式Web系统中间件构建典型业务负载场景，实现对国产IaaS云平台可靠性测试和服务能力的评估，解决了当前国产IaaS云平台的性能测试无标准、压力测试无工具、上云效果无法评价、迁移效果无法对比的棘手问题，对于产品质量的提升与产业良性发展都有一定的积极作用。