铁路私有云平台性能评估方法研究及试验

孙晨宇，钟章队，陈 姝

（1.北京交通大学 轨道交通控制与安全国家重点实验室， 北京 100044；2.北京佳讯飞鸿智能科技研究院 云计算与大数据研究所， 北京 100044）

铁路行业的发展要求与信息技术的紧密融合，既有铁路企业的现状是信息基础设施规模庞大、专业繁杂、安全级别高，技术更新较慢，需要有适应业务需求的专业云计算平台解决方案来满足多样化的需求。通过自建私有云平台无疑是好的选择。

由于公有云是非定制化的，所以不会为用户提供定制性能优化服务。与之不同的私有云是针对用户需求进行特殊设计，所以，用户在验收时需要有效的手段来对私有云平台的性能进行评测，并且能够有一个参考标准来评价不同云平台方案的优劣和经济性。

对于铁路云计算的研究，文献[1]论证了云计算在铁路领域应用的必要性并提出了解决方案。在性能评测方面，从最初的面向不同架构云平台的对比[2-4]，探究不同架构云平台的灵活性和可扩展性。以及不同架构云平台底层虚拟化性能对比[5-7]，比较出不同云平台的基础性能优劣。openstack针对其基于高性能计算的性能评估和优化[8-9]，OneCPT性能测试平台[10]对数家公有云平台进行了性能评测。该平台选择默认的虚拟机配置，采用压力测试方法，对不同公有云主机进行平均响应时间、每秒查询数、磁盘吞吐量、错误率方面的测试，得到各个主流公允云厂商的性能参数。以上研究的测试方法及标准更多的是面向普通用户，虚拟机配置较低，没有进行特殊化定制，无法满足铁路行业的切实需求。

对于铁路系统而言，由于面向多种业务，所以要进行不同的资源池配置，需要有基线标准和业务需求的特殊标准来共同评价。所谓基线标准，即无论云平台硬件配置和虚拟化软件用的是什么，虚拟机的性能都应该达到一个标称的水平，虚拟化的效率应该在一个合理的范围，而本文正是针对目前研究中尚且缺乏的基线标准展开研究，探索私有云平台满足铁路业务需求的可行性，得到一组性能基线值，为铁路私有云性能评测提供参考标准。

1 云平台性能测试实验

根据铁路业务的不同类型，可以将其需求分为3类：实时计算类、大数据吞吐类、可靠低时延类。（1）实时计算类包括：风险告警、数据分析、实时调度等对实时性有高要求的业务。（2）大数据吞吐类主要针对视频监控等对存储要求较高的业务。（3）可靠低时延类面向运输生产中对云平台的可靠性和低时延性有较高要求的业务。根据上述3种分类可以发现，CPU、内存、磁盘吞吐速率是影响云平台能否满足铁路业务需求的重中之重。由于铁路业务的高性能要求，所以建设的私有云平台虚拟机性能虽然无法达到物理机的标准，但是应当达到或优于公有云高规格云主机。即物理机的利用率应当保持在75%以上，私有云主机性能达到公有云主机性能的90%以上，方可满足铁路业务的需要。

测试使用的云平台分为两类：基于OpenStack建设并专为京沈客专试验线辽宁段优化的实验私有云；公有云平台阿里云。通过对比二者虚拟机的CPU、内存、磁盘存储这3个最具代表性的性能指标，可以得到私有云平台的服务能力。此外，通过对比私有云平台物理机和虚拟机的性能差距，可以得到私有云的虚拟化损耗，进而得到提升优化的空间。

1.1 实验用例配置

实验私有云共有15台物理服务器，包括3台控制节点、6台计算节点、6台存储节点。具体参数配置，如表1所示。

表1 实验用例配置信息

1.2 测试指标选用

对于测试指标的选用，为保证可信及一致性，我们选择国际广泛认可的阿里云提供的参考指标。如表2所示。部分指标没有可供计算的公式，则将实验完成后的结果进行对比，进而得到参考值。

表2 性能测试指标说明及公式

1.3 实验工具选择

不同测试指标选用国际通用及阿里云推荐使用的测试工具进行实验。选用的实验工具均可使测试对象达到100%负载率，并且通过各个工具的参数计算公式提前计算出测试所用参数，保证实验结果的准确性。实验工具及工具需要配置的参数选择，如表3所示。

为保证测试结果的准确及稳定性，CPU测试均进行36次，内存及磁盘读写测试均进行20次。

2 实验结果分析

2.1 CPU性能

通过linpack和sysbench测试工具分别对虚拟机、阿里云主机、物理机进行CPU浮点计算能力和整型事务计算能力测试。浮点计算结果如图1所示，对比结果如图2所示。对比结果图中的数值采用36次测量结果的平均值。

表3 实验工具及参数选择

图1 CPU浮点计算实验结果

图2 CPU浮点计算能力对比

根据表2中的计算公式：理论每秒浮点运算数=核心数×主频×每个时钟周期浮点操作次数，私有云理论最大每秒浮点运算数为35.2 Gflops，阿里云理论最大每秒浮点运算数为40 Gflops。

阿里云CPU利用率为30.38/40×100%≈75.95%，实验私有云CPU利用率为26.32/35.2×100%≈74.77%。可以看到，由于实验私有云的CPU主频低于公有云，所以CPU的浮点计算能力弱于公有云。但是所能达到的CPU利用率极其相近，如若采用相同的CPU，实验私有云虚拟机浮点计算能力不弱于公有云。

另外，通过虚拟机和物理机的对比，可以得到实验私有云平台的CPU虚拟化效率约为26.32/31.46×100%≈83.66%。

图3、图4分别为CPU整型事务处理能力的结果图和对比图。对比结果图中的数值采用36次测量结果的平均值。图中可以得出，即使实验私有云CPU弱于公有云，但是实验私有云和公有云的虚拟机在整型事务处理能力上差距不大，基本可以达到相同的水平。

图3 CPU整型事务计算实验结果

图4 CPU整型事务计算能力对比

2.2 内存性能

图5、图6、图7分别为虚拟机、阿里云主机、物理机的内存带宽实验结果图。图中，浅蓝色线展示的是利用sysbench工具对内存进行带宽测试的结果，其它4条线是利用stream工具分别对内存进行copy、scale、add和triad操作所得的可持续运行带宽结果。图8为虚拟机、阿里云主机、物理机的内存带宽对比图。对比结果图中的数值采用20次测量结果的平均值。

图5 虚拟机内存带宽实验结果

图6 阿里云内存带宽实验结果

图7 物理机内存带宽实验结果

根据表2中的计算公式：带宽=内存核心频率×内存总线位数×倍增系数，可得私有云和阿里云理论最大带宽均为12 800 MB/s。

由图5～图7可知，在对内存进行copy、scale、add和triad操作时，虚拟机内存利用率最高可达10 338/12 800×100%≈80.76%。阿里云内存利用率最高可达9 666/12 800×100%≈75.51%。在对内存进行数据传输操作时，虚拟机内存利用率为8 687/12 800×100%≈67.86%。阿里云内存利用率为7 703/12 800×100%≈60.17%。在相同的内存配置条件下，实验私有云的内存表现优于阿里云。

图8 内存带宽对比

通过虚拟机和物理机的对比，实验私有云的内存虚拟化效率最低值为8 687/10 084×100%≈86.14%。

2.3 磁盘读写性能

利用Fio磁盘测试工具对虚拟机、阿里云主机、物理机的磁盘进行IOPS读写（随机读写）及顺序读写测试。

图9为虚拟机400 GB HDD、阿里云400 GB SSD磁盘读写结果。

图9 虚拟机、阿里云400 GB磁盘读写结果

图中，阿里云随机读写的两条折线几乎完全重合，这是由于阿里云存在对磁盘的限速，所以阿里云主机IOPS读写非常稳定在13 200 IOPS/s，顺序读写吞吐量稳定在288 MB/s，几乎没有波动。虚拟机的IOPS读写分别在20 000 IOPS/s和5 000 IOPS/s上下波动，顺序读写吞吐量分别在840 MB/s和320 MB/s上下波动。

图10为虚拟机800 GB HDD、阿里云800 GB SSD磁盘读写结果。

图10 虚拟机、阿里云800 GB磁盘读写结果

阿里云主机的IOPS读写非常稳定在20 000 IOPS/s，顺序读写吞吐量稳定在300 MB/s。虚拟机的随机IOPS读写分别在19 800 IOPS/s和4 800 IOPS/s上下波动，顺序读写吞吐量分别在800 MB/s和300 MB/s上下波动。

图11为物理机800 GB HDD磁盘读写结果。图12为虚拟机、阿里云主机、物理机磁盘读写能力对比图，对比结果图中的数值采用20次测量结果的平均值。

通过对比图可以看到，阿里云所能达到的最大IOPS数和吞吐量随着磁盘容量的增加而增大，直到达到其声称的标准，而实验私有云的读写能力比较稳定，磁盘容量并不会对读写能力造成过多影响。由于实验私有云采用的ceph存储结构，其在顺序读方面可以达到阿里云SSD的2.5倍以上。随机读、顺序写能力也基本与阿里云持平。在随机写方面，虽然不能达到SSD的性能，但是仍然比普通HDD的性能高7倍左右。

图11 物理机800 GB HDD磁盘读写结果

图12 虚拟机、阿里云主机、物理机磁盘读写能力对比

由此可见，采用ceph存储架构的实验私有云平台，虽然使用普通HDD作为存储磁盘，但是由于ceph的分布式存储特性，其磁盘读写性能已经远远超过普通HDD，甚至在顺序读写、随机读方面已经达到甚至超过公有云提供的SSD。

3 结束语

通过以上实验结果可以看到，针对铁路特别优化的私有云性能完全可以满足不同业务的需求。CPU、内存虚拟化效率可以达到85%左右，与物理机性能差距较小，基本可以达到实时计算的需求。在磁盘读写方面，由于采用特别优化的Ceph存储结构，只需要采购普通机械硬盘也可以达到媲美公有云固态硬盘的性能标准，在减少花销的基础上，最大化提升磁盘的性能，完全满足大数据吞吐的需求。综上所述，文中所提出的基线标准即物理机的利用率应当保持在75%以上，私有云主机性能达到同规格公有云主机性能的90%以上的设想成立，实验私有云平台各项指标达到预期设想，该性能评测方法可以适配于铁路私有云平台。但是因为各铁路段采购的设备不同，所以此方法需要在更多的铁路段中进行实验以保证易用性和稳定性。

目前，此实验云平台已经部署在京沈客专试验线辽宁段中，我们将继续关注该评测方法在私有云平台中的表现，适时调整，深度优化，保证评测方法的可用性、准确性和稳定性。