云计算环境下定制化服务器的研究与测试

2016-05-14邱红飞李先绪黄春光

移动通信 2016年6期

邱红飞李先绪黄春光

【摘要】随着云计算、移动互联网等业务的快速发展，X86服务器定制化的需求在电信运营商中将逐步增长。在研究服务器定制化方法的基础上，分析了服务器的应用场景，并对定制化服务器进行分类。通过对定制化服务器在不同应用场景下的性能测试，提出了服务器定制化解决方案，为优化定制化服务器提供有益参考。

【关键词】服务器定制化云计算虚拟化

doi：10.3969/j.issn.1006-1010.2016.06.014 中图分类号：TP391 文献标识码：A 文章编号：1006-1010（2016）06-0061-06

引用格式：邱红飞，李先绪，黄春光. 云计算环境下定制化服务器的研究与测试[J]. 移动通信， 2016，40（6）： 61-66.

1 引言

服务器作为云计算中提供计算、存储资源的核心，是整个云计算服务的基础。在云数据中心，大规模服务器的采用和管理带来了机房能耗、运营和运维成本的攀升。同时，传统的服务器采用统一的硬件配置，不会随应用场景的变化而变化，造成了服务器资源的浪费。因此，随着云计算环境中上层应用或业务种类的增多，定制化服务器应运而生[1]。

定制化服务器相对传统的服务器而言，是一种针对特定的、具体的应用场景设计的服务器系统，以削弱通用性为代价，主要通过全局优化、简化功能、精简部件、集成芯片等方式实现TCO（Total Cost of Ownership，总所有成本）的降低，能够大幅提升特定应用场景下的性能价格比。随着云计算和移动互联网等业务的快速发展、ICT（Information and Communication Technology，信息和通信技术）的融合、数据中心业务的转型，电信运营商的服务器需求将进一步明确，并且逐步增长。因此，应持续借鉴国内外互联网企业、基础设施运营商的定制化服务器经验，逐步实现服务器定制化[2]。

不同的业务应用类型对定制化服务器的硬件配置要求并不相同，定制化服务器的目的就是对不同业务应用类型合理地进行硬件配置。本文通过对常用的定制化服务器的各项性能指标进行评估，找出了不同应用场景下的性能和硬件配置依赖关系，为定制化服务器的物理配置提供了参考依据。

2 服务器定制化的方法及应用分析

2.1 定制化的主要方法

云计算应用服务器定制化的目的是为了满足特定业务及数据中心环境要求，在现有量产服务器基础上提出配置、节能和管理等技术要求，由服务器供应商进行有针对性设计和优化服务器，以提高资源利用率并降低服务器生命周期内的TCO[2]。云计算应用服务器定制化主要包括以下方面：

（1）精简部件：在服务器定制中，应针对不同业务对资源的不同需求和特点，并基于可靠性要求，对CPU（Central Processing Unit，中央处理器）、内存、硬盘和网络等进行有针对性的配置，避免部分资源出现瓶颈或明显过度配置的情况。

（2）芯片集成：主要是将功能芯片板载化，如常用的板载化芯片包括网卡、显卡、HBA（Host Bus Adapter，主机总线适配器）卡等。

（3）共享组件：基于资源需求，在多服务器需求场合下，应尽量考虑在服务器定制中使用共享组件，即多个服务器节点使用一个机箱框架，共享风扇、电源等基础组件。

（4）接口整合：针对特定的资源需求，可以将所需要的USB（Universal Serial Bus，通用串行总线）口、VGA（Video Graphics Array，视频图形阵列）口等外置接口进行集成整合，提供一个集成接口。

（5）软件定制：针对特定的管理和运维需求，应考虑支持对服务器节点或共享架构下的服务器管理软件进行定制，如对BIOS（Basic Input Output System，基本输入输出系统）和BMC（Baseboard Management Controller，基板管理控制器）的定制、监控软件管理等方面功能。

（6）能力扩展：基于现有的量产化服务器进行定制时，可根据业务需求，扩展服务器的功能和能力，包括增加支持特定功能的功能芯片或板卡，如在网络吞吐密集型服务器定制中配置I/O（Input/Output，输入/输出）硬件加速芯片、在虚拟化应用服务器中使用支持I/O虚拟化的功能芯片等。

2.2 定制化服务器应用分类及特征

在电信运营商的云计算应用中，大量需要定制化服务器主要包括Web服务器、计算虚拟化型服务器和分布式存储型服务器等。这3种典型定制化服务器具体的特征如下：

（1）Web服务器

Web服务器已经成为绝大多数企业不可或缺的平台工具，作为一种广泛使用的服务器产品。Web服务器的主要功能是提供网上信息浏览服务，通常有两种类型：一种是代理模式（也称为接入服务器），负责将收到的信息请求转发给消息处理服务器（也称为应用程序服务器），不带应用处理程序；另一种是传统的网站服务器，自身安装了应用处理程序，通常具有事务处理、数据库连接和消息等功能，最常用的Web服务器是Apache和Microsoft的Internet信息服务器[3]。

（2）计算虚拟化型服务器

基于虚拟化技术的计算型服务器主要部署在业务平台资源池、IT系统资源池、云数据中心资源池，用于承载内部的业务平台和对外服务的云产品[4]。在资源池部署中，虚拟化服务器的需求定位较为明确，主要呈现为多租户、集群化、可弹性调度的总体特征，其定制需求和技术特征包括：较强的计算处理能力和大比例配备的内存容量需求。虚拟化服务器要求具有较高配置的CPU和内存，且CPU和内存容量应按一定比例合理配置；多网络接口和较高的网络带宽要求；少许本地存储容量要求；较高的设备可靠性要求。

为保证虚拟机的运行稳定，对于虚拟化服务器的可靠性要求较高，如网络冗余、电源冗余、存储阵列硬盘要求采用RAID（Redundant Arrays of Independent Disks，磁盘冗余阵列）冗余技术等。

（3）分布式存储型服务器

分布式存储主要通过分布式文件系统、对象存储或其他应用系统支持，采用多台廉价通用服务器及服务器自身提供的多个大容量廉价磁盘来搭建，从而取代传统的集中部署的独立式磁盘阵列系统，主要用于网盘存储、邮箱系统、互联网海量数据存储（如网页、图片、视频、音频、日志等）、数据挖掘、搜索引擎、日志分析等多类应用场景[5]。利用存储型服务器搭建的分布式存储系统在互联网企业中已被广泛应用，应用针对性强，其定制需求与技术特征包括：大存储容量；高网络I/O；较低CPU与内存要求；较低硬件可靠性要求。

由于分布式文件系统本身采用软件实现系统的可靠性，因此服务器自身对于磁盘的可用性没有过高要求，主要以SATA（Serial Advanced Technology Attachment，串行高级技术附件）磁盘、Non-RAID磁盘为主。

3 服务器定制过程

下面主要针对上述3种典型云计算应用，分析其定制化服务器所关心的主要性能指标和硬件配置的相互关系，制定服务器主要部件的配置列表，为云计算服务器的定制化提供理论依据。

3.1 Web服务器定制过程

（1）测试结果分析

针对Web定制化服务器性能测试采用的评估工具是LoadRunner，评估资源对象包括CPU、内存、磁盘I/O和网络I/O。服务器主要配置是2路4核、主频2.4GHz的CPU、32GB DDR3（Double Data Rate，双倍速率同步动态随机存储器）内存、2个300GB容量、15 000转速的SAS（Serial Attached SCSI，串行连接服务器硬盘）硬盘、1个千兆网卡的通用服务器。测试中将并发用户数分别从1000到4000进行测试，其资源占用情况如表1所示：

在4000用户数时，SAS硬盘的磁盘I/O出现了性能瓶颈，因此将以上2个SAS硬盘更换为SSD（Solid State Drives，固态硬盘）硬盘，从5000用户数做进一步的测试，其资源占用情况如表2所示：

从业务模拟测试上可以看出，相对于使用SAS硬盘的通用型服务器而言，在4000用户数以下，应用对磁盘I/O的要求较高、内存和CPU次之、网络I/O要求较低，可以得出测试结论如下：

◆在SAS磁盘场景下，最大可以达到4000并发用户数，所需的CPU资源相当于1路4核处理器，内存需求约16GB，网络资源仅需1个千兆以太网卡即可满足。

◆在SSD硬盘场景下，由于硬盘的I/O能力大幅提高，最大可以达到9000并发用户数，所需的CPU资源相当于2路4核处理器，内存需求约32GB，网络资源仅需1个千兆以太网卡即可满足。

（2）定制方案

通过测试结果分析，Web服务器对磁盘I/O和内存有着较高要求，包括更大的磁盘I/O能力、较高的CPU能力和内存容量等。在更大的用户数资源需求场景下，应考虑使用更大磁盘I/O能力的SSD硬盘或外挂磁盘阵列。

◆CPU要求

单节点采用单处理器，功率不超过90W，可选择实配4核或6核。当用户数超过4000时应考虑采用双处理器，实配4核或6核。

◆内存要求

4个DDR3内存插槽，根据业务实际需求可考虑实配1根16GB内存条，当用户数超过4000时应考虑实配2根16GB内存条，频率1333MHz，要求支持ECC（Error Correcting Code，错误检查和纠正）功能。

◆磁盘要求

配置2个3.5寸SATA硬盘或SAS硬盘，支持热插拔，配置RAID卡，硬盘容量在300GB以上选择能满足实际业务需求，且价格最低的型号，转速不低于10 000转/秒。当用户数超过4000时应考虑选配2个SSD硬盘，以满足更高的磁盘I/O需求。

◆网络要求

板载2个千兆网卡，根据业务需求考虑配置为热备模式。如需外挂磁盘阵列，应考虑配置1个双口8GB的HBA卡或增加至少1个千兆以太网卡。

◆其他要求

其他要求包括维护要求、电源要求、机箱要求和风扇要求等。

3.2 计算虚拟化型服务器定制过程

（1）测试结果分析

针对计算型服务器性能测试采用的方法是在不同负载情况下，评测各厂商解决方案在确保用户体验时能够在同一物理资源池上承载的最大虚拟桌面数量。测试中使用的轻负载主要包括Word、Excel、PowerPoint操作、PDF文件阅读、IE浏览等典型的办公类应用操作，重负载中增加了视频播放操作，它们能够代表虚拟桌面上运行的典型业务应用。测试设备的主要配置是2路8核、主频2.4GHz的CPU、128GB DDR4内存、1个300GB容量的MLC（Multi-Level Cell，多层次分佣）企业级固态硬盘、2个万兆网卡和2个千兆网卡的通用服务器。

如表3所示，在虚拟桌面数量达到300左右时，CPU利用率都非常高，接近或达到100%，这表明桌面虚拟化服务器需要大量的CPU处理资源，所以针对虚拟化应用的定制化服务器需要配置高性能CPU。由于虚拟机配置的内存总和低于服务器总内存容量，因此物理内存资源尚未耗尽。虚拟机镜像文件放置于独立磁盘阵列上，本地磁盘没有较大的I/O需求，仅需运行虚拟主机软件，因此服务器磁盘活动总体较少，大部分服务器的磁盘读写速率不超过12MB/s，远未达到磁盘理论读写速率，磁盘不带缓存最大的读写速率约为100MB/s。另外，在虚拟桌面数量增加时，网络有较大的I/O需求。

如表4所示，虚拟机数量和CPU利用率近似呈线性关系，当运行的虚拟机数量减少时，将会直接降低对CPU的使用。同时，网络吞吐量和磁盘读写速率也会相应降低，但内存占用率不会随着虚拟机数量的减少而减少。

（2）定制方案

通过测试分析，计算型虚拟化应用对服务器的CPU资源、内存资源和网络资源有着较大的要求，同时要求支持相关硬件虚拟化技术。而由于大多数资源池均外挂网络存储，本地磁盘则基本不需要。然而，由于资源池将在具体应用中承载多种类型的虚拟机业务，其资源需求特征也会随着具体业务部署而有所不同，因此基于业务承载的不确定性且可在资源池内进行弹性调度的主要特征，定制计算虚拟化型服务器，并预留较高的可扩展性。

◆CPU要求

单节点采用双处理器，功率不超过100W，可选择实配8核，要求支持硬件辅助虚拟化。

◆内存要求

不少于8个DDR3内存插槽，根据业务实际需求可考虑实配8根16GB内存条，频率1333MHz，要求支持ECC功能、多通道对称设计。

◆磁盘要求

预留至少1个硬盘插槽，但可考虑不实配硬盘，而配置1个USB芯片（U盘）或SD卡（16GB或32GB），不要RAID。

◆网络要求

配置2个千兆网卡和2个万兆网卡，要求万兆网口支持VMDQ（Virtual Machine Device Queue，虚拟设备队列）技术，并根据业务需求考虑配置为热备模式。如需外挂磁盘阵列，应考虑配置1个双口8GB的HBA卡或增加至少1个千兆以太网卡。若不配置万兆网卡，则至少应配置6个千兆网卡。

◆其他要求

其他要求包括主板要求、维护要求、电源要求、机箱要求和风扇要求等。

3.3 分布式存储型服务器定制过程

（1）测试结果分析

针对分布式存储服务器，采用FIO测试工具记录系统进行读写操作时，系统资源的使用情况包括CPU利用率、内存利用率、磁盘速率、网络吞吐量等。FIO做所有盘测试，测试数据包大小分别为4kB、64kB、256kB的随机混合读写的IOPS（Input/Output Operations Per Second，每秒进行读写操作的次数）及带宽，数据包大小为1024kB大数据块的顺序读写的IOPS及带宽。另外，测试要求在无文件系统的裸盘上进行，并要求延迟满足不大于100ms。

如表5所示，测试设备的主要配置是2路6核、主频2.4GHz的CPU、64GB DDR4内存、12个4TB容量、7200转速的SATA硬盘、2个万兆网卡和2个千兆网卡的通用服务器。在各类型的数据包中，混合读写操作和顺序读写操作的CPU利用率普遍在10%以下。对于内存利用率来说，混合读写和顺序读写操作任务消耗的内存资源在50%以下，因此不是特别消耗内存资源。大数据包读写操作的网络吞吐量达到6Gbps，网络吞吐量成为制约分布式存储应用服务器性能的一个瓶颈。

（2）定制方案

通过测试数据分析，在分布式存储应用环境下，基于存储集群的特征，对存储容量和网络有非常高的要求，而对CPU资源、内存资源则没有特别高的要求。然而，由于分布式存储将在具体应用中承载多种类型的数据存储业务，甚至可能包括部分数据分析、分类业务，其资源需求特征也会随着具体业务部署而有所不同，因此考虑借鉴业界在搜索引擎业务、互联网海量图片数据存储等分布式集群的部署经验，定制分布式存储型服务器，并预留较高的可扩展性。

◆CPU要求

单节点采用双处理器，功率不超过100W，可选择实配4核或6核。

◆内存要求

不少于8个DDR3内存插槽，根据业务实际需求可考虑实配4根16GB内存条，频率1333MHz。在承载数据处理业务场景下，可考虑选择支持ECC功能，要求支持多通道对称设计。

◆磁盘要求

单节点不少于12块3.5寸或24块2.5寸SAS/SATA磁盘，通常可不支持热插拔；在承载数据处理业务且对数据有较高可靠性要求场景下，可考虑支持热插拔。通常可不配置RAID卡。

◆网络要求

至少配置4个千兆网卡，并根据业务需求考虑配置为热备模式。如考虑配置万兆网卡，可配置2个千兆网卡和2个万兆网卡，并根据业务需求考虑配置为热备模式。

◆其他要求

其他要求包括主板要求、维护要求、电源要求、机箱要求和风扇要求等。

4 结束语

本文通过对3种不同业务应用场景下定制化服务器的性能进行测试和分析，得出了针对不同应用场景下的定制化服务器的配置方案。随着业务规模的发展，电信运营商可以借鉴行业的经验和已有量产化服务器进行更强针对性的定制，在云资源池建设中，分布式存储应用等应用场合大规模使用定制化服务器，以实现降本增效。