面向大型云计算应用的云服务器架构探索

张斌

（浪潮（北京）电子信息产业有限公司 北京 100085）

面向大型云计算应用的云服务器架构探索

张斌

（浪潮（北京）电子信息产业有限公司 北京 100085）

本文首先阐述了云计算对云服务器的要求，并由此引出了云服务器的单元构成，最后介绍了一种云服务器的架构实例对云服务器的最佳实践进行探索。

云计算应用；云服务器；架构方案

1 云计算对云服务器的要求

要解决云计算数据中心面临的调度、管理、节能等方面的挑战，需要在机房设施、服务器、软件等各方面进行优化。其中，云服务器是非常重要的一个环节。为适应云计算应用的需要，要求云服务器具备以下特征：

（1）云服务器要能够适应不同应用类型，并且能够实现不同应用的快速切换和部署，这就要求硬件资源也能够实现快速动态重配。理论上来讲，如果能够在硬件层面完全实现计算、存储（内存）、I/O（输入/输出接口）的动态重配和自由组合是最佳方案。但是，以目前的技术水平而言，这种体系结构是不可能做出来的。那么，采用异构混合、部分可重配的体系结构也是可以接受的。

（2）云服务器要在硬件层面充分考虑功耗要求，采用低功耗设计，如采用低功耗处理器等部件，采用高效能电源，采用高温化设计，减少非必要器件等，通过这些设计可有效提高处理单元的性能功耗比和整系统的散热开销。

（3）云服务器要能够采用硬件手段，实现各种部件，特别是可插拔器件，如硬盘、网卡等的快速定位和自动查找，提高服务器的可管理性，降低管理和维护成本。

（4）采用低功耗设计降低节点功耗只是数据中心低功耗管理的一部分。实际上服务器功耗居高不下的一个重要原因是无法根据服务器负载水平，动态地调整服务器功耗。通过动态功耗控制，可以使资源在负载不高的情况下，自动降低能源消耗，从而达到节省能源的目的。

（5）云服务器规模庞大，出现部件故障的概率很大，需要能够快速地对故障进行诊断、定位，并且能够实现故障的自动隔离和恢复，避免单器件故障对整个系统运行的影响。

2 云服务器的单元构成

云服务器由处理单元、内部互连网络，以及供电、散热、监控管理等基础单元组成。其中，处理单元有通用处理单元、精简轻载处理单元和重载可重构处理单元三种类型，构成层次式云服务器处理单元集簇。通用处理单元以高性能通用处理器为基础，采用计算能力、I/O能力、存储能力均衡的设计；轻量级处理单元以面向海量数据并发处理优化的高效低功耗处理器为基础，采用精简设计；重载可重构处理单元面向重载云计算业务负载，采用可重构计算技术和众核处理器技术。

云服务器包含内部高速互连单元、业务负载互连单元和系统控制互连单元。通过内部高速互连实现系统中对带宽、延迟敏感的大规模并发I/O访问、虚拟机迁移、进程间低延迟通信与数据同步的支持；通过业务负载互连单元满足对海量数据并发处理的通信需求；通过系统控制互连单元实现对云服务器各个功能单元簇的监控管理与资源调度通信。

云服务器每个功能单元簇采用独立的物理机架，采用集中式监控管理，通过集中化供电、散热和统一的功耗和电源管理实现高效的基础架构设计。

3 一种云服务器的架构实现探索

云服务器整机系统采用机柜形态，整机集中供电、集中散热、统一管理。

云服务器整机柜系统在对不同的功能区域在物理空间上进行划分，机柜自上而下划分为五个区域，分别是：

（1）标准TOR（Top of the Rack）交换机区域，能够在结构上兼容市面上的标准TOR交换机；

（2）通用存储设备/服务器设备区域，能够兼容标准机架式服务器或存储设备；

（3）云服务器子柜区域，用来装配定制开发的计算单元、扩展单元、子柜管理单元、子柜以太网交换单元、兼容标准PCIE卡的I/O单元、分布式网络交换单元；

（4）供电单元区域，用来装配电源模块、机柜管理单元；

（5）云服务器子柜区域，同区域3。

云服务器子柜前段安装处理单元或扩展单元。扩展单元分为PCIE I/O扩展和存储扩展，占据右侧处理单元位置。处理单元通过背板与子柜后段的I/O单元、分布式网络交换单元、子柜管理单元、子柜以太网交换单元互联。风扇位于子柜后段。

子柜内的处理单元可通过子柜以太网交换单元或分布式网络交换单元进行数据交换，跨子柜数据交换则通过TOR交换机或分布式网络交换单元实现。

云服务器整机系统包含以下具体的功能模块/单元：

（1）标准TOR数据交换机，可实现处理单元间的数据交换；

（2）通用存储设备/服务器设备，标准机架式服务器或存储设备；

（3）处理单元，定制开发的云服务器处理单元；

（4）PCIE I/O扩展单元，用于实现处理单元扩展PCIE设备，支持标准PCIE SSD，GPU卡；

（5）存储扩展单元，用以实现处理单元扩展硬盘，支持标准2.5寸/3.5寸硬盘；

（6）I/O单元，用于实现处理单元配置标准PCIE卡；

（7）分布式交换单元，用以实现整个机柜内的处理单元间的数据交换；

（8）子柜管理单元，实现子柜内的资源监控和管理；

（9）子柜以太网交换单元，实现子柜内的处理单元间的数据交换；

（10）机柜管理单元，实现整机柜内的资源监控和管理；

（11）系统信号背板，实现单元间的信号互连；

（12）风扇模组；

（13）电源模组。

处理单元/扩展单元位于子柜内部前段，承担云服务器系统中的计算处理任务，是系统硬件的核心。云服务器整机系统可支持三种处理单元：通用处理单元、可重构处理单元和轻量处理单元。单个子柜最大可支持8块高度为1CU（1CU=1.25U）的半宽处理单元，当配置高度为1CU的半宽处理单元时，系统支持PCIE I/O扩展或存储扩展，此时扩展单元将占据一个处理单元的位置。

I/O单元位于子柜后部，板载8个16x位宽的PCIE slot插槽，支持FCHBA卡、以太网卡和IB HCA卡。支持标准全长/半长卡。当配置半长卡时，支持单卡热插拔功能。单个子柜可配置2个I/O单元，满足子柜内处理单元的基本IO功能需求。I/O单元不可与分布式交换单元同时配置，二者在子柜中占据同一位置，是互为选配的关系。

分布式交换单元位于子柜后部，可实现处理单元间的数据交换（支持跨子柜或跨整机柜数据交换），当配置通用处理单元或可重构处理单元时支持处理单元间PCIE总线交换，当配置轻载处理单元时支持处理单元间通过万兆以太网交换，对外支持40G以太网或100G以太网。分布式交换单元可替换I/O单元和TOR交换机实现节点间的数据交换。

子柜数据交换单元位于子柜后部，实现了子柜内部处理单元间的数据交换，支持万兆上行以太网。

通用存储设备单元支持通用存储服务器、JBOD存储阵列、存储控制器等存储设备，独立散热、独立供电。最大支持6U空间的存储设备，满足机柜内处理单元的存储需求。

TOR数据交换单元最大可支持4个1U高度标准TOR交换机设备，支持FC/FCOE交换机、以太网交换机、IB交换机。独立散热、独立供电。搭配I/O单元和子柜交换单元使用，实现机柜内处理单元之间，处理单元与存储设备之间的数据交换。也可实现多机柜扩展的数据交换。

供电单元满足云服务器整机柜系统中所有单元的供电需求。通用存储设备单元和TOR交换机单元由电源分配单元直接供应AC交流电源，子柜内单元及管理单元由电源模组供应直流电源。

监控管理单元对云服务器整机系统的各单元的工作状态进行监控和管理。整机系统采用机柜管理单元-子柜管理单元-板级管理单元的3级管理架构，板级管理单元负责对单个处理单元进行监控管理、子柜管理单元负责对子柜内各单元进行监控管理，机柜管理单元负责对云服务器整机系统进行监控管理。管理单元支持冗余互备。

为适用于不同的机房和数据中心，云服务器整机系统采用标准机柜形态，其外形尺寸为：高度2100mm×宽度600mm×深度1200mm（柜内空总高44U）。

4 结语

这种架构可以满足多种多样的云计算应用类型，便于进行快速部署以适应持续发展的需求变化。集中供电和散热提高了电源效率，层级式管理实现了全方位的监控管理和故障定位，丰富的节点类型和可供选择的网络配置为客户提供了丰富配置组合。是一种高效的云服务器系统架构。

[1][美]Thomas ERL，[英]Zaigham Mahmood，[巴西]Ricardo Puttini 著.龚奕利，贺 莲，胡 创 译.云计算：概念、技术与架构 [Cloud Computing Concepts，Technology&Architecture].机械工业出版社，2015（04）.

[2]曾薇薇，译.[日]宫田宽士，著.图解服务器端网络架构.人民邮电出版社，2015（02）.

TP368.5

A

1004-7344（2016）10-0292-02

2016-3-15