软件定义数据中心网络研究

2014-10-21杨旭周烨李勇

中兴通讯技术 2014年5期

杨旭　周烨　李勇

摘要：提出了一种基于软件定义网络的数据中心网络方案，并对其结构和部署进行了详细介绍。通过使用软件定义网络技术，该方案解决了传统数据中心中网络利用效率低下、管控方式复杂、建设运维成本较高等问题。该方案具有结构简单、易于部署的优点。在负载均衡、域内虚拟机迁移等典型应用中，我们对该方案进行了验证，结果表明该方案具有良好的实用性。该方案为数据中心网络架构设计提供了一种重要思路。

关键词：软件定义网络；数据中心；网络结构

Abstract： This paper proposes a data center network deployment scheme based on software-defined networking. By using SDN， this scheme solves the problems such as low efficiency， complex management， and high operation cost in traditional data centers. This scheme has a simple architecture and can be easily deployed. After tested with some typical applications， such as load balancing and intra data center virtual machine migration， the availability of this scheme is presented. This scheme provides a valuable reference for data center network architecture.

Key words： software-defined network； data center； network architecture

近年来，数据中心受到学术界和产业界的广泛关注，并成为网络研究领域的一个重点内容。数据中心由一个或多个计算机集群及配套的通信、存储、管理、安全设备、软件等组成。建立数据中心，可以将计算、存储等资源集中起来，通过统一规划从而减少相应的建设、管理和运营费用；另一方面能够为用户提供更强的服务能力并使其获得与接入软硬件环境无关的统一体验。然而，现有的数据中心网络存在着建设管理复杂、控制不灵活等问题，影响了其进一步的发展。

软件定义网络[1]（SDN）是近年来在网络领域备受重视的一个新热点，它提出将网络控制功能从转发设备上分离出来，集中抽象后形成控制平面，对各转发设备进行控制，从而提升网络控制的灵活性和可编程性[2]。在控制方面，区别于传统IP网络，它采用中心控制，这能够大幅简化控制逻辑、提高计算速度，使得控制层能够更好地对网络进行管理。此外，SDN还能方便实现网络虚拟化等一些功能。

利用SDN技术来搭建数据中心网络，可以简化其网络管理、优化网络性能，进一步提高数据中心的业务承载能力，因而受到了业界和学术界的广泛重视[3]。例如，IBM和NEC提出了基于SDN的数据中心模型[4]，Yahoo[5]、Google[6]和Microsof[7]等公司使用SDN技术搭建数据中心并实现互联，中国电信和腾讯等互联网企业也开始试验将SDN技术运用于数据中心环境。

然而，由于SDN还处于研究和发展的起步阶段，基于软件定义的数据中心网络尚未有成熟的解决方案，仍有一些问题尚待研究，例如，如何对数据中心实现扩展性良好的有效控制，数据中心之间如何互联，数据中心与用户间的流量怎样进行优化等。文章中作者提出了一个基于软件定义的数据中心网络方案，具有结构简单、易于部署的特点。在原型系统实现上，使用了自主研发的OpenFlow设备并部署了管理及测量系统，提供了良好的可编程特性和对资源的管理、监控能力。目前该数据中心已经实现了负载均衡、虚拟机域内迁移等功能，并对进一步研究数据中心域间互联等关键问题提供了基础环境。

1 数据中心网络

数据中心中的一个关键问题是如何有效分配和调度物理资。在数据中心中，物理资源主要包括计算资源、存储资源和网络资源等。其中，计算和存储资源的管理技术相对来说已经比较成熟：在计算资源方面，有vSphere[8]、HyperV[9]等虚拟机管理软件，通过虚拟化灵活管控服务器的CPU、内存、硬盘等资源；在存储资源方面，有网络附接存储（NAS）、存储区域网络（SAN）等方案，提供管理、备份等功能。但在网络资源方面，数据中心中现有的管理技术存在着诸如管控复杂、控制不灵活等问题，制约了数据中心的发展和高效利用[10]。

1.1 网络利用效率低下

现有数据中心网络的管理不够智能，无法根据实时情况对资源进行调配，实现最优利用。另一方面，现行数据中心中，计算资源和网络资源的管理没有得到有效融合，这使得一些依赖网络的应用无法得到高效实现，比如数据中心中常见的虚拟机迁移，其实现并没有充分考虑网络状态，效率较低。

1.2 网络管控方式复杂

搭建数据中心的一个优势是通过资源的集中化来简化建设管理工作，从而降低成本。目前，计算和存储资源都有集中式的管理工具来提供统一的资源调配和自动优化配置，但对于网络资源，这种集中式的管理工具仍比较缺乏。

当前的网络管理控制功能分布在各个网络转发设备上，并没有统一的配置接口，管理员要分别设置各个转发设备才能使网络正常工作。另外，目前的配置方式以命令行为主，管理人员需要通过转发设备提供的配置命令设置转发协议、端口配置、接入策略等，这种方式耗时较长且工作量较大。还有，不同厂商的设备在管理接口和功能实现上存在差异，若使用不同的设备进行组网，需要管理人员熟悉多种设备的配置命令及性能指标，进一步增加了管理人员的工作难度。

1.3 建设和运维成本较高

不同厂商的转发设备都有各自独特的结构和管理接口，为了应用某些产品特色或者简化管理，建设数据中心时，往往倾向于使用同一厂商的设备。这在一定程度上限制了设备的选择范围，提高了数据中心的建设成本。

除了转发设备外，数据中心还需要购买流量镜像等监测设备，防火墙等安全设备等。多种设备的应用使得数据中心网络环境极为复杂，同时不同设备的管理接口又不尽相同，这就进一步增加了管理难度，提高运维成本。

2 基于SDN的数据中心

SDN是近年来网络领域的新兴技术，具有如下几个特点[11]：

·将转发设备中的网络控制功能分离出来组成抽象的控制平面，并通过集中式控制器对各转发设备进行统一控制。

·通过软件定义的方式实现控制器，并实现网络控制可编程，允许灵活地制订控制策略。

·对网络转发功能进行抽象，为不同的转发设备提供统一的转发控制接口，提高设备通用性。

采用SDN技术搭建数据中心网络，能够较好地解决目前存在的问题。

2.1 提高网络利用效率

SDN采用集中式控制，相比分布式控制，能更好地把握网络状态，更快速地进行调整，从而实现更加智能、更加高效的管理模式，对网络进行优化。

通过软件定义的控制器，管理人员能够实现自动化的流量均衡[12]、安全控制[13]等功能，并能方便地进行策略的调整。另一方面，通过融合良好的网络监控机制，控制器可以实现实时的网络优化，并且还可以大幅提高网络利用效率。

最后，集中式、程序化的控制器能够方便地与数据中心的计算、存储资源管理系统进行融合，在虚拟机迁移等场景下优化网络性能，提高处理能力，从而提升整个数据中心的运行效率。

2.2 简化网络管理控制

SDN实现了控制平面和数据平面的分离，将网络管控功能迁移到了控制器上，为网络管理提供了一个集中式的接口，使得对网络进行统一管理和控制成为了可能。在SDN环境下，管理人员仅通过对控制器进行调整即可实现对全网转发设备的配置，大幅简化了配置流程，也降低了策略部署响应时间。

另一方面，通过使用软件定义的控制器，管理人员避免了大量的命令行操作。控制器利用通用语言编写，使得管理人员可以快速上手，同时它屏蔽了不同厂商的管理接口，使得管理复杂度得以降低。

2.3降低建设和运维成本

SDN将控制功能从转发设备中剥离，简化了转发设备的功能，从而实现通用性更强的转发设备。这一方面使得建设数据中心时能更灵活地选择设备。另一方面，通过减少转发设备的生产成本，使得数据中心建设成本得到降低。

控制器的强大计算能力和可编程能力使得部分传统的监测、安全设备功能能够以软件的形式实现，从而简化管理并减少额外的设备支出。

可以看出，SDN技术在数据中心网络资源管理方面有着很好的应用前景，能进一步节省其建设和运维成本，推动数据中心的发展。

3 软件定义数据中心网络

方案

为了研究和验证SDN技术在数据中心网络建设和管理方面的作用，我们设计了一种基于软件定义的数据中心网络方案并加以实现。在进行数据中心网络设计时，需要考虑设备组网、逻辑结构等方面。下面将逐一进行介绍。

设备组网如图1所示。我们设计了一个多站点的数据中心组网方案，整体方案分为两层：一层为数据中心站点，一层为全局管理系统。

在各数据中心站点内部，包含物理交换机、虚拟交换机、网关及本地控制器等设备。物理交换机和虚拟交换机都支持SDN，其中，物理交换机负责连接各台服务器和网关；虚拟交换机运行在各台服务器上，为其上的各个虚拟机提供连接功能。网关是数据中心对外的统一接口，对进出数据中心的数据进行处理。物理交换机、虚拟交换机及网关共同构成数据中心内部的网络。本地控制器是数据中心站点的管控单元，负责对服务器、虚拟机、网络转发设备等进行管理和维护，它通过控制平面与各物理设备相连，通过调用HyperVisor、SDN等的接口实现管控功能。

全局管理系统主要为全局控制器。和各数据中心站点中的本地控制器不同，全局控制器不对转发设备进行直接控制，而是对各数据中心站点间的信息进行协调和维护。例如在用户占用多站点资源的情况下，保存各虚拟机与站点、服务器之间的映射关系，以便进行跨站点通信。全局控制器与各本地控制器相连，获取各站点内部的信息，同时对站点间的信息进行协调，最后通过向各本地控制器发送信息实现跨站点的通信。

方案的整体逻辑结构如图2所示。数据中心站有3层：设备层、管理层和应用层。其中，设备层由各站点内的物理、虚拟转发设备及服务器等组成，是数据中心中的基础设施；管理层包括设备管理、拓扑发现、虚拟

网建立、状态监测等功能，通过和设备层进行通信，它能够获取整个数据中心的运行状态，并在分析处理后对设备层进行控制；应用层是开放给各数据中心用户的接口，包括一般用户接口和管理员接口，分别提供虚拟网建立以及数据中心运行策略配置等功能。

全局控制器也分为3层：站内信息层、虚拟化信息层和应用层。底层为站内信息层，存放从各本地控制器获取的数据中心站点信息；虚拟化信息层将跨域虚拟网的信息进行分析和存储；应用层类似于数据中心站内的结构，也是提供给用户的接口，但提供的功能都是基于站点间通信的。

采用如上方案，将SDN融入到数据中心当中，能够有效地提高数据中心的管理能力和运行效率。通过将数据中心网络纳入可控范围，管理层可以快速发现网络状态的变化并适时进行调整，提高网络运行效率；通过将SDN与计算资源管理系统融合，使得整个数据中心设施有了统一的管理系统，提高了管理能力。管理层的操作都集中到本地和全局控制器当中，通过修改控制器的逻辑即可对数据中心进行配置，简化了管理操作。另一方面，软件化的实现使得管理人员可以灵活地对策略进行修改并实现多种多样的功能，如在网关上实现防火墙等，这既提高了管控能力也在一定程度上降低了成本。

4 软件定义数据中心网络

原型系统

按照上述方案，我们搭建了一个数据中心原型系统，下面从拓扑结构、计算资源控制系统、网络资源控制系统等方面进行介绍。

如表1所示，该原型系统中使用的设备包括商用OpenFlow交换机、TUNIE FPGA板卡、PC服务器、机架及机架服务器等。

TUNIE FPGA是一款由清华大学自主研发的、支持OpenFlow协议的可编程交换机，它具有8个1 Gbit/s的网络端口，具备基本的逻辑运算能力，成本较低。另外，它还具有可编程特性，支持对OpenFlow协议进行修改，从而实现更为灵活可控的网络管理。在原型系统中，该板卡主要用于服务器接入。

在网络上层，转发设备需要连接大量设备并且处理更多数据，因此需要使用商用OpenFlow交换机。现有的商用OpenFlow交换机大多具有几十个网络接口，提供1 G/10 G的网络带宽，具备较强的逻辑运算能力，能够满足大数据量的处理需求。

在网络拓扑方面，如图3所示，我们搭建了两个数据中心站点，每个站点都使用二层clos网络拓扑。其中站点1使用PC机作为服务器，商用OpenFlow交换机作为上层转发设备，TUNIE FPGA作为底层转发设备；站点2使用机架服务器，转发设备都使用TUNIE FPGA。站点之前通过校园网相连。

在计算资源控制系统方面，我们采用开源的OpenStack系统[14]，其结构如图4所示：一台服务器作为管理节点，部署OpenStack的若干管理组件，包括管理虚拟机状态的Nova，管理虚拟机镜像的Glance，管理虚拟机网络的Quantum，管理块存储的Cinder，以及提供网页管理界面的Horizon等。其他服务器作为计算节点，部署虚拟机运行相关组件，包括Nova、Quantum及KVM、OpenVSwitch等。管理节点与计算节点通过管理网络连接，计算节点间通过数据网络连接。

网络资源控制系统方面，核心是OpenFlow控制器。在管理节点上，运行了开源的Floodlight控制器[15]，它通过控制网络与各转发设备相连，获取网络状态，并对转发策略进行配置。另外，它以REST API的方式与计算资源管理系统进行通信，将网络管理与计算管理融合到一起[16]。

为了能够实时获取整个数据中心的运行状态，我们还部署了一套监测系统，主要包括3个部分，分别用于监测物理机（如图5所示）、虚拟机和网络转发设备的状态。物理机状态通过各台服务器上安装的简单网络管理协议（SNMP）协议来收集，虚拟机状态由OpenStack调用HyperVisor来进行收集和维护，网络转发设备状态则主要由Floodlight控制器通过OpenFlow协议来进行获取[17]。这些监测指标能够通过访问网页来进行实时获取。

5 原型系统验证

为了验证原型系统的性能，我们部署了一些demo并进行了测试。

负载均衡是一种常见的流量工程，在传统IP网络中实施较为复杂，而在SDN中，通过中心控制器可以较为容易地监控并部署负载均衡机制，同时其优化效果也更好。在原型系统中，我们部署了初步的负载均衡算法，现有的控制端算法包括随机均衡、轮询均衡和流量比例均衡3种。其实际效果已通过现场可编程门阵列（FPGA）进行测试，能够达到较好效果[18]。

虚拟机迁移是数据中心中的基础功能。和传统数据中心中迁移过程只涉及计算资源管理不同，在该原型系统中，迁移过程融合了网络资源的管理，在迁移前后，控制器要对数据中心网络进行操作，优化链路状态并保障迁移过程中虚拟机的通信不中断。这增强了迁移过程中网络的可控性，提高了网络的利用效率。

6 结束语

近年来，数据中心受到了越来越广泛的关注。但现有的网络方案仍存在着一些问题，如管控复杂、成本较高等。SDN是最近兴起的网络技术，它通过将网络管控功能与转发功能分离并采用集中控制的思路，能够有效地解决现有数据中心网络遇到的困难。因此，基于软件定义的数据中心方案有着良好的前景。

文章中设计了基于SDN的数据中心网络方案，并进行了原型系统的实现。该方案具有复杂度低、管控能力强、操作简便、成本较低等特色。目前，该原型系统已经在部署当中，并实现了若干演示应用，如数据中心状态监测、负载均衡、域内虚拟机迁移等，后续的研究方案包括跨域虚拟机迁移、域间流量均衡演示等。

参考文献

[1] McKeown Keynote talk： software-defined networking [C]//Proceedings of IEEE INFOCOM. Apr 18-25， 2009， Rio de Janeiro， Brazil. Brazil ： IEEE Press， 2009：1-1.

[2] MCKEOWN N， ANDERSON T， BALAKRISHNAN H， et al. OpenFlow： enabling innovation in campus networks [J]. ACM SIGCOMM Computer Communication Review， 2008， 38（2）： 69-74.

[3] SDN概念升温，市场角力加剧[EB/OL]. [2013-4-10]. http：//www.cnii.com.cn/wlkb/rmydb/content/2013-01/31/content_1088793.htm

[4] IBM and NEC Bring SDN/OpenFlow to Enterprise Data Center Networks [EB/OL]. [2012-01].http：//public.dhe.ibm.com/common/ssi/ecm/en/qcl12364usen/QCL12364USEN.PDF

[5] Warehouse Scale Datacenters： The case for a New Approach to Networking [EB/OL]. [2011-10-18] http：//www.opennetsummit.org/archives/oct11/gahinsky-tue.pdf

[6] JAIN S， KUMAR A， MANDAL S， et al. B4： Experience with a globally-deployed software defined WAN[C]//Proceedings of the ACM SIGCOMM 2013 Conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 3-14.

[7] HONG C Y， KANDULA S， MAHAJAN R， et al. Achieving high utilization with software-driven wan[C]//Proceedings of the ACM SIGCOMM 2013 conference on SIGCOMM. Aug 13， 2013， Hong Kong， China. 2013： 15-26.

[8] VMware vSphere [EB/OL]. http：//www.vmware.com/cn/products/vsphere

[9] Hyper-V概述 [EB/OL]. http：//technet.microsoft.com/zh-cn/library/hh831531.aspx

[10] GREENBER A， HAMILTON J， MALTZ D A， et al. The cost of a cloud： research problems in data center networks [J]. ACM SIGCOMM Computer Communication Review， 2008， 39 （1）： 68-73.

[11] JAIN R， PAUL S. Network virtualization and software defined networking for cloud computing： a survey [J]. Communications Magazine， IEEE， 2013， 51 （11）： 24-31.

[12] KOERNER M， KAO O. Multiple service load-balancing with OpenFlow[C]// 2012 IEEE 13th International Conference on High Performance Switching and Routing （HPSR）. Jun 24-27， 2012. 2012： 210-214.

[13] SHIN S， PORRAS P， YEGNESWARAN V， et al. Fresco： Modular composable security services for software-defined networks[J]. Internet Society NDSS， 2013.

[14] OpenStack [EB/OL]. http：//www.openstack.org/

[15] Floodlight Open SDN Controller [EB/OL]. http：//www.projectfloodlight.org/floodlight/

[16] 庞冉，黄永亮. SDN技术在综合承载传送网中的应用分析[J]. 邮电设计技术， 2013，（11）： 11-24.

[17] 刘媛妮，唐红，赵国锋. 未来互联网体系结构研究[J]. 重庆邮电大学学报（自然科学版）， 2013，25（1）：52-58.

[18] 蒋培成，陈鸣，李兵. OpenFlow软交换机的性能测量[J]. 重庆邮电大学学报（自然科学版）， 2013，25（1）： 24-29.