基于SDN、NFV的虚拟网络解决方案在云计算中的应用＊

吴江涛，曹小刚，姜姗

（中移（苏州）软件技术有限公司/中国移动苏州研发中心，苏州 215163）

基于SDN、NFV的虚拟网络解决方案在云计算中的应用＊

吴江涛，曹小刚，姜姗

（中移（苏州）软件技术有限公司/中国移动苏州研发中心，苏州 215163）

本文介绍了中国移动自主研发的虚拟网络解决方案BC-VN，BC-VN集成了开源及商业SDN、NFV软件产品，使用户在统一的图形界面上按需编排虚拟网络，构建安全、可靠、灵活的虚拟私有云网络环境。该解决方案可满足公有云、私有云、混合云的虚拟网络建设需求，已在中国移动集团、省公司、政企公司等大规模推广使用。

虚拟私有云；虚拟网络解决方案；云计算

1 引言

云计算IaaS（Infrastructure as a Service，基础设施即服务）主要包括计算、存储、网络、安全4方面。经过多年的发展，计算、存储相关技术、方案、产品已趋于成熟，网络与安全问题成为制约云计算发展的瓶颈。传统物理网络方案面临VLAN（Virtual Local Area Network，虚拟局域网）、VRF（Virtual Routing Forwarding，虚拟路由转发表）数量不足、命令行配置不支持大并发、难以自动化、故障排错困难等一系列问题，虚拟网络解决方案成为研究与发展的重点。

近年来SDN（Software Defined Network，软件定义网络）[1]、NFV（Network Functions Virtualization，网络功能虚拟化）[2，3]技术迅猛发展，SDN将网络连接智能化，NFV将网络功能虚拟化，SDN与NFV的结合在云计算网络方案中具有天然的优势。

2 传统网络方案现状

移动云经过多年的发展，前期一直采用传统数据中心组网方案，在网络功能、用户数量、运营、运维方面受到很多制约。具体如下：

（1）传统网络方案大量采用物理网络设备，设备配置都通过命令行手工进行，很难做到程序控制、自动化配置，制约了公有云虚拟路由器、虚拟防火墙、VPN（Virtual Private Network，虚拟专用网络）等产品的推出。

（2）物理网络设备不能支持高并发配置，无法满足公有云大量用户并发操作的需求。

（3） 受限于物理网络VLAN数量最大4 096的限制，公有云难以支持超大规模用户。

传统网络使用VRF对IP协议栈进行隔离，但数量受限，导致公有云无法推出可满足超大规模用户的VPC（Virtual Private Cloud，虚拟私有云）产品。

传统网络大量依赖人工命令行进行，配置、排错困难，网络又与安全密切相关，网络运营、运维制约公有云发展。

传统物理网络建设周期长、缺乏扩展性、项目可复制性差，制约公有云扩容。

3 BC-VN虚拟网络解决方案

3.1 方案简介

SDN是一种转发/控制分离、控制面集中、软件可编程的分层网络架构，重在提升网络的智能和管理效率。NFV将网络功能虚拟化，利用通用硬件服务器和软件来承载网络功能，降低网络成本，提升业务开发部署能力。目前国内主要的云计算服务提供商，例如阿里云、腾讯云等都与网络设备厂商合作，基于SDN、NFV技术推出了云计算网络产品。SDN、NFV技术目前主要应用于数据中心领域，未来将逐渐向核心网等电信云领域扩展，是云计算网络方案发展的必然趋势。

目前SDN、NFV领域有开源、商业两个发展方向。目前知名的开源软件主要包括Openvswitch、Haproxy、Openswan、Openvpn、Opendaylight、ONOS等，将开源软件进行集成可构成完整的虚拟网络解决方案。

中国移动自主研发的虚拟网络系统BC-VN集成了SDN、NFV等前沿网络技术，使用户在统一的图形界面上按需编排虚拟网络，构建安全、可靠、灵活的VPC网络环境。BC-VN采用开放式架构，通过插件方式同时支持与开源及商业SDN、NFV软件集成，在打造自主研发能力的同时整合了云计算网络产业链。

BC-VN产品架构如图1所示，从上至下依次为：

业务层：提供运营、运维门户，为用户提供VPC服务，用户可构建专属于自己的网络拓扑，具体包括：创建网络、自定义IP、DHCP、安全组、虚拟路由器、浮动IP、虚拟防火墙、虚拟负载均衡器、VPN等功能。

管理层：对虚拟网络服务及网络资源进行抽象，虚拟网络管理模块采用插件式架构，对设备层开源、商业软硬件网络设备进行统一管理，对业务层提供统一的网络服务接口。

设备层：包括开源交换软件、路由软件、NFV软件，商业SDN控制器及软硬件网络设备。

目前BC-VN已完成的网络解决方案如图2所示，主要包括：

BC-VN-S网络解决方案：与开源SDN、NFV软件集成；

BC-VN-H-NUAGE网络解决方案：与阿朗VSP系列产品集成；

BC-VN-H-H3C网络解决方案：与华三 VCF系列产品集成。

图1 BC-VN产品架构

图2 BC-VN SDN、NFV集成情况

另外，BC-VN与华为和中兴的SDN、NFV产品也进行了初步对接测试，具备集成可行性。

BC-VN-S详细设计如图3所示，集成了Linuxbridge、Openvswitch、Dnsmasq、Iptables、Openswan、Haproxy等一系列开源软件。Linuxbridge或Openvswitch作为vSwitch负责完成二层功能，Dnsmasq提供DHCP服务，Iptables用于实现安全组及虚拟防火墙，Namespace和主机路由表实现了虚拟路由器功能，Openswan负责IPSec VPN实现，Haproxy作为虚拟负载均衡器。

BC-VN-H方案中，虚拟网络管理模块使用插件对阿朗及华三网络设备进行管理，并同时支持与开源软件进行集成。BC-VN网络解决方案还可支持异构虚拟化平台，通过不同的机制驱动分别管理KVM集群、ESXi集群二层网络，如图4所示。网络服务集群为KVM、ESXi虚拟机提供统一DHCP、路由、防火墙等网络服务。KVM、ESXi虚拟机通过虚拟路由器实现三层互通，实现KVM、ESXi虚拟机融合组网方案。

3.2 技术成果及创新

BC-VN支持VPC业务模型，如图5所示。

用户可使用图形化界面进行网络业务编排，主要功能包括：

基础功能：包括网络、子网、端口管理，提供DHCP服务。支持VXLAN隔离技术，用户可自定义子网CIDR。

安全组：用户可自定义安全组、安全组规则，提供虚拟机粒度的安全防护。

虚拟路由器：提供子网间路由、私网地址到公网地址的转换。

虚拟防火墙：用户可按需创建防火墙、防火墙规则，为用户网络提供整体安全防护。

VPN：支持IPSec、SSL、MPLS等VPN技术，方便用户接入VPC环境。

图3 BC-VN-S方案

虚拟负载均衡：用户可按需创建虚拟负载均衡器，满足日常业务需求。

专线：支持专线接入云端VPC。

BC-VN引入了先进技术，取得了多项技术成果及创新。

3.2.1 新技术引入及突破

（1）首次大规模使用SDN、NFV技术，集团私有云6 000节点、公有云南北方基地累计2 000节点、公有云5期3 000节点，是全球最大的SDN、NFV商用案例。

（2）移动公有云首次推出VPC业务模型，上线自定义子网、安全组、虚拟路由器、虚拟防火墙、浮动IP、虚拟负载均衡、VPN等全线网络产品，网络功能得到了极大的丰富。

（3）首次在公有云中使用VXLAN(Virtual Extensible LAN）技术，突破VLAN 4 096限制，支持约1 600万互相隔离的虚拟网络，满足公有云超大规模用户需求。

（4）首次采用虚拟机、物理机混合SDN组网技术，BC-VN屏蔽虚拟机、物理机网络差异，统一管理。

（5）首次采用多个计算分区共用一套BC-VN系统的架构，使网络资源得到充分共享。

3.2.2 架构创新及商业模式创新

（1）BC-VN采用插件式开放架构，可集成多种开源、商业网络产品及解决方案，避免了单厂商绑定。一套BC-VN系统可同时支持开源、商业NFV产品，满足不同用户对网络部件不同级别的性能、高可用要求。

（2）BC-VN在打造自主研发能力的同时，整合云计算网络产业链，借力开源及商业SDN、NFV产品，推出BC-VN系列产品及解决方案，极大促进了公有云及多个省公司私有云项目虚拟网络建设。

3.2.3 网络业务及功能创新

（1）在公有云、私有云中引入VPC业务模型，用户使用图形化界面通过自服务方式灵活定制网络拓扑及配置。

（2）使用VPN、专线技术打通公有云VPC、企业私有云VPC、企业传统数据中心网络，形成混合云网络解决方案。

（3）对主流计算虚拟化软件如VMware、KVM网络统一管理，实现VMware、KVM虚拟机混合组网，并自主开发VMware存量数据导入工具，支持对已建VMware资源池网络资源纳管。

图4 VMware、KVM混合组网

图5 VPC业务模型及网络业务编排

3.2.4 网络运维效率提升

引入SDN、NFV技术后，虚拟网络各组件由BC-VN及控制器统一管理和控制，BC-VN提供统一的网络拓扑展示、状态监控、故障告警、排错图形化界面，极大提升网络运维效率。

4 BC-VN应用情况

BC-VN可满足目前所有公有云、私有云、混合云虚拟网络建设需求，已在中国移动集团、省公司、政企公司、专业公司大规模推广使用。

4.1 集团一级私有云

集团一级私有云项目包括呼和浩特、哈尔滨两个资源池，累计6 000节点，其中虚拟化结点1 800个，非虚拟化结点4 200个，全部采用SDN组网，是业界最大的SDN应用案例。一级私有云网络管理模块采用BCVN-H，与商业SDN产品及网络设备集成，形成完成自动化的虚拟网络方案。目前该项目处理建设阶段，预计2017年上线。

4.2 移动公有云

移动公有云四期一阶段南方基地项目于2016年6月正式上线，面向全网政企客户和互联网客户提供公有云服务，是移动云首次完全使用自研产品搭建的大规模（1 000节点）资源池，体现了中国移动在云计算核心能力上的掌控。移动云虚拟网络产品采用BC-VNH-NUAGE集成方案，成功上线基础网络及VPC业务，全面满足用户复杂网络需求。移动公有云四期二阶段北方基地项目目前已基本完成实施，于2016年8月底上线。

4.3 集团研发云

集团研发云项目于2015年6月正式上线，旨在打造自主研发生态环境，实现研发服务一体化，实现用户统一管理、资源统一调度、服务统一提供。集团研发云目前已初步在集团内得到推广和应用。用户群覆盖研究院、苏研、杭研三大研发机构，江苏、河北、湖南等省公司，咪咕等专业公司。集团研发云从上线至今，已经稳定运行13个月，虚拟网络产品提供了完善的技术支撑和服务。集团研发云项目部署资源池规模总计80节点。

4.4 江苏公司

江苏公司网络部ICT云和业务云私有云异构资源池管理项目通过苏研的统一云管理平台，整合业务云及ICT云近500台服务器，实现主流虚拟化VMware、Citrix等统一管理，资源统一调度和集中运维服务。后续管理平台会接入网络部网络支撑节点资源池、电商云资源池，预计总规模近2000台x86服务器。其中网络管理部分采用BC-VN对KVM、VMware网络统一管理。

4.5 广东公司

广东公司电渠资源池项目采用BC-VN-S VPC进行试点部署，用户可以进行灵活的软件定义网络操作，使用包括网络/子网、虚拟路由器、安全组在内的基础VPC功能以及虚拟负载均衡器，虚拟防火墙等高级功能，将不同业务系统部署在完全隔离的网络环境中。该项目自上线以来运行稳定。

4.6 辽宁公司

辽宁移动采用BC-VN-S VPC解决方案进行试点部署，通过BC-VN，辽宁移动用户可以进行灵活的软件定义网络操作，使用包括网络/子网、虚拟路由器、安全组在内的基础VPC功能以及虚拟负载均衡器，虚拟防火墙等高级功能，将不同业务系统部署在完全隔离的网络环境中。该项目于2016年5月部署完成，目前运行稳定。

4.7 上海公司

上海移动私有云试点项目采用BC-VN-S VPC解决方案部署，共计包含30个物理节点，于2016年7月验收完成，基于该产品上海移动可以进行灵活的软件定义网络操作，应用虚拟路由器、虚拟防火墙等VPC功能和服务，自上线以来，BC-VN提供了完善的技术服务，各功能运行正常。

4.8 其它项目应用

除以上项目外，BC-VN在甘肃、江西、福建等多个省公司项目中已部署实施，大规模推广。

5 结论

BC-VN产品解决了移动公有云3期面临的诸多网络问题，提升了整体网络方案的灵活性、可扩展性，丰富了网络功能，优化了网络运营、运维方式，使移动公有云具备了同AWS、阿里云同等水平的网络能力。

集团一级私有云、移动公有云作为全球最大的SDN、NFV商用案例，BC-VN为移动内外部单位云计算SDN、NFV引入起到了示范效应，有力促进了SDN、NFV技术的发展与推广，引领SDN在数据中心云计算网络领域的革命潮流，对未来核心网虚拟化、电信云建设、SDN及NFV在核心网引入具有一定的借鉴意义。

未来BC-VN产品将继续紧跟SDN、NFV等先进技术发展潮流，丰富网络功能，提升网络性能，在支持异构虚拟化网络融合管理的基础上，支持物理机及容器的综合纳管。

[1] 张朝昆，崔勇，唐翯祎，等. 软件定义网络（SDN）研究进展[J]. 软件学报，2015,26(1):62-81.

[2] 马淑惠，毋涛. NFV标准与开源技术现状[J]. 电信科学，2016,32(3):43-47.

[3] 宋菲，候乐青. SDN/NFV标准及开源项目发展现状研究[J]. 信息通信技术，2016(1):63-67+76.

News

中国移动发布“和创计划”开启“双创2.0”新篇章

6月27日晚，“中国移动创客之夜”在上海举行。中国移动发布了“和创计划”，将“互联网+”与“大众创业、万众创新”深度融合，构建万物互联的资源集聚“双创”平台，向全社会开放中国移动的特色能力与创新创业资源，构建开放共享、合作共赢的“双创”生态体系。中国移动总裁李跃、工信部通信发展司副司长陈家春、知名创投专家、孵化器及产业园区管理者以及数百名创客精英汇聚一堂，探讨交流“双创”发展新的业态与模式。

“和创计划”将开放中国移动统一认证平台、能力开放平台、OneNET平台及智能家庭网关，构建“研发云”平台，建设自建“和创空间”、共建“和创空间”、5G联创中心、开放实验室四类“双创”基地。同时，打造线上孵化、线下孵化与加速、合作试验、合作开发、合作孵化五类合作模式。面向学生、个人开发者、创业团队、初创公司、小微及大中企业、孵化器/加速器、产业园区、投融资机构等个人及企业开放，向“和创计划”的参与者提供能力、服务、推广、投资等多重优惠政策。

（来源：中国移动通信集团公司)

Application of virtual network solutions based on SDN/NFV in cloud

WU Jiang-tao, CAO Xiao-gang, JIANG Shan
(China Mobile (Suzhou) Software Technology Co., Ltd./China Mobile Suzhou R & D Center, Suzhou 215163, China)

This paper introduces the architecture and functions of BC-VN, which is developed by China Mobile. As a virtual network solution, BC-VN integrates open-source and commercial SDN/NFV technologies and software products. Users can arrange virtual network according to requirements on a unified graphical interface, and build a secure, reliable, and flexible VPC.With advanced technologies, BC-VN can meet needs of virtual network construction in cloud, including public cloud, private cloud and hybrid cloud. Besides, BC-VN has already been used in China Mobile Group, provincial companies and other professional companies.

virtual private cloud; virtual network solution; cloud computing

TP393

A

1008-5599（2017）07-0014-06

2017-06-21

* 中国移动集团级一类科技创新成果，原成果名称为《大云虚拟网络系统BC-VN》。