水利部机关网络SDN优化升级实践

张 潮 ，万成林 ，范宇楠 ，沈智镔 ，贺 挺 ，詹全忠

（1. 水利部信息中心，北京 100053；2. 东华软件股份公司，北京 100190）

0 引言

水利部机关网络的核心网络建于10多 a 前，存在架构落后，设备严重老化，原厂已不再提供备品备件等问题。水利部机关网络不只是为部机关工作人员、各业务系统提供网络支撑，同时也是整个水利信息网骨干网的核心节点[1-2]，网络的不稳定会使整个水利信息网存在不稳定风险。近年来，水利部进行了云计算虚拟化平台的建设，网内虚拟服务器的数量骤增，而且有部分业务数据处理量很大，处理速度要求很高，原有网络架构已无法实现网络资源的快速响应。因此，无论是业务需要，还是网络运行维护管理需要，都对基础网络资源提出了更高的要求，原有网络已经无法保障其承载的国家水资源监控能力建设项目等重要信息系统服务的稳定性、可靠性及安全性[3]。

SDN（软件定义网络）是一种新型的网络技术，最本质的特征是网络控制与转发分离，转发行为可编程[4]。通过控制功能的迁移，对应用和网络的抽象，将转发平面与控制平面分离，能够把网络看成一个逻辑虚拟实体，成为类似计算机的基础架构，将转发行为抽象，提供标准化的、开放的控制接口。控制平面可以运行在外部调用控制接口，并根据全局的网络视图，实现更加灵活的控制，更为网络与计算、存储等功能结合，形成网络、计算和存储融合的服务环境提供了可能[5]。近年来，SDN技术逐渐从学术界走向工业界，在大型数据中心、云计算等环境中取得较好的效果[6]，从行业应用看，在能源、电信等行业中都有实际应用案例[7-8]。

为此，利用 SDN 技术对水利部机关网络环境进行整合优化升级，替换陈旧网络设备，提升网络带宽，提高网络系统运行的安全性与可靠性，满足云计算、大数据等新技术需要。

1 水利部机关网络状况与总体升级设计

水利部机关网络覆盖了水利部机关南北两院和城域网中的在京单位，网络设备分布于多个机房及若干配线间，连接了水利部机关网络所有物理服务器、云平台、终端和保障设施，并通过专线连通水利部各直属单位、各省级水行政主管部门，是水利骨干网的中心节点。同时，与国家电子政务外网和互联网连接，并通过专线连接气象等其他行业单位。水利部机关网络中承载了水资源管理、水利部网站、防汛抗旱指挥、水文监测、视频会商等多个重要应用系统，网络连接示意如图1所示。

图1 水利部网络连接示意图

1.1 网络改造前状况

1.1.1 改造前网络拓扑

改造前的水利部机关网络环境拓扑如图2所示。

图2 水利部机关网络原网络架构

改造前的水利部机关网络主要存在以下问题：

1）网络区域划分不明显，同业务网关部署在多台网络设备上。服务器区的网关分布在服务器汇聚、国调楼核心、主楼核心、东楼核心设备上，各单位终端的网关分布在国调楼、主楼、东楼核心设备上。

2）接入层网络设备多为千兆电口设备，限制了服务器的上下行数据交换能力。

3）核心汇聚层设备多为万兆设备，无法满足现在服务器和各类业务的需求。

4）网络架构为传统的核心-汇聚-接入三层架构，网络资源管理复杂，故障点多，无法较好满足虚拟机迁移等需求。

5）办公区终端物理位置受接入交换机限制，无法实现网内任意位置迁移。

1.1.2 改造前网络业务

原水利部机关网络中包含以下多个业务网段：服务器区业务有包括视频会议和灾备等业务在内的20 多个网段；互联网服务区业务有10个以上业务网段；办公区业务有包括城域网业务在内的70多个业务网段；另有超过10个的其他网段，作为设备管理和互联地址。

1.2 网络整合优化总体设计

基于当前网络的业务情况，对水利部机关网络进行功能分区，具体网络区域划分设计如图3所示。

图3 水利部机关网络架构优化示意图

具体架构分析如下：

1）服务器区。服务器区业务网关统一部署在新增的服务器区核心交换机上，各个不同物理位置的机房服务器区接入交换机直连至服务器核心交换机。

SDN 控制器旁挂在服务器区核心上，控制器网关部署于服务器区核心上，通过 Undelay 网络带内与各物理网元通信，同时控制服务器区和互联网服务区。

服务器区的国调楼、主楼、东楼3组防火墙合并为1组，旁挂在新服务器区核心交换机上，通过调整路由使南北向流量经过服务器防火墙再到达外部。

原服务器区汇聚上的负载均衡设备迁移至服务器区新核心交换机，采用旁挂的方式，调整接口及路由对外提供服务。

2）互联网服务区。原互联网服务区业务网关在互联网服务区防火墙上，本次改造将互联网服务区业务网关下移至互联网服务区核心交换机，互联网服务区核心交换机与防火墙三层互联，使流量能够经防火墙，保证对业务访问的控制能力。

互联网服务区核心交换机下联互联网服务区所有接入交换机，接入交换机充当 VXLAN VTEP（虚拟局域网隧道终结点）节点。互联网服务区原负载均衡设备旁挂至新互联网服务区核心交换机，调整接口及路由对外提供服务。

3）办公区。办公区业务网关采用分布式网关，接入交换机作为 Leaf 叶节点，汇聚设备作为Underlay 节点，核心设备使用2台核心设备虚拟化，作为边界设备连通外部网络。办公区 SDN 控制器旁挂在办公核心交换区。

4）其他区域。将视频会议网段合并为一个网段，网关部署于服务器核心交换机，视频会议接入交换机上联至服务器核心交换机，对视频会议进行独立网段保证。对灾备区、安管区原有设备升级设备硬件，将各区域保持原网络逻辑架构割接至新核心交换机。

2 办公区 SDN 升级方案

2.1 办公区基础网络设计规划

2.1.1 办公区基础网络架构

办公区基础网络具体架构如下：

1）核心层。核心层主要起到连结办公区网络所有业务流量的作用，因此可靠性是及其重要的。本方案中，2 台核心交换机通过2条40Gbit/s 链路实现互联，并且利用设备虚拟化技术，将2台交换机虚拟化为1台设备，能够实现配置、表项的统一，2 台设备能够通过1个 IP 进行统一管理，且具备分裂检测机制，能够满足业务的高可靠性需求。虚拟化后的办公区网络核心交换机与服务器区核心间通过40Gbit/s 链路实现互联，并且进行链路捆绑，以此实现网络的高可靠性，保障业务不会中断。

2）汇聚层。本次办公区网络按照物理位置进行汇聚的部署，分别在各办公楼宇部署办公汇聚交换机，充分体现了层次性和清晰性。

在本次方案设计中，每个汇聚节点部署2台高性能汇聚交换机。机房汇聚交换机设备对上与核心交换机通过2条40Gbit/s 链路进行连接，保证跨区域的访问带宽；对下与接入交换机通过2条10Gbit/s链路相连接，满足收敛比设计和基础资源层的接入等要求。

汇聚设备同样采用虚拟化的方式部署。将2台设备虚拟化成1台设备，接入交换机到汇聚交换机采用的双链路上联，等同于双链路连接到1台汇聚设备上，能够实现跨设备链路聚合。当上联1条链路中断时，相当于是聚合链路的一条成员链路出现故障，切换到另一条成员链路的时间小于20ms。

极端情况下，即使其中1台设备宕机，也不会对网络造成大的影响，基本能够保证整个切换过程的用户业务切换无感知。

2 台交换机组成虚拟化集群以后，实现对2台交换机的统一管理，简化了管理流程。和传统技术相比，虚拟化的优势主要有，简化组网拓扑结构，简化管理；减少设备数量，减少管理工作量；多台设备合并后可以有效提高性能；多台设备之间可以实现无缝切换，有效提高网络高可用性。

3）接入层。本次办公区网络的办公区网络接入能力将从百兆网络升级为千兆网络，接入层设备双上行并进行捆绑链接至汇聚层交换机，作为VXLAN 节点，供终端接入 VXlAN 网络。

2.1.2 办公区路由规划

全网 Underlay 使用 OSPF（开放式最短路径优先协议）互联，本地环回接口地址为路由 ID，通告设备互联 IP 及环回地址，SDN 组网使用 Spine 脊节点-汇聚-Leaf 叶节点架构组网，架构如图4所示。

图4 水利部机关网络办公路由规划

2.2 办公网区 SDN 升级特点

办公网经过 SDN 升级改造后，基于虚拟局域网和专用网络技术，实现了包括办公网络的自动化上线，业务端到端自动化部署，接入用户名址绑定，有线无线一体化管理等一系列功能。整体架构基于SDN 思想提升了水利部机关办公网络的运维管理能力。具体特点如下：

1）位址分离/名址绑定。位指位置，址指 IP 地址，名指用户本身或者业务。位址分离就是 IP 地址与物理位置解耦，名址绑定就是用户/业务和 IP 地址绑定，IP 地址不光从技术层面承载连通性，支撑路由转发，而且还具有直接标识业务/用户的功能，策略可以直接根据五元组实施，大大简化了传统网络策略的部署。最终达到所见即所得的效果，IP 即用户，网段即业务，同时也大大简化了网络的审计。

2）策略随行。指用户移动到哪里，策略就跟随到哪里，用户的体验不变，比如部门 A 的工作人员移动到水利部机关的会议室等任何位置，依旧获得部门 A 的权限，访问部门 A 的相关资源，策略保持不变。

3）网络开放。除了基础网络架构之外，还提供软件定义能力，通过网络控制器的上层开放接口，允许第三方进行增值开发，从而快速提供新的功能。

4）业务部署极简。减少了上线工作量及复杂度，能够快速实现新业务上线。

5）全面资源管理。对网络环境资源可统一管控，提供拓扑、网络设备、IP 地址、用户的管理等功能。

3 服务器区网络升级方案

3.1 服务器区基础网络设计规划

3.1.1 服务器区架构

服务器区架构具体如下：

1）核心层。核心层主要负责连通所有的功能分区，构建一个高速交换的以太网骨干网络。核心层节点作为数据网络系统的心脏，必须提供全线速的数据交换，当网络流量较大时，对关键业务的服务质量提供保障。另外作为整个网络的交换中心，在保证高性能、无阻塞交换的同时，还必须保证稳定可靠的运行，所以核心层交换机本身具备设备模块级冗余。核心层节点还需要具有良好的可扩充性和高密度端口的承载能力，能够保障随着将来服务器区网络规模的扩充而平滑升级。

在本次升级中，与办公核心层一致，服务器核心交换机采用2台高性能核心设备，设备之间通过40 Gbit/s 链路互联作为堆叠口，使用虚拟化技术将2 台交换机虚拟化为1台设备，虚拟化后的服务器区网络核心交换机与办公核心间通过2条40Gbit/s链路互联，互联均进行链路捆绑，以实现网络的高可靠性、高性能。

2）接入层。采用大二层的设计思路，去掉了汇聚层，服务器区业务接入交换机使用万兆电和光设备，通过2×40Gbit/s 链路连接至核心设备，互联链路进行捆绑。

3.1.2 服务器区路由规划

统一规划 Underlay 网络，使用 OSPF 协议，规定进程号和区域号，路由器 ID 使用环回接口地址，使用网络方式宣告直连网段、环回接口地址，路由规划如图5所示。

图5 水利部机关网络服务器区路由规划

3.2 服务器区 SDN 升级特点

使用 VXLAN 技术实现在传统网络之上搭建Overlay 覆盖网络，Overlay 网络是物理网络向云和虚拟化的深度延伸，能够实现虚拟网络摆脱物理网络的限制。可将网络设备的控制层面与转发层面分离，以实现对网络流量的灵活控制，为云业务系统提供所需的新一代网络环境。具体特点如下：

1）控制和转发分离。控制层面可以摆脱对传统网络设备的依赖，实现网络流量统一管理调度。

2）集中控制。方便对池化的资源进行灵活的控制和监管，对网络资源整体把控。

3）开放的 API。开放统一的南向和北向接口，可与云管、云虚拟化等平台对接，实现云资源统一编排。

4）消除传统网络限制。使用 VXLAN 技术构建跨三层网络的 Overlay 网络，实现网络环境与物理位置解耦，业务系统主机可在各个楼宇间、数据中心间灵活迁移，不受网络环境约束；IP 地址可灵活分配，业务 IP 地址不受物理网络约束，业务变动无需改动物理网络；同时解决了传统网络中的 VLAN限制。

5）简化维护工作。减少上线工作量及复杂度，能够快速实现新业务上线。在日常运维中通过控制器表象信息可快速定位故障原因并及时解决问题。

6）高易用性。基于 Web 页面进行管理，直观显示用户的网络设备和接入主机，记录详细的日志信息，用户行为可跟踪。

4 运行状况

本次水利部机关网络 SDN 优化升级已经进入试运行阶段，总体上比较平稳，有力提升了网络运维管理水平，增强了故障发现定位能力，主要运行优势如下：

1）升级老旧网络设备并使用虚拟化技术将2台物理设备堆叠为1台设备使用，提升了网络性能及可靠性。

2）调整网络结构，优化网关及 IP 地址、VLAN、路由，配合升级后的新网络设备提升网络转发效率。

3）规划网络区域，调整相应设备部署区域，优化网络区域结构减少流量交错，提升了整体网络的可靠性。

4）通过 SDN 技术对接虚拟化网络功能资源，采用服务链的方式，细化了同区域业务与跨区域业务互访交互的控制，提升业务环境的安全性。

5 结语

本次水利部机关网络 SDN 升级的关键设备是核心层网络设备和随之新增的 SDN 控制器。SDN本身对网络规模没有要求，但是小范围的网络实施SDN 改造相对意义较小，SDN 优势在大型数据中心网络中体现最为明显。如果现状网络的接入层设备支持 SDN 协议，可作为受控转发设备，成本会相对低廉很多，仅需更新核心设备和 SDN 控制器。

由于水利部机关网络建设较早，机房物理情况、网路架构、业务部署都比较复杂，此次升级更新了所有核心层和大部分接入层的网络设备，为保证在整体升级改造中基本不对网络造成影响，共进行了大大小小的割接50余次。水利部机关网络SDN 升级从方案规划开始实施到进入试运行共计耗时约12个月，试运行至今已超过3个月，未发生较大的故障问题。实施过程中最大的问题是原网络拓扑复杂和现阶段 SDN 技术对老旧设备的支持不够完美。总体来讲，本次基于 SDN 技术的升级改造有力提升了内部网络互联带宽，减小了网络收敛比，在提高业务服务能力的同时也提升了工作人员的办公体验，后续要继续探索整体网络状态监控、IPv6 改造、网络安全资源池化等问题。