卫星广播节目传输机房小型虚拟化系统升级改造的实现

国家广播电视总局无线电台管理局七二二台 王晓峰

在使用VMware的服务器虚拟化系统一段时间以后，发现系统内有一些需要优化的地方。在部署一台交换机和若干千兆网线并进行相应配置后，服务器虚拟化系统的容错能力和性能都得到了提升，系统运行的更加稳定可靠。

本人所在单位目前已经使用VMware公司的服务器虚拟化软件vSphere ESXi6.7和配套的虚拟化管理软件vCenter6.7实现了机房服务器系统虚拟化。服务器虚拟化以后，整个机房物理服务器的数量从原来的二十多台降为了三台；保障服务器工作的UPS电源负载降低了35%左右；减轻了机房制冷系统的负荷；机房总体耗能有所降低。总的来说服务器虚拟化之后单台物理机上运行业务系统的密度增大了，整个机房提高了运维效率降低了运维费用。但是随着这两年来的使用，我们发现目前的服务器虚拟化系统存在一些问题，需要升级改造。

1 服务器虚拟化系统现状

本人所在单位的服务器虚拟化系统是按照最小系统规格配置的。分别由三台物理服务器，一台千兆交换机，一台光交换机、一台FC共享存储和vSphere虚拟化软件组成。从逻辑上可以分为系统存储部分、系统网络通信部分和宿主机部分。

系统存储部分组成如下：三台物理服务器上安装了HBA光纤通道卡，通过8G速率的光纤与光交换机连接；虚拟化共享存储的控制器上自带光纤接口，通过8G速率的光纤与光交换机连接。三台物理服务器可以通过光纤与光交换机组成的“光通路”访问共享存储，实现服务器虚拟化系统的数据读写。改造前服务器虚拟化系统连接拓扑图如图1所示。

图1 改造前服务器虚拟化系统连接拓扑图

系统网络通信部分组成如下：每一台物理服务器均配置了八个网口，目前仅仅使用其中三个网口与一台千兆交换机连接；在这台千兆交换机上划分了三个网络Vlan：虚拟化系统迁移时需要用到的vMotion业务所在网络Vlan，管理虚拟化系统时需要用到的Management业务所在网络Vlan，还有虚拟服务器对外提供服务使用到的业务Vlan。前两个Vlan是保障服务器虚拟化系统自身能够正常工作的基础；后一个Vlan是系统内运行的虚拟机保持对外服务的通道。每台物理服务器使用三条千兆网线分别通过不同的网口连接到系统千兆交换机对应的Vlan网口。

服务器虚拟化系统与其他网络系统的关系如下所述。服务器虚拟化系统内的千兆交换机通过一个设置为Trunk工作模式的网口与上一级核心交换机连接，同时另外一个设置为Trunk工作模式的网口与远端工作现场的一台交换机连接。通过上述两条链路，系统内运行的办公业务类虚拟机给本单位接入核心交换机的用户提供日常办公相关服务；设备控制相关的虚拟机给远端工作现场的工控设备提供数据存储和远程自动控制服务。

2 当前系统存在的问题

经过两年的实际运行，我们发现在生产环境下这套服务器虚拟化系统存在以下问题。首先系统中的交换机与上一级核心交换机之间、系统交换机与远端工作现场交换机之间只有一条物理链路，只要发生故障，它们与虚拟化系统之间的通信就会中断。其次在服务器虚拟化系统中，仅仅有一台千兆交换机，这台交换机即需要负担虚拟化系统内部的网络流量，又需要承担与系统内虚拟服务器进行业务交互的网络流量，在系统内虚拟机大规模迁移时交换机容量捉襟见肘；同时因为设备故障或者意外造成这台交换机停止工作会使所有虚拟化服务器无法访问，造成虚拟化系统内运行的全部业务对外服务中断。

3 系统升级思路

因为这套服务器虚拟化系统已经使用了两年左右，在功能上能够满足单位的日常需要，所以这次升级系统的主要目的是尽量提高系统的可靠性。在计算机系统中可靠性的提升一般采用冗余设备的方法。但是计算机系统不仅仅是物理硬件的堆砌，还包含运行在物理硬件上的各种软件。因此在做冗余设置提升系统可靠性时，不仅要考虑硬件配置，还要考虑软件设置。

3.1 提升物理链路的可靠性

为了提升服务器虚拟化系统中使用的交换机与单位其它交换机之间通信的可靠性，从物理上看，我们可以直接在这两台交换机之间增加一条千兆网线，以实现链路冗余。而实际上在不对交换机做任何配置的情况下，两台交换机之间直接连接两条网线会在交换机之间形成环路，产生广播风暴，使交换机无法正常工作。

可以在交换机中启用STP协议（生成树协议）或配置链路聚合功能解决冗余物理链路的环路问题。

交换机中的STP协议启用以后，会根据当前交换机的物理连接拓扑生成逻辑上的、无环路的交换机树形拓扑，通过关闭环路中上层交换机指定端口的方法，使环路中一条物理链路处于工作状态，而另一条处于不工作状态。当处于工作状态的链路中断时，原本中断状态的链路才会启用。这样可以实现物理链路冗余，但是STP协议切换链路花费的时间比较长，在链路切换时会产生较长的中断时间。

在交换机上配置链路聚合功能，会将两台交换机之间连接的多条物理链路，看成一条逻辑链路，解决了链路备份与环路的矛盾。根据对交换机的配置，一些物理链路可以同时工作，在增加交换机之间通信带宽的同时，提供了链路冗余；另一些物理链路可以作为备份链路存在，平时链路上没有数据传输，当上文中工作链路中某一条中断后，由备份链路补上。

经过综合考虑，我们选择在交换机上开启STP协议同时配置链路聚合，使用STP协议防止物理链路自环；使用链路聚合技术为交换机之间增加冗余物理链路，实现交换机之间链路可靠性与性能的提升。

3.2 解决虚拟化系统内交换机的单点部署问题

为了解决虚拟化系统内的一台千兆交换机单点部署的问题，我们增加了一台新的同型号交换机并且在两台交换机之间实施了堆叠配置。交换机堆叠是一种交换机集群技术，在两台同型号的交换机之间通过指定接口把两台交换机连接起来并在交换机上启动堆叠配置，堆叠后的交换机对外呈现出一台交换机的特性。这台通过堆叠技术实现的逻辑交换机，只有一个管理IP，接口数量和性能都得到了加强，配合跨设备链路聚合技术，可以实现交换机的热备。也就是说，一台物理服务器的两个网口，分别连接到堆叠交换机中的两台物理交换机，并将这两个来自不同物理交换机的端口在堆叠后的逻辑交换机内做端口聚合配置。当堆叠交换机中的一台物理交换机故障后，服务器可以通过堆叠交换机中的另一台物理交换机通信。

图2 改造后服务器虚拟化系统连接拓扑图

3.3 系统升级方案

综上所述，我们制定如下升级方案。新增一台千兆交换机，与虚拟化系统中的原千兆交换机使用千兆网线分别通过两组物理网口连接组成堆叠交换机。从三台物理服务器上，通过空余的网口分别为vMotion业务所在Vlan、Management业务所在Vlan和业务网络所在Vlan增加一条冗余千兆网线，连接到堆叠交换机中新增的物理交换机上。实施堆叠配置后的两台物理千兆交换机和其他外围交换机连接时，可以从两台物理交换机上使用千兆网口同时连接到外围交换机的两个网口上，在堆叠交换机和外围交换机上同时配置端口聚合。改造后服务器虚拟化系统连接拓扑图如图2所示。

4 系统升级实施过程

4.1 交换机设置堆叠工作模式

将虚拟化系统中的一台交换机的19号网口和20号网口依次与另一台新增交换机的20号网口和19号网口连接起来。

使用Telnet连入一台物理交换机的配置系统，依次运行interface stackport 0/1，port interface GigabitEthernet 0/0/19 enable，quit；依次运行interface stack-port 0/2，port interface GigabitEthernet 0/0/20 enable，quit。

使用Telnet连入另外一台物理交换机的配置系统，依次运行interface stack-port 0/1，port interface GigabitEthernet 0/0/19 enabl e，quit；依次运行interface stack-port 0/2，port interface GigabitEt hernet 0/0/20 enable，quit。

重新启动两台交换机，启动后会组成堆叠交换机。

4.2 级联交换机之间配置链路聚合

除了交换机堆叠之外，交换机之间的级联和交换机与服务器的连接使用两个网口通过网线对应连接对端网口，交换机系统内以手工负载分担模式配置链路聚合。下面以虚拟化系统内堆叠后形成的逻辑交换机与核心交换机之间的链路聚合配置为例予以说明。

在堆叠交换机上做如下配置：interface eth-trunk 1，trunkport GigabitEthernet 0/0/1，trunkport GigabitEthernet 1/0/1，port link-type trunk，port trunk allow-pass vlan 10 to 100。

在核心交换机上的配置与堆叠交换机上的类似，仅仅是把trunkport GigabitEthernet 1/0/1命令改为trunkport GigabitEthernet 0/0/2。

通过配置堆叠交换机的GigabitEthernet 0/0/1口和GigabitEthernet 1/0/1与核心交换机的GigabitEthernet 0/0/1和GigabitEthernet 0/0/2口实现了链路汇聚。

结论：经过本次升级，优化了多个可能会出现单点故障的网络结构，整个系统的性能和可靠性均有了很大的提升。此后单台交换机或者单条链路的故障再也无法中断虚拟化系统对外提供服务。