基于Proxmox超融合虚拟化平台的设计与实现

摘  要：随着虚拟化和超融合的不断成熟，文章针对盐城工业职业技术学院信息与安全学院实验实训中心的需求，从管理和成本的角度提出基于Proxmox虚拟化平台和Ceph分布式存储软件组建超融合虚平台，并将网络靶场竞技系统与Proxmox超融合平台融合，搭建网络信息安全技术综合练习场景，培养学生安全知识与技能综合运用能力，考评学生安全知识与技能综合运用水平。

关键词：Proxmox;Ceph分布式存储;超融合;虚拟化集群

中图分类号：TP393.09       文献标识码：A 文章编号：2096-4706（2020）20-0131-04

Design and Implementation of Hyper-converged Virtualization Platform

Based on Proxmox

——Take the Application of Online Shooting Range Competition System as an Example

ZHANG Zhenfeng

（Yancheng Polytechnic College，Yancheng  224005，China）

Abstract：With the continuous maturity of virtualization and hyper-converged，in response to the needs of the experimental training center of the School of Information and Security，Yancheng Polytechnic College，the article proposes to build a hyper-converged virtual platform based on the Proxmox virtualization platform and Ceph distributed storage software from the perspective of management and cost. And integrating the network shooting range athletic system with the Proxmox hyper-converged platform to build a comprehensive practice scene of network information security technology，cultivate studentscomprehensive application ability of safety knowledge and skills，and evaluate the comprehensive application level of studentssafety knowledge and skills.

Keywords：Proxmox;Ceph distributed storage;hyper-converged;virtualized cluster

0  引  言

在高校数据中心使用虚拟化技术是普遍的做法，是提高硬件资源利用率、优化资源配置的基础措施之一。目前主流的商业虚拟化软件有VMware vSphere，Microsoft Hyper-V，开源虚拟化软件有Citrix XenServer，RedHat KVM、Proxmox等。与VMware vSphere相比，虚拟化软件Proxmox在产品成熟度、稳定性、技术支持、产品功能特性、产品性能、用户体验等方面不相上下。因此，信息與安全学院实验实训中心以Proxmox为基础构建了超融合虚拟化平台。基于四台物理服务器组建超融合集群，并将网络靶场竞技系统与Proxmox融合，部署了近30个虚拟服务器，整合了盐城工业职业技术学院所有服务器，通过优化整合，充分利用现有硬件资源，提高了设备的使用率。

1  超融合虚拟平台的设计

1.1  Proxmox简介

Proxmox VE是一个基于Debian Etch（x86_64）版本的完整的企业虚拟化开源平台。借助内置的Web界面，可以轻松管理虚拟机网络、虚拟机和容器，创建虚拟主机集群，并且整合了分布式文件系统Ceph，并对其进行了改进，实现了全图形界面配置Ceph，进而无需共享存储实现操作系统、存储、虚拟化平台、网络一体化，也就是超融合架构。

1.2  KVM混合虚拟化架构

KVM基于混合虚拟化技术。混合虚拟化与寄居虚拟化一样使用主机操作系统，但不是将管理程序放在主机操作系统之上，而是将一个内核级驱动器插入到主机操作系统内核。这个驱动器作为虚拟硬件管理器（VHM）协调虚拟机和主机操作系统之间的硬件访问。

混合虚拟化架构与裸金属虚拟化架构将是未来虚拟化架构发展的趋势，配合硬件辅助虚拟化可以达到接近物理机的运行性能。KVM、Hyper-V、VMware等主流服务器虚拟化都支持硬件辅助虚拟化。

1.3  Ceph分布式存储系统简介

Ceph创造性地使用统一的系统为系统提供了对象、块、和文件存储功能，具有可靠性高、管理简便的优点。基于Ceph分布式存储系统，可以改变组织的IT基础架构以及管理海量数据的能力。Ceph具有极大的伸缩性。Ceph以普通x86服务器硬件和智能守护进程为支撑点，进而通过Ceph存储集群组织起了大量存储节点，它们之间通过网络复制数据、并动态地重新分布数据。

1.4  实验实训数据中心超融合虚拟化平台架构

实验实训数据中心超融合虚拟化平台使用四台华为RH2288H V5服务器和两台万兆交换机，服务器配置如表1所示。所有服务器网卡两两LACP绑定，并连接到万兆交换机。

2  超融合虚拟平台的实现

2.1  Proxmox的部署

Proxmox可以通过光盘、U盘或网络直接部署在物理服务器上。在官方网站下载最新的安装文件，本文所使用的版本是6.2。

实验实训数据中心超融合虚拟化平台使用华为RH2288H V5，为每一台服务器iBMC配置管理IP，更新iBMC、RAID卡和硬盘固件以及服务器BIOS到最新版本，开启KVM，通过网络挂载Proxmox ISO镜像文件安装部署服务器。

本文中使用服务器iBMC带外管理方式远程部署，此种方式与使用光盘或U盘本地部署一致。Proxmox部署相当简单，一路Next就可以安装完成，最后配置管理IP地址即可。

2.2  部署Ceph分布式存储

在Proxmox上部署Ceph分布式存储有命令行和PVE Ceph图形化工具两种形式。

2.2.1  Ceph环境准备

环境准备主要是创建Ceph集群之前需要准备的环境，包括：更改Proxmox软件源和更新Proxmox、配置/etc/hosts、配置免登陆访问、设置防火墙、设置时钟同步、配置Ceph软件源、安装Ceph-deploy工具、Ceph软件包安装等。在每一台Proxmox主机上执行进行环境准备。具体步骤为：

（1）更改Proxmox软件源为阿里源。

编辑etc/apt/sources.list.d/pve-enterprise.list文件，修改為deb http：//download.proxmox.wiki/debian/pve buster pve-no-subscription。

编辑etc/apt/sources.list文件，修改为：deb http：//mirrors.aliyun.com/debian buster main contrib、deb http：//mirrors.aliyun.com/debian buster-updates main contrib、deb http：//mirrors.aliyun.com/debian-security/ buster/updates main contrib。

（2）更新Proxmox：apt updateapt upgrade -y。

（3）配置/etc/hosts：hostnamectl set-hostname 计算机名。

（4）设置防火墙。Ceph Monitors之间默认使用6789端口通信，OSD之间默认用6800：7300范围内的端口通信，多个集群应当保证端口不冲突。Ceph OSD能利用多个网络连接进行与客户端、Ceph Monitors、其他OSD间的复制和心跳的通信。

关闭防火墙服务：systemctl stop firewalld.service&&systemctl disable firewalld.service。

开放防火墙端口：firewall-cmd --zone=public --add-port= 6789/tcp–permanent。

2.2.2  创建Ceph集群

创建Ceph集群主要包括：初始化PVE Ceph网络、创建Ceph监视器、创建OSD（可以在Web界面或命令行执行）、创建PVE Ceph Pool组，具体步骤为：

（1）初始化PVE Ceph网络：pvecephinit --network 10.10. 10.0/24，其中，10.10.10.0/24为PVECeph网络所使用的网段与子网掩码。

（2）创建Ceph监视器：ceph-deploy mon createpve-1 ……。其中，pve-1……为所有节点名称。

（3）创建OSD：ceph-deploy osd create pve-1 --data /dev/sdc。该命令需要在每个节点中执行，其中，pve-1为节点名，sdc为磁盘符。

（4）创建PVE Ceph Pool组：cephosd pool create ceph-external 64。

2.3  创建Proxmox集群

SSH登陆任一节，点使用命令pvecm create创建集群：pvecm create pve-cluster。其中，pve-cluster为集群名。

SSH登陆分别登陆其余节点，使用命令pvecm add加入集群：pvecm add xxx.xxx.xxx.xxx。其中，xxx.xxx.xxx.xxx为Proxmox节点管理ip地址。

执行完成之后可以在所有节点上使用pvecm status查看集群状态，并通过Web界面管理整个集群。

2.4  Proxmox集群使用Ceph存储

将Ceph存储池配置进Proxmox，再配置Ceph的认证配置，就可以实现超融合架构了，结合Proxmox的集群功能和Ceph分布式存储，就可以实现虚拟机在线热迁移，虚拟机HA等虚拟化高级功能，当虚拟机所在虚拟主机发生故障，虚拟机可以自动迁移到其他的虚拟主机上。

可以通过图形化界面或命令行创建集群存储资源池，下面以命令行说明：

创建集群存储资源池cephosd create pool ${poolname} ${pg_num} ${pgp_num}

Pool对应PG、PGP数量的计算公式：

Total PGs=（（Total_number_of_OSD * Target PGs per OSD） / max_replication_count） / pool_count

激活集群存储资源池为rbd存储池，用于存储pve的磁盘映像跟容器，命令为：cephosd pool application enable集群存储资源池名称rbd。

挂载Ceph RBD磁盘：在数据中心-存储-添加RBD，填写ID，设置存储对象，这样集群节点就都会挂载上这个磁盘。

3  超融合虚拟化平台的调优

超融合虚拟化平台的调优包括物理服务器调优、虚拟机操作系统调优、虚拟机调优、Proxmox防火墙策略调优、备份与恢复等几个方面的内容。我们结合日常的信息管理和维护文档日志对服务器的CPU负载、虚拟机、内存负载、负载的高低时间等内容进行观察记录，综合对每台物理服务器、虚拟机、各类应用程序及时有序的调整，可以最大化利用设备性能和软件功能。

3.1  调整物理服务器

根据物理服务器的性能调整虚拟机的运行数量，控制物理主机的CPU负载不超过60%，内存不超过总量的60%。通过测试表明，在构建的超融合虚拟化平台中，内存和存储IOPS性能是限制虚拟机数量的主要因素。改造完成以后的服务器在数量和性能上的缺点是因为物理服务器数量和配置内存的增多而有一定的冗余。

3.2  调整虚拟机

应当根据不同应用需求，及时对虚拟机的配置进行调整。统一使用精简配置虚拟磁盘可有效利用存储空间。测试表明，最大化使用CPU性能应选择host CPU内核架构，但这为虚拟机迁移带来障碍。在实际的使用中，要考虑不同系统之间的搭配，把网络带宽要求高、CPU占用多的虚拟机和网络带宽要求低、CPU占用少的虚拟机放在一台物理主机上，以此来平衡物理服务器资源的合理利用。虚拟机可以在Proxmox集群内实现虚拟机一键迁移，虚拟机调整可以做到适时调整、按需调整、及时调整。

3.3  调整安全防护

调整安全防护主要包括物理服务器的防护、防火墻调整、备份和快照三个方面：

（1）物理服务器的防护：通过建立Proxmox集群，并预留冗余资源，主要是内存，从而使虚拟机具有高可用性，而服务器可以获得检修窗口时间。

（2）针对防火墙进行调整：Proxmox 6.2版本具有防火墙功能，针对每个虚拟机设置针对性的防火墙规则。

（3）备份和快照：备份和快照是虚拟机的备份和恢复手段。定期做好虚拟机备份和快照可以防止虚拟机系统出现无法恢复的故障时，及时还原或恢复到之前的某一状态。

4  网络靶场竞技系统

网络靶场竞技系统以Proxmox超融合平台为基础，集资源调度、竞赛管理、实操演练、可视化于一体，立足学生对信息安全人才培养考核的需求。支持动态FLAG、防作弊检测、加固检测等多项前沿技术。分为竞赛和练习两种使用模式，每种模式均包括基础理论、夺旗闯关、主机渗透、攻防对抗、取证溯源、企业环境渗透、安全加固、自定义八个阶段。

4.1  网络拓扑

网络靶场竞技系统运用虚拟化技术，对系统内部的竞赛环境实现了复用并发并进行逻辑分组隔离。只要保证实际物理网络与本系统能正常通信，即可完成网络攻防竞赛和训练任务。网络拓扑结构如图1所示。

4.2  智能云资源调度

该架构以Proxmox为基础，具有稳定、高效、高并发的虚拟化能力，将硬件资源虚拟化为多种资源池，实现资源最大化利用。该智能云负责调度系统资源，提供高度贴近实战的仿真网络信息安全对抗环境，满足用户网络信息安全竞赛、对抗实战训练的需求。其中虚机管理功能主要为上层的业务系统提供环境支撑。系统内置虚机、用户自定义虚机等组件，通过拖拽可完成拓扑构建。虚拟机资源如图2所示。

5  结  论

使用Proxmox超融合虚拟化平台后，从管理角度看，维护的硬件设备数量大大减少，由以前的十余台变成现在四台，管理人员的工作强度大幅减低。同时，管理维护更加灵活。虚拟机模板的使用也大幅提高了新系统的上线速度。从成本角度上看，使用Proxmox超融合虚拟化平台后，也大幅降低了购置成本、电费、维护费用等各类维护费用。

在将网络靶场竞技系统与Proxmox超融合平台融合后，极大简化了部署方式，节约了部署时间，对系统内部的竞赛环境实现了按需复制并进行逻辑分组隔离，有力地促进了学校信息安全专业实践型人才的培养。

参考文献：

[1] ANON. Information Technology-Cloud Computing;Server Clustering in Cloud Computing Using Proxmox Based High Availability Method [J].Computers Networks & Communications，2020：786.

[2] 马珂，宋磊，徐彤.业务迁移与虚拟化技术在电视播出运维中的融合应用 [J].广播与电视技术，2019，46（11）：59-63.

[3] 曾永安.基于多技术融合的在线教育平台设计 [J].自动化技术与应用，2019，38（10）：142-145.

[4] ALGARNI S A，IKBAL M R，Alroobaea R，et al. Performance Evaluation of Xen，KVM，and Proxmox Hypervisors [J].International Journal of Open Source Software and Processes（IJOSSP），2018，9（2）：39-54.

[5] 梁晟，方凯明.基于Proxmox的云平台设计与实现 [J].贵阳学院学报（自然科学版），2017，12（4）：23-26.

[6] ANON. Canadian Web Hosting;Canadian Web Hosting Expands Private Cloud Services with the Public Availability of SolusVM and Proxmox Private Cloud Hosting Plans [J].Computers，Networks & Communications，2016.

[7] MOHAMMADI R，NABAVI S Y，EMAM S M. Analysis of FTP and Web Server Performance In Open Source Server Virtualization [J].International Journal of Computer Science Issues（IJCSI），2016，13（5）：159-162.

作者简介：张振锋（1975—），男，汉族，安徽太和人，助理研究员，硕士，研究方向：计算机网络技术。