训练数据中心物理资源整合技术研究

李德伟，刘 鹏

(1.海军参谋部 军事训练中心，北京 100841；2.海军工程大学，湖北 武汉 430000)

0 引言

目前,部队军事训练任务日益增多，且具有跨业务平台、多通信体制、高度共享关联和功能协同应用等特点，训练业务中产生的训练数据指数级增长，对训练数据中心的数据处理能力提出了更高要求。而数据中心物理资源根据各数据处理业务需求，进行独占式分配使用，数据中心资源维护复杂；各数据处理业务本身对硬件资源的整体利用率较低，资源利用率低；运算量较大的数据处理业务对硬件性能要求高，单一设备无法满足使用要求等问题，已成为阻碍数据中心正常运维及可持续发展的重要原因，只有对数据中心物理资源进行更加高效的资源整合，才能最大程度发挥数据中心的作用，为训练业务开展提供有利保障。

目前如何高效整合数据中心的物理资源一直是相关领域的研究热点。文献[1-3]提出了在大数据时代下建设数据中心需重点注意的相关事项，如建设方案选择、数据安全等；文献[4-6]介绍了分布式平台建设及分布式服务架构业务应用等；文献[7-9]介绍了物理资源整合必要的关键技术，如多服务器及分布式进程间的协同服务、远程调度服务等；文献[10-11]介绍了云平台涉及到的负载均衡及任务调度技术；文献[12-13]介绍了分布式文件系统及存储集群相关技术。借鉴目前的分布式构架并结合大数据时代的云概念，本文提出的物理资源整合通过对系统计算服务器、存储服务器和网络交换设备等硬件基础设备整合服务，将底层基础资源打散，分割成基本资源逻辑单元，再整合形成网络、计算和存储资源池，对外提供可度量的、系统隔离的、安全可靠的和快速可扩展的持续资源服务。

1 系统资源整合

系统资源整合负责管理数据中心集群的物理资源，屏蔽底层基础设施差异，将底层基础资源打散、分割成基本逻辑单元，形成网络、计算和存储资源池，为各业务系统提供容器云服务、云数据库服务、裸金属云服务、开放式存储服务和虚拟网络服务等具有统一标准服务接口、可度量、系统隔离、安全可靠和快速可扩展的持续资源池服务，主要包括服务器资源整合、存储设备资源整合和网络设备资源整合。

服务器资源整合主要由容器云资源整合、数据库云资源整合和裸金属云资源整合组成。通过将多台多种操作系统的国产化自主可控服务器与非国产化服务器有机结合，依托存储系统及网络系统资源，容器云资源整合构建具备混合架构的容器云平台，提供统一开放的虚拟化支撑能力，构建兼容麒麟、Windows、Linux等多种操作系统的容器云服务；数据库云资源整合对各业务系统数据库服务器进行整合，构建具备一主多备、一写多读和设备故障自动快速容灾的数据库云平台，为各业务系统提供统一的数据库访问服务；裸金属云资源整合为各业务系统搭建的分布式计算集群提供统一运维管理，保障各类硬件资源的实时监控及故障自动告警。

存储设备资源整合负责管理数据总线的阵列存储设备、分布式对象存储设备、NAS文件存储设备及离线存储设备的物理资源，形成在线、近线和离线存储层，为业务系统提供海量、高速、安全、高可用、可定制、可扩展和具备多种存储体制满足各类业务系统需求的存储资源，隐藏下层存储设备故障恢复和数据冗余等细节。

网络设备资源整合根据各业务系统间不同的业务特点、应用架构和安全等，按应用集群划分为接入区、运维管理区、服务器区和存储区。各区之间通过规范化的安全控制连接到互联交换机上，分区内采用标准化、模块化等方法进行设计。采用分区架构，在不增加物理设备和连线的前提下，实现业务快速部署，增加了业务系统部署的灵活性；更好地支持了双活结构中的各层次的东西向流量、外联专线在多个中心之间的备份及业务系统的跨区域灵活访问。系统资源整合示意如图 1所示。

图1 系统资源整合Fig.1 System resource integration

2 容器云服务

容器云平台软件是以轻量化容器技术为核心的信息服务平台，采用Docker(开源的应用容器引擎)和Kubernetes(开源的容器编排引擎)技术，实现对全自主可控计算机集群网络、存储和计算资源的统一调度管理，支持基于Kubernetes调度架构的多种调度策略、负载均衡策略，提供容器云管理的可视化交互界面及一键部署、云桌面等运维手段，支持以容器形式提供计算服务，能够挂载存储与网络，具备快速启动、弹性伸缩等能力，为业务系统提供安全可靠的运行支撑环境，保障各业务系统的不间断运行。

3 云数据库服务

云数据库采用分布式集群架构，构建主备数据库机房，主备机房均采用一主多备数据库集群，支持一个主节点和多个备份节点，主节点及备份节点同时工作，满足业务系统高并发数据访问需求；支持基于共享存储的一写多读架构体系，数据一次写入主节点，所有备份节点即时生效，主备延迟控制在秒级以内；提供并行查询引擎服务，通过并行计算提升复杂大SQL查询性能，适用于大表关联查询、无索引列的点查询和多字段分组查询等场景；采用存储和计算分离的体系架构，提供数据存储能力弹性伸缩、多计算节点共享数据、分钟级配置升级、秒级数据恢复、全局一致性和数据容灾备份服务，通过白名单、专有网络和数据多节点存储等技术对数据库数据访问、存储和管理等各环节提供安全保障。

云数据库服务节点通过远程数据存取服务对数据进行访问，其中主机房云数据库节点由一个主数据库节点和多个只读(备)数据库节点组成，数据库正常运行时，主备数据库可进行数据库读访问分离，在数据库节点发生异常时，数据访问服务自动切换，且对上层应用服务基本无感知；备机房云数据库节点亦由一个主数据库节点和多个只读(备)数据库节点组成，主数据库将数据实时同步到主机房主数据库数据，并将同步的数据实时向备数据库同步。当主机房数据库发生故障时，可通过备机房数据库为业务系统临时提供数据库服务，提高主机房数据库异地灾备能力。云数据库服务体系如图2所示。

图2 云数据库服务体系Fig.2 Cloud Database Service Architecture Diagram

4 裸金属云服务

裸金属云为各业务系统提供物理服务器的管理服务，支持根据应用服务配置需求，自定义安装操作系统，并提供物理服务器主机的全生命周期管理，实时监控物理服务器主机的健康状态，保障核心业务系统的高效稳定运行，进行各业务系统物理服务器的统一运维管控。

裸金属云管理节点通过服务器基板管理控制器(BMC)与各物理服务器进行网络连接，通过智能平台管理接口(IPMI)进行物理服务器的健康状态监控及带外管理，如远程控制服务器开关机，进行故障日志记录批量部署等；通过部署预启动执行环节服务(PXE Server)、动态主机配置协议服务(DHCP Server)、简单文件传输协议服务(TFTP Server)等服务，进行物理服务器的批量部署；通过云特性，进行物理服务器主机的镜像备份与恢复操作。裸金属云的整体架构如图3所示。

图3 裸金属云系统架构Fig.3 Bare metal cloud system architecture diagram

5 开放存储服务

开放存储服务为上层系统提供海量、安全、低成本、高可靠的多体制存储服务，支持多用户海量并发数据访问，提供丰富的图片处理服务和强大灵活的安全机制。开放存储服务支持数据双活、多副本和定期备份等多种数据高可用体制，提供副本自动复制和自我修复功能；支持在线动态平滑扩容；支持与平台无关的基于HTTP/HTTPS协议的RESTful API接口和多语言软件开发套件。开放存储服务主要为各业务系统提供阵列存储服务、分布式对象存储服务、NAS文件存储服务和蓝光存储服务。

阵列存储向各业务系统提供高I/O的块存储访问服务，满足各业务系统实时处理、高速运行及镜像文件存储和迁移等要求；通过部署对称双活存储架构，满足各业务系统的数据高可用需求，实现数据双活；通过负载均衡机制，对数据访问流量进行合理分发，提升存储系统吞吐能力及响应速度。通过存储数据热度智能分析功能，自动进行业务系统存储数据调用冷热数据分层加速。

分布式对象存储向各业务系统提供多重数据存储服务，满足各业务系统大数据计算业务下持续增长的性能和容量需求及不同应用、不同数据存储格式与服务协议的需求，可有效地管理共享资源；通过配额管理功能，将存储资源按需分配，提高存储利用率；存储系统通过负载均衡机制，在实现网络负载均衡的同时，将所有数据读写压力平均分配到服务器所有硬盘中，实现所有硬盘的压力均衡，将存储服务器以及网络的整体性能发挥出来。

NAS文件存储向业务系统提供共享文件或大容量非结构化数据文件存储，满足全局文件共享功能，为业务系统提供文件统一视图，实现全局共享访问，方便运维管理的同时，提供数据按需分发分享机制。由于各个业务系统存在私密文件，文件存储在满足统一存储池需求的同时，提供丰富的权限管理功能，解决用户数据隔离的存储需求。

蓝光存储向业务系统及各级存储系统提供数据归档、长效数据保存以及数据容灾恢复的功能。通过丰富的存储接口，依托廉价的存储介质以及离线管理功能，对分散的孤岛数据进行汇集归档；基于蓝光介质高达50年寿命的材质特性，实现完整的数据生命周期管理；通过原生的一次写多次读(WORM)刻写技术，配合灵活的数据备份策略，保存关键数据的所有历史版本及操作记录，为业务系统提供最后的数据安全保障。

6 虚拟网络服务

虚拟网络服务通过软件定义网络的方式实现虚拟交换机、虚拟路由器和虚拟防火墙等网络功能，为接入的系统提供完全隔离的网络环境并通过隧道技术保证系统与虚拟专用网络的对应关系。每个虚拟网络由网关、路由器和交换机组成，虚拟网络之间逻辑上完全隔离，可根据业务需求定义虚拟网络，可自定义IP网段、配置路由表和网关。交换机和网关组成数据通路的关键路径，控制器下发转发表到网关和交换机，组成配置通路关键路径。在虚拟网络中，可使用容器云主机、关系型数据库和负载均衡等服务，支持将虚拟网络连接到其他专有网络，形成一个按需定制的网络环境，实现服务平滑迁移和按需扩展，为上层系统提供安全、易用和可扩展的虚拟网络服务。

7 结束语

本文提出了基于云技术的物理资源整合，通过对训练数据中心的服务器、存储和网络等物理资源进行整合，为各业务系统提供统一的、高可用的和具备负载均衡等特性的容器云服务、云数据库服务、裸金属云服务、开放存储服务和虚拟网络服务等服务，在满足各业务系统使用需求的前提下，提高了训练数据中心的物理资源利用率，降低了物理资源故障的维护时间，并提高了系统运维人员的工作效率，为训练任务的正常开展提供了有力的保障。