超融合技术在广州港全自动化集装箱码头中的应用
2022-11-01黄炳林张焕荣
鞠 进,杨 潇,黄炳林,张焕荣
(1.中交第四航务工程勘察设计院有限公司,广东 广州 510290;2.广州南沙联合集装箱码头有限公司,广东 广州 511462)
随着高速网络的普及、虚拟化及云计算技术的逐渐成熟,数据中心面临着效率和成本的挑战,传统的数据中心底层架构已无法有效满足大数据时代不断变化的虚拟化需求,业务创新对IT基础架构的灵活敏捷部署提出了新的要求,在这种新形势下,超融合技术架构应运而生。超融合的发展也由刚起步的硬件堆砌转为了软件堆砌,直至现阶段的“开箱即用”的云就绪服务平台系统。为解决自动化集装箱码头数据中心硬件利用率低、港口运行成本高的问题,有效采用超融合技术以及服务器虚拟化平台将数据中心内的存储、计算和网络资源进行池化,对港口的业务和相应的数据进行有效重组、管理和资源调度,按需把资源分配给用户,在节约成本的同时提高了系统设备的利用效率,提升了港口生产系统的可用性和容灾性能[1]。
超融合技术是一种被广泛应用在自动化集装箱码头信息化建设中的先进技术,它的基础架构不仅在同一套单元设备中拥有资源和技术,如计算、网络、存储和服务器虚拟化等,而且多套单元设备可以通过网络聚合形成统一的资源池,从而实现模块化的横向无缝扩展[2]。近年来,随着港口业务数据急剧增加,信息化平台的建设模式已陆续发生了转变,基于集中式共享磁盘的传统虚拟化技术应用在性能、扩展性、安全性和可靠性等方面受限制,导致服务器蔓延、单点故障。超融合基础架构作为全自动化集装箱码头信息化建设的新模式,网络对信息化平台新定义、新部署和新应用,超融合的部署可以有效提升数据中心整体管理与建设水平。
1 信息化港口数据中心现状
信息化程度已经成为建设和发展现代化港口的一个主要指标,同时也是我国港口建设和发展的一个重要趋势。目前,与国内港口作业相关的信息管理与控制系统功能的应用子系统约30余项,主要包含管理模块、计划模块、作业与计划模块、自动化设备控制模块、统计分析模块、对外服务平台模块以及外部接口模块等。由于港口作业对管理水平和运作效率的要求不断增加,港口业务逐步向专业化、规范化、标准化迈进,可以预见,随着全球经济一体化与信息技术的发展,特别是超融合技术应用日趋成熟和在各行业的广泛应用,对数据资源整合的要求越来越高,导致传统集装箱港口的运营和管理困难重重。传统的储存面临I/O瓶颈,企业需要改变储存体系。
采用超融合技术,通过软件定义的体系结构将计算、网络以及存储完全虚拟化并由软件控制,服务器和存储得到了有效的部署和管理、方便运维,同时也大大提升了系统设备利用效率。为港口未来的数据中心扩容发展乃至推动企业云基础架构建设提供了便利条件。
2 超融合技术的特点
传统的虚拟化架构一般采用计算和存储分离并共享磁盘存储,一台物理机上可以实现多个虚拟操作系统同时操作多个应用软件,传统虚拟化架构见图1。
图1 传统虚拟化架构
超融合技术架构是虚拟化、软件定义数据中心、完全分布式架构的结合,它是软件定义数据中心的缩影,以软件为基础提供更加灵活、敏捷的IT业务。超融合是将服务器、存储和网络功能模块的单元重组和池化的技术,通过加入软件层快速池化和再分配资产的一种融合基础结构,超融合架构对比传统架构具有开放性、扩展性、资源池、可维护性和成本上的诸多优势。传统架构和超融合架构各维度对比见表1。
表1 传统架构和超融合架构比较
经济性:通过部署超融合基础架构,降低了空间和电力能源需求,节省了基础设施支出费用,投产时间短、业务系统安装部署时间不超过4 h。
可靠性:将计算、存储、网络及安全构建在一个大的资源池,灵活快速地构建数据中心里的业务系统;在不损失业务性能的情况下,采用了虚拟机的热迁移技术、数据备份和恢复,存储的多副本技术为业务系统提供了可靠性保障,易于管理和集成。
扩展性:利用分布式结构设计,可以提高应用容量和性能,提高灵活的扩展性能,只需在业务系统进行扩展和升级就可以提高相应的服务器计算节点。同时,IT基本结构的操作更简化。
资源池化:相比传统架构的集中式存储,存储资源规划及管理较为复杂,通过分布式存储的布局可有效简化资源管理。
3 自动化码头数据中心对超融合架构的需求分析
针对先进、高效的自动化码头数据中心网络运维和管理,实现网络部署时间短、硬件选型更换便捷、硬盘及节点故障恢复快捷、扩容简单快速、管理界面简洁等尤为重要。构建虚拟化平台的核心和关键是数据中心的建设,虚拟数据中心负责提供IT基础设施服务,如运算处理资源、存储资源和网络资源等,按需满足要求。虚拟化是信息平台建设的基础,通过虚拟化技术进行整合,在提供运行环境等基础服务的同时,对外形成以计算资源(包括服务器池、存储池、网络池等)为主的池化管理[3],自动化码头超融合架构见图2。
综上所述,在公路工程建设施工中,施工技术控制和管理与进度、质量、成本等很多方面都存在着联系,为了做好这项工作,应建立完善的管理体系,设置专门的管理部门,进一步加强技术管理力度,从而保障施工质量。
图2 自动化码头超融合架构
3.1 服务器虚拟化需求
自动化码头的服务器虚拟化要充分消除一台服务器运营应用模式的低效率,大多数服务器在这种模式下没有得到充分的利用。在服务器虚拟化技术的支持下,一台服务器可以作为多台虚拟机应用,每一台都能在Windows、Linux等不同的环境中运作。通过服务器虚拟化手段可提高资源的利用率,从而降低基础设施的运营成本。
3.2 网络虚拟化需求
首先,自动化码头超融合结构可以将各种使用者在同一网中进行不同使用;其次,在自动化码头生产网、办公网、视频网的网络交换上利用虚拟区域(VLAN)技术,区别于不同的业务网,从而达到隔离网络的存取;再次,在部署现代化港口数据中心上,不同的逻辑网络对安全策略的需求也不尽相同,可以将一个安全设备通过虚拟技术划分为多个逻辑的安全设备,使各逻辑的网络都能利用。
3.3 存储虚拟化需求
在存储的随机性能方面,分布式存储带来多节点并发和性能扩展,集中式存储性能和容量是瓶颈,分布式转型是大势所趋。对于自动化码头项目的基础建设,从长远考虑要选择更符合长期发展、具备技术前瞻性的技术架构。针对广州港常采用“小型机和共享存储”的传统单一存储架构问题,更优质地实现零停机等待、零数据丢失功能,通过存储虚拟化应用后能够保证系统的灵活性以及稳定性,保障业务连续性。以数据中心软件定义的分布式存储技术可利用软件作为介质,把服务器和存储架构构成一个存储资源的库,不仅确保了存储所需的性能,而且还通过硬件+软件的应用实现良好扩展。
4 超融合技术构建自动化码头
4.1 总体架构
从广州港南沙四期全自动化集装箱码头(简称南沙四期)业务持续运行以及自动化码头对系统可靠、安全、延时和可管理性的要求,广州港南沙四期服务器虚拟化平台设计采用软硬一体的超融合技术,项目配置了主、备两个数据中心[4]。每个数据中心分别部署一套多节点全闪存超融合系统实现服务器资源虚拟化,提供易扩展的计算资源和存储资源。每个集群配置一台单独的管理节点和一套大容量NAS 存储,实现管理和业务分离、备份和生产分离的标准工业架构。同时需将应用分别部署在两套超融上,形成应用层面的主备模式,一旦主机房发生不可恢复的灾难,应用层面可以迅速切换到备机房,从而满足性能、安全和可扩展性以及可管理的需要[5]。广州港南沙四期工程虚拟化平台的拓扑架构见图3。
图3 南沙四期工程虚拟化平台拓扑架构
4.2 服务器虚拟化
为了实现更高的资源利用率、减少系统管理的复杂度、加快对业务需求的响应速度,对数据中心而言,将应用和数据进行整合来提供高可靠、高可用的应用服务。根据南沙四期业务应用以及码头TOS系统运行环境的需求,需要相应虚拟化配置WINDOWS环境虚拟CPU(24个)、虚拟内存(56 G)及LINUX环境虚拟CPU(412个)、虚拟内存(1 768 G),结合厂家1个超融合结点所具备的物理资源可提供支持CPU(72个)、虚拟内存(384 G)的设备选型,计算出CPU计算所需的超融合服务器数量以及按照内存计算所需的超融合服务器数量均至少为5台,综合考虑环境应用,每个数据中心分别部署一套6节点全闪存超融合系统。相同VLan网段的业务VM间的数据通讯均可在本地完成数据交换,实现超低延时高速交换。南沙四期工程虚拟化资源见表2。
表2 南沙四期工程虚拟化资源
南沙四期配置的每个节点初始配置2颗18核处理器、384 G内存。在不增加节点的情况下,使用单条32 G内存可扩容至768 G,使用单条128 G内存可扩容至最大3 T内存。通过增加超融合节点或纯计算节点,纯计算节点支持4路服务器,可按需扩容集群计算资源至初始集群的8倍以上。每个集群由6个超融合节点组成,单集群总物理CPU12颗、216核处理器、单集群总内存2 304 G。
4.3 网络虚拟化
网络虚拟化是将网络设备实现存储虚拟化功能,南沙四期自动化码头根据码头的各类作业应用,如网络交换、路由工功能、负载均衡服务以及网络安全从物理网络上耦合分离,利用融合技术进行池化应用,从而实现网络连接服务高灵活性以及高分配性;通过全新的网络连接运维模式,能够安全稳定地解决传统硬件网络出现的管理和运维难题,可满足港口业务应用对网络快速、灵活自动化部署的需求[6]。
4.4 存储虚拟化
4.5 双活数据中心
南沙四期是将硬件资源集中起来,集中管理虚拟资源、业务资源和应用资源,并采取超融合虚拟化技术。该方法通过虚拟计算(Virtual Computing)、虚拟存储(Virtual Storage)、虚拟网络帮助企业客户建立安全、绿色、节能的云数据中心,通过统一的接口调度和管理这些虚拟资源,以减少经营成本,保证系统的安全可靠,采用双活数据中心可以实现业务的自动无缝切换,实现可靠的业务及数据访问和存储[7]。
4.6 数据库应用
南沙四期的TOS的数据库系统采用先进的Oracle数据库一体化系统(ODA)。从技术先进性上,ODA内部为X86架构,符合技术主流方向,且自身为集群架构,在性能、可靠性、可用性等方面都比第三方组件集成的架构有很大提升。除此之外,在数据运维上也有很大程度的简化,更适合自动化码头的业务场景。针对数据库应用方面,比起小型机数据库服务器匹配双活存储阵列架构,ODA一体机的使用实现了更好的性能优化、大大提高了存储性能,同时能够提供预定义模版。在生产和容灾站点应用上具备高可用RAC集群性能。
5 结论
1)超融合技术的重点是以虚拟化计算为核心,它将计算资源、网络资源、存储资源、服务器设备聚合在一起。广州港自动化码头建设的超融合架构的网络对信息化港口进行了崭新的设计、部署和应用。
2)整体而言,超融合架构在虚拟化和分布式存储不断发展的前提下,相对于传统架构在可扩展性和可维护性方面优势明显,同时也在一定程度上压缩了IT基础资源的整体成本,很好地推动了数据中心架构的分布式和软件定义转型。