异地办公模式下的地震解释平台应用探索及实践

2024-01-02胡露露陈冠毅张全东

科技和产业 2023年23期

胡露露, 陈冠毅, 张亮, 李伟, 张全东, 胡琳

(中海石油(中国)有限公司湛江分公司, 广东湛江 524057)

因生产业务发展的需要,中海石油(中国)有限公司湛江分公司划分为湛江和海口两部分科研人员,存在异地办公的科研应用需求。经过实际情况的技术调研,异地办公面临着一些困难:①海口、湛江两地机房互联带宽低(仅622 mbps),导致数据传输及应用速度有限;②湛江分公司现存的硬件客户端配置较低,部分更为待报废机器,难以满足高强度数据处理能力的需求;③涉及多个部门(勘探开发部、南海西部石油研究院、工程技术作业中心等)的协同办公,如井位审查、工区资料质控、靶点及轨迹调整等科研业务,其应用需求复杂多样,单靠人工手动处理,过程烦琐且效率低,因此亟须开展应用资源的适配性管理技术研究,实现资源智能化管理。

针对上述问题,结合两地办公的硬件环境及科研软件应用需求,信息运维中心技术团队开展“硬件资源池虚拟化、远程图像压缩传输、资源负载均衡管理”三大技术攻关与实践,并建设和优化了科研图形云服务应用系统。通过该系统的应用,实现了图形资源(虚拟和物理)的整合、精细池化和动态访问,满足了低性能客户端对高性能图形资源的需求,实现了低带宽网络环境下对软硬件资源的高效共享与使用[1-2]。

图形云能够提供虚拟图形服务,主要基于GPU(图像处理器)共享、远程可视化资源负载均衡技术等核心技术。利用图形云能够以资源集中、云端共享的方式,面向地学专业应用和服务,建立更灵活和更易管理的企业私有云平台,既整合了现有IT资源,又有效节约了综合运营成本,为勘探开发科研生产提供了有力的支持,并快速适应公司业务的发展,尤其在海口、湛江两地办公方面,该技术的成功应用是异地办公模式下地震解释平台应用解决方案的关键。

1 硬件资源池虚拟化技术

硬件虚拟化是一种对计算机或操作系统的虚拟,对用户而言,虚拟化隐藏了真实的计算机硬件,表现出的是一个抽象计算平台。通过虚拟化技术可以将一台计算机虚拟为多台逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率[3-5]。虚拟化使用软件的方法重新定义划分硬件资源,可以实现硬件资源的动态分配、灵活调度、跨域共享,提高硬件资源利用率,满足科研工作中各项灵活多变的应用需求,具体来说虚拟化技术有以下优势:

1)集中化管理。管理员不需再具体处理每个工位上的主机,可远程完成所有日常操作,复制、快照等功能为日常管理维护提供了便捷的工具。

2)提高硬件利用率。应用虚拟化技术可以动态扩展调整来解决硬件资源“峰值”的问题,让一台物理机器上运行多个虚拟机以利用这额外的“闲时”容量,而不必增加大量的物理资源。虚拟化的隔离特性使得一台物理机可以运行多个重要应用,且之间不会相互影响,有效利用了物理资源,提高了硬件的利用率。

3)动态调整机器/资源配置。虚拟化把操作系统和应用程序与服务器硬件分离开来,增强了操作的灵活性。不用关闭及拆卸物理服务器,就可以为虚拟机增加或减少资源。

4)高可靠性。通过部署额外的功能和方案,带来具有透明负载均衡、动态迁移、快速复制等高可靠服务器应用环境,减少服务器或应用系统的停机时间,提高可靠性。

南海西部石油研究院地学平台数据中心现已在湛江建设,包括网络、存储和计算资源池等。为更好地满足两地科研应用的需求,综合以上虚拟化技术的优势,对这些硬件资源研究进行虚拟化配置,提高共享应用效率。

随着地球物理技术的不断发展,地震数据的大小随着精度的提高而逐渐增长,尤其是叠前技术的深化应用,使地震数据的大小成倍增加,而越来越大的数据就需要占用越来越多的计算资源来进行处理运算。对于Linux应用,为服务器配备高端的Nvidia专业图卡,实现多用户共享高性能GPU资源,以此进行三维可视化研究;配备大容量内存,确保可以流畅调用运行大数据体;配置万兆光纤网卡,可快速从数据库和存储中获取所需数据。对于Windows应用,使用VMware软件技术将图形服务器划分为多个Windows虚拟机,制定策略将一块物理显卡划分为多个虚拟显卡,将虚拟的显卡资源分配给各个Windows虚拟机,一台服务器资源可同时为多个用户提供多个科研软件使用。通过整合计算资源,分别建立Linux和Windows应用的计算资源池,统一数据、软件目录,通过NFS(网络文件系统)输出,可跨系统在统一环境中进行科研应用。

2 远程图像压缩传输技术

工作站集群系统网络是高带宽的私有网络,在该网络中研究人员可以进行高效的数据交换和地学研究工作。对两地办公来说,专业软件远程应用是核心需求,勘探开发的应用软件大多都有三维可视化功能,因此必须要保证研究人员能够利用办公电脑和低带宽网络进行专业软件的远程三维可视化操作。如何在低带宽网络环境下展开地学研究,远程图像压缩传输技术是解决该问题的最佳方案。

伴随着信息技术的不断发展,VMware等虚拟化厂商,及斯伦贝谢、哈里伯顿等石油界业内知名的能源公司纷纷进行远程三维可视化技术研究,并且各自推出了独有的解决方案。目前图形远程传输技术主要有VMware Horizon、Citrix、DCV[6]、VirtualGL和RDP等。各家的方案都具备其独特的技术特点和优势,但是在地学科研工作中,还需要考虑应用软件的兼容性、三维可视化显示效率和共享高性能运算资源等多方面的需求。表1是三维可视化技术调研及测试的应用效果对比。

表1 三维可视化技术应用效果对比

结合以上需求,并针对LandMark、Petrel、Jason等专业地学软件和不同操作系统下的应用,研究制定了DCV和Horizon桌面云的远程三维解决方案。

DCV是一种高性能的远程显示协议,可为用户提供安全的方式,在各种网络条件下将远程桌面和应用程序流从任何云或数据中心传输到任何设备。远程运行图形密集型应用程序,并将其用户应用界面流式传输到更简单的客户端计算机上,从而无须昂贵高端的专用工作站。DCV作为Linux系统下的三维图像压缩和远程传输协议,业内使用广泛,兼容性好,带宽需求低,在国内外拥有大量成功的实施案例。结合研究院地学软件的种类和各个三维可视化工具对软件的兼容性,兼顾带宽需求和应用平台,信息管理运维团队对运行在Linux环境下的软件选择NICE DCV的云桌面方案。

VMware Horizon技术拥有图卡虚拟化、服务器虚拟化、桌面虚拟化和三维图像压缩传输协议的整套方案,且带宽占用低,整体兼容性强。VMware Horizon桌面云技术采用PCoIP远程会话协议,办公电脑终端的研究人员能够利用高效的硬件加速3D图形,通过网络接入远程桌面进行Windows软件的应用。PCoIP设计为多编解码器,并引入PCoIP硬件加速器,同时根据可用带宽在编解码器、帧速率和图像质量之间动态选择,从而提供最佳的应用结果,并为整个系统带来最高的效率。PCoIP是Horizon实现图形远程三维可视化的关键,该协议虚拟化客户端及数据中心桌面的应用操作,完成输入输出、用户界面交互的远程连接操作。PCoIP协议的最大特点是将应用以图像的方式来进行压缩传输,只传输操作变化的部分,保证在低带宽环境下也能获得高效的图像应用。

结合研究院Windows地学软件的种类和各个三维可视化工具对软件的兼容性,兼顾带宽需求和应用平台,信息管理运维团队选择Horizon云桌面方案运行Windows系统下的地学软件。研究人员在不同地点工作时,共享应用集中统一的硬件资源,仍然接入相同的桌面环境,访问、读取数据和软件应用。这实现了一个集中化、高效的虚拟图形应用环境,快速高效地响应和管理科研工作的需求。

3 资源负载均衡管理技术

在两地办公环境中,研究人员面对的不再是固定的软硬件资源。如何充分利用有限的资源,提高硬件的利用率,又不会因为大量的并发应用给系统造成压力进而影响性能,这是系统管理人员的重点研究方向。为了实现硬件资源的最大化利用,需要进行负载均衡调度管理。负载均衡[6-9](load balancing)是一种计算机集群技术,用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载,将特定的业务(网络服务、网络流量等)分担给多台网络设备,以达到最优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的,保证了业务的高可靠性[10]。

科研云平台的资源负载均衡管理系统,主要通过对历史使用数据的分析,预测各用户使用不同软件对硬件资源的需求量,同时结合计算节点实时的资源监控进行节点剩余资源预测,进而通过负载均衡策略为新连接请求推荐最佳的负载节点。将负载(工作任务、访问请求)进行平衡、分摊到多个操作单元(服务器、组件)上进行执行,是解决高性能、单点故障(高可用)、扩展性(水平伸缩)的终极解决方案,实现系统资源整体的优化使用,提高资源利用率,提升软件的应用体验。

负载均衡服务器在决定将请求转发到具体哪台真实服务器的时候,是通过负载均衡算法来实现的。负载均衡算法是一个负载均衡服务器的核心,可以分为静态负载均衡算法和动态负载均衡两种算法。静态负载均衡算法以固定的概率分配任务,不考虑服务器的状态信息;动态负载均衡算法以服务器的实时负载状态信息来决定任务的分配。

综合以上调研分析,设计制定负载均衡总流程,如图1所示,按照数据需求和处理方式的不同,可以分为4部分。

图1 负载均衡管理技术设计流程

第1部分:不同地学软件应用的资源需求量预测模块。收集并管理不同地学软件占用硬件资源的历史时序数据,通过离线分析计算,预测各研究人员下次使用不同地学软件时所需要的硬件资源量,形成预测数据集并保存。

第2部分:根据计算节点的资源监控,获取各节点的当前使用用户及当前使用的地学软件,并从预测数据集中读取各用户本次的资源需求量的预测结果。

第3部分:接收用户请求数据,获取用户及用户申请使用的地学软件信息,并从预测数据集中读取该用户的资源需求量预测结果。

第4部分:进行需求匹配。根据地学软件应用申请的资源需求量和各节点资源剩余预测结果,按照负载策略为申请用户推荐最佳的计算节点。

负载均衡策略对于判断各项指标参数的准确性非常重要,通过监控获取服务器的CPU、内存和磁盘IO(输入、输出)等指标参数的实时信息,从而根据策略相关参数来计算资源负载再进行应用的分配。因此需要结合不同软件的应用特点和需求,设置相应的负载均衡策略,从而最大化利用硬件资源并提升软件应用效率。

4 科研云平台建设

通过异地办公相关技术的研究应用,研发建设科研云平台,集成统一的软件资源、存储资源、计算资源和网络资源。科研云平台兼顾地学专业软件应用和统一管理的需求,系统采用模块化设计,架构分为5个部分。

存储资源:存储资源层整合各类关系型数据库、非关系型数据库、结构化数据以及非结构化数据等,并对这些数据信息本身进行归档,提供快速查询的底层接口,并保证数据的完整性、可靠性、安全性。

计算资源:以资源的高可用性和高利用率为中心的设计原则,依据服务器集中规划与管控要求以及当前的IT技术条件,对平台的服务器进行分层化的统一规划和配置设计,建立统一的计算资源池。同时建设资源管理和调度平台,对计算资源池进行统一调度与配置,实现资源的按需、动态分配。

应用资源:通过平台整合各类专业软件,并进行发布、回收、监控、管理等。

基础平台:提供系统所需要的一系列通用基础服务及接口组件,以支持平台运行及功能实现。

系统门户:是最终面对客户的接口,系统以web方式提供各种业务功能供用户使用。针对用户需求,进行模块化设计,便于增删及未来系统的功能扩展。

各子系统间分工协作并实时信息交互,以此支撑科研工作中业务、功能、管理等多方面的需求。科研云平台由资源池和云发布管理平台组成,根据服务器的硬件配置特点和软件应用对计算资源的需求,云平台中服务器划分为多个类型的资源池,其中Windows资源池由Windows虚拟机组成,使用VMware技术将配有Nvidia A40显卡的图形服务器虚拟化为多个Windows虚拟机,且每个虚拟机都配有一块虚拟显卡,实现一台服务器资源同时为多个用户提供多个科研软件使用。而Linux资源池,由物理服务器组成。为每台图形服务器配备高端的Nvidia专业图卡,如Nvidia A40、Nvidia RTX A5000和Nvidia RTX A6000,依托于Linux系统多用户功能,实现多用户共享高性能GPU资源,以此进行地震解释研究。云发布管理平台结合软件应用需求,利用负载均衡算法给研究人员分配相应计算资源池,并建立地学私有云专用网络连接,为科研软件应用提供服务。Windows系统下的地学软件选择Horizon云桌面方案,Linux环境下的软件选择NICE DCV的云桌面方案,保障整个云平台的正常运行。

5 应用效果

在科研云平台中,地学工区数据的运算在服务器端进行,用户终端只显示计算后的图像结果。云桌面实现了计算资源池和用户终端的信息交互,各地学软件的工区数据在云平台计算资源池内生成图像结果,经压缩处理技术后在低带宽条件下经网络将图像传输到用户终端,客户端上键盘和鼠标的操作也通过云桌面传输到计算资源池并进行响应。

科研云平台围绕地学各专业科研软件进行集成开发,建立统一的软件系统、用户系统和文件系统,创新实现跨平台地学软件的集成应用,形成一体化协同研究的工作环境,解决了不同软件在不同机器、不同操作系统、不同用户环境下使用的难题。研究人员在统一的应用环境下,可同时使用软件资源池中所有的专业应用软件。科研云平台改变了勘探开发研究的模式,研究人员不再单一依赖于高性能工作站进行工作,也无须切换不同工作站来应用不同操作系统下的软件。研究人员无须关心自己所用的客户端配置,平台可结合实际应用需求的负载均衡策略,智能为软件应用分配最优的硬件计算资源,在异地办公模式下通过普通PC电脑和低带宽网络,就可以跨平台集成应用不同的软件资源、数据资源,进行高性能计算、地震解释、储层预测等多种地学研究工作。

经过各研究室的应用,用户反馈效果良好。借助科研云平台,用户可以在湛江和海口两地通过个人PC机就能流畅地使用Petrel,获得与使用高性能工作站同样的应用效果。通过VMware Horizon技术,科研云平台与本地工作站Petrel软件二维地震剖面、三维地震体应用相对比,科研云平台远程传输图像的成像效果清晰,与本地工作站显示相比无明显差异,应用效果良好。

LandMark-DSG地震解释软件在科研云平台上也运行正常,没有出现数据传输错误和软件突然崩溃等问题。在应用过程中,NICE云桌面虚拟化(DCV)应用的灵活程度基本等同于工作站。科研云平台Linux资源池由服务器和工作站集群组成,以相同配置为基础,对科研云平台和工作站上DSG软件一些应用响应时间进行了对比(表2),科研云平台与工作站响应时间基本相同,应用效果良好,可以支持科研人员正常开展各项研究工作。根据工作站和科研云平台下DSG软件二维地震剖面显示图对比可见在科研云平台上DSG远程传输成像效果清晰、色彩还原正常,与本地工作站显示效果相比无明显差异。