基于InfiniBand的油藏数值模拟集群的建设与应用

2017-04-25李志刚韩庆时

网络安全技术与应用 2017年4期

关键词：刀片高性能油藏

◆李志刚韩庆时

(中海油研究总院信息数据中心北京 100028)

基于InfiniBand的油藏数值模拟集群的建设与应用

◆李志刚韩庆时

(中海油研究总院信息数据中心北京 100028)

为解决油田数值模拟并行计算性能低问题，分析了并行计算集群基础架构中对数值模拟计算速度的影响因素，对基于InfiniBand交换机和千兆以太网的并行机的计算性能进行了实例测试，根据测试结果，证明对于石油勘探开发过程中油藏模拟应用的科学计算的环境，构建具有高速互连网络的并行集群是计算效率最高的方案。

高性能集群（HPC Cluster）；油田数值模拟；InfiniBand ；刀片服务器

0 引言

近年来，随着计算机硬件和软件技术的发展，油藏数值模拟技术也不断地发展和提高，Eclipse软件被广泛应用于各大油田的数值模拟中，包括黑油、组分和流线等三个数值模拟器，是油田开发不可或缺的软件之一。精细油藏数值模拟是利用计算机模拟地下流体流动的规律，探讨地下剩余油分布，更准确地调整井的定位、更好地进行井产量分配[1]。非均质油藏的精确描述，取决于模型网格数量和模型复杂度，网格数目越多，模拟出的结果越精细。计算量与复杂度成正比，与网格数成倍数关系，网格数目越多计算的时间会越长,这对高性能计算提出了更高的要求[2]。有效解决方法之一是使用价格昂贵的高性能并行机。在油田投入有限的前提下，李波、曹福毅、王祥凤等认为通过整合多台网络计算机而提升计算能力，性价比较高，已经逐渐成为主流方式[3]。

随着基于X86架构的刀片服务器性能的提高和价格的降低，以及InfiniBand 互联技术的不断成熟，构建具有高速互连网络的高性能集群是目前性价比最高的解决方案。通过对油气矿藏模拟的ECLIPSE Parallel解决方案进行分析研究，基于不同网络环境的刀片集群系统的并行效率，分析和对比两种架构的运行效果，提出了比较适合Eclipse数值模拟并行计算的高性能集群解决方案，实现总体架构的合理性和资源利用的高效性，确保高性能集群能够发挥更大的效益。

1 刀片式集群并行系统建设

1.1 总体架构

高性能计算集群建设必须具备两个条件，一保证其强大的计算能力，多个CPU的并行计算。二计算节点之间的消息传递与数据交换对网络传输具有极高的要求。硬件设备IBM HS22的问世为油藏模拟建造高性能计算集群系统带来契机,同时，Infiniband是一种高速互连网络标准，被广泛地用于大规模并行系统的互连网络设计[4]，其标准有效的解决了PCI等传统I/O结构产生的通信传输瓶颈[5]。通过infiniband网络技术在组建地震勘探高速网络中的应用,分析IB网络目前具有的诸多特点和组建地震勘探高效网络的优势,阐述IB网络前沿技术在地震勘探中的应用前景。InfiniBand作为高速连接技术,在高速计算机网络组建方面发挥了独特优势,同时也推动了高速网络技术的发展[6]。

应用软件Eclipse是基于Scali MPI的分布内存并行算法，它支持infiniband高速互联架构，能在共享内存架构服务器或集群服务器上运行，每个计算进程独享一段连续的内存空间，集群中的每台计算机内部可以是共享内存架构。面向油气矿藏模拟的ECLIPSE Parallel解决方案，能够全面满足油气矿藏勘探信息系统在性能方面的需求。Eclipse是通过调用Scali MPI进行并行运算的，并增加了算法复杂度调节控制，以尽可能真实地模拟实际应用。

该架构由5个核心部分组成：

（1）刀片仓：IBM BladeCenter H刀片机箱；

（2）计算节点：刀片服务器IBM HS22；

（3）网络：千兆以太网交换机，Voltaire 40Gb QDR Infiniband交换机；

（4）存储：NAS架构网络储存；

（5）操作系统及并行软件：RedHat Linux6.6、并行计算软件Eclipse。

刀片服务器是构成整个计算机系统架构的核心，多台 IBM HS22刀片计算机通过内部高速网络连成一个高性能计算集群系统，系统每个节点安装RedHat LINUX6.6操作系统、Eclipse并行软件，计算机资源管理、任务调度、性能监控、网络文件共享，由管理节点统一管理。

图1 集群系统架构模型

1.2 技术关键点

根据油藏模拟的应用需求，在节点的部署、高速互连网络，以及集群管理和通讯，三个方面做出如下配置：

（1）节点的部署：整个集群构成为管理节点-计算节点模式，管理节点是用户访问整个集群的门户，在管理节点上用户可以编辑程序，提交、取消和监控作业，计算节点主要承担并行计算任务。

（2）互联网络：网络是计算节点之间的数据交换基础，其性能直接影响了整个系统对高性能计算（HPC）的效率。油藏模拟数值计算任务是通信密集型的计算，InfiniBand技术的优势是由硬件承担了原来由CPU完成的许多I/O通信工作，因此，在处理并发的多路通信任务时没有通信协议所固有的额外开销，大大改善系统的带宽、延迟和可靠性等问题。

（3）作业管理：油气开发油藏数模专业应用采用Scali公司的基于Linux操作系统的集群管理软件，用户可以对集群每个节点计算机进行任务分配，采用数模并行作业管理软件，建立作业队列和作业调度控制，根据定义的集群调度策略，将用户提交作业进行排队，直到任务需要的资源（CPU数量，许可数量，内存大小等）满足条件才分配到合适的计算节点上运行，以实现在满足不同用户需求和最大化利用率之间达到一种动态平衡，合理调配资源。

2 数值模拟计算性能对比

2.1 系统性能测试-网络模式不同

针对相同的硬件计算节点，采用不同的网络模式，同一个油藏数值模拟作业的黑油模型网格数为125462个（16个CPU）进行模拟计算。计算环境包括刀片服务器、网络交换机、软件及操作系统：

表1 油田数模集群硬件配置表

计算模式一：千兆网络，ONEM1模型的并行计算情况作如下测试：

表1 计算节点之间采用千兆以太网络

计算模式二：Infiniband网络，ONEM1模型的并行计算情况作如下测试：

表3 计算节点之间采用Infiniband网络

图2 两种网络模式下作业完成时间对比

从作业完成时间曲线能够发现，同一个作业在分别选在2个节点时，耗时略有差距，从4个节点以后，Infiniband网络模式计算耗时明显少于TCP/IP网络，针对16个CPU的计算模型，infiniband集群优势明显。

2.2 系统性能测试-计算节点不同

传统单台并行机在某种程度实现多颗 CPU的并行计算，然而受到计算机架构设计的限制，只能满足一定数量CPU个数的并行计算作业的运算。集群模式在计算速度和扩展性方面突破传统并行机的限制。针对Eclipse油藏模型的数值计算速度进行分析，并行机（IBM P 575）与集群系统的运行时间对比：

表4 并行机与集群硬件指标配置表

图3 并行机与集群系统的并行计算对比

同IBM P575并行机相比，同一个模型在P575并行机上16个CPUs计算需要7122s,即119分钟约2小时，而在集群系统上16个CPUs计算2602s,即43分钟即可完成。可见计算速度提高了2倍。

然而，针对组分模型，集群模式针对同一个作业计算情况如何？

组分模型使用MPIE300模拟器在集群系统上的测试：

表5 组分模型在集群的计算表

图4 多CPU在集群耗时情况图

对于组分模型来说，8、16、32、64或更多的CPUs作并行计算的时间受很多因素影响，比如网格数、层数、加入生产井、热采、化学驱、混相驱等数值模拟。从测试结果分析，计算节点不是越多计算越快，至于使用多少个CPUs计算合适，要根据实际的情况而定。并行作业的花费时间=计算时间+进程之间的通信时间之和，进程越多（作业的CPU越多）通信的时间就越多，如64个进程，通信时间肯定多，通信多，也会影响到其它的作业的通信，数模计算消耗时间就会增加，反而会影响作业完成时间。