基于HP集群地震处理软件调优技术研究

付喜春，王景德，吴显凤，李雪岩，陈建宁

(东方地球物理公司大庆物探研究院 黑龙江 大庆 163357)

0 引 言

东方地球物理公司大庆物探研究院(以下简称大庆物探研究院)成立于1981年，是一家专门从事地球物理勘探数据处理、解释及地震地质综合研究于一体的生产科研机构，通过多年的技术积累，逐步形成了自己独特的地震资料处理、解释、高性能计算机技术系列。现有一套HP PC集群计算机用于地震资料处理，包括：128台计算节点(单节点双CPU、8核心)、12台I/O节点(单节点四CPU、16核心)和6台管理节点(单节点双CPU、8核心)，均采用AMD处理器平台，双精度浮点运算速度14.1万亿次/秒，通过1台Foundry RX16 10G交换机上联到Extreme BDX8 40G核心网络交换机,实现集群和节点之间网络互联。HP集群初始安装了法国CGG公司的GeoCluster地震处理软件。

大庆物探研究院另有一套IBM PC集群(512节点，单节点8核心，Intel处理器平台)，其中128节点安装了美国西方公司的Omega地震处理软件，在运行叠前时间偏移(简称PSTM)并行作业时，通过自主研发的“动态监控软件”[1]和“性能特征分析软件”，对PC集群进行性能监控和分析，发现并行运算节点在运行过程中，对系统CPU资源的使用存在明显的负载不均现象，表现在：每个节点的8个核心，同时只有3～6个核心的利用率大于70%，且随机变换，其它2～5个核心利用率均在10%以下。导致参与计算的各节点CPU的平均利用率只达到55%～60%左右，大大影响了集群和处理系统的运算效率。

1 HP集群地震处理系统集成方案设计

对Omega软件PSTM并行作业CPU资源利用率低问题以及PSTM模块的运行机制进行了认真细致的分析，发现Omega软件PSTM类型作业，对运算节点的内存延迟和内存带宽非常敏感，硬件依赖程度要求高。继而，又对不同计算机架构的各自特点进行了仔细的研究，发现了Intel和AMD处理器平台内存访问效率的差异：Intel处理器在访问内存数据时，必须经过北桥芯片，以“CPU→北桥芯片→DIMM→北桥芯片→CPU”的方式完成一个周期的数据传输；而AMD处理器的特点是将内存控制器集成，访问内存数据就简化成了“CPU→DIMM→CPU”的传输方式，有效降低了数据访问延迟时间，提高了数据传输效率，提高了CPU与内存之间的传输带宽[2]。因此，我们选择在HP集群集成安装Omega处理软件，运行同一PSTM作业进行测试，发现并行节点CPU利用率负载不均现象和之前GeoCluster软件在同一平台运行的作业相比有明显改变，每个并行节点的8个核心同时工作，平均利用率达到90%以上。

在经过反复的分析、论证、测试后，制订了HP集群集成移植安装Omega软件的技术方案，并把HP集群初始安装的128节点的GeoCluster许可移植安装在另一套IBM PC集群(Intel处理器平台)的128节点上，又能使和其他384节点IBM集群组成512节点GeoCluster处理软件统一集群应用，经过这一调整，在HP集群安装运行Omega软件后，大幅度提升了集群的CPU利用率和处理系统的运算效率，PSTM并行作业工作效率提高了30%以上。

2 HP集群网络优化升级

HP PC集群的I/O节点，在初始集成安装时，由于技术局限，配置了双千兆网络接口卡绑定。在进行地震处理生产过程中，对I/O节点进行了精细化监控，发现常常会出现网络瓶颈和数据交换瓶颈，从而影响了HP集群的整体性能[3]。对此制订了HP集群I/O节点网络优化升级方案，将10台I/O节点的网络接口卡从千兆升级到万兆，网络连接从Foundry RX16 10G交换机升级到Extreme BDX8 40G交换机。

2.1 HP集群网络优化升级技术方案

主要技术方案如下(以3# I/O节点为例)[4]:

1)在3# I/O节点上安装万兆网接口板；

2)连接3# I/O节点到Extreme BDX8交换机；

3)检查3# I/O节点内核版本，驱动版本等安装环境信息；

4)安装源代码RPM程序包；

5)生成二进制RPM程序包；

6)在3# I/O节点卸载当前系统老版本的网卡驱动程序；

7)在3# I/O节点的系统内核中删除老版本驱动程序；

8)安装新网卡驱动RPM程序包；

9)配置万兆网接口板IP地址，确认网络连接正常。

2.2 操作系统下I/O节点性能对比

在操作系统环境下，对HP集群I/O节点网络调优前后的性能[5]，通过dd命令进行读写对比测试。测试结果见表1。

表1 操作系统下I/O节点网络调优前后读写性能对比测试表

测试环境：HP集群的2台I/O节点(其中:3# I/O节点是万兆连接到Extreme BDX8交换机、4# I/O节点是千兆连接到RX16交换机)，同时写9个40 GB的文件到9个云存的文件系统中。

测试命令[6]：#time dd if=/dev/zero of=/csdata*/file* bs=1024k count=40960

通过测试，在操作系统下，I/O节点在网络调优前后进行数据读写的性能对比，性能提高了109.3%。

2.3 应用软件下I/O节点性能对比

在HP集群I/O节点运行Omega地震作业进行读写性能对比测试，测试结果见表2。

测试环境：HP集群的2台I/O节点(其中:3# I/O节点是万兆连接到Extreme BDX8交换机、4# I/O节点是千兆连接到RX16交换机)，同时各运行8个读写数据的作业进行测试，其中读数据在/csdata01文件系统，写数据在/csdata06文件系统。

表2 应用软件下I/O节点网络调优前后作业性能对比测试表

通过测试，在应用软件下，I/O节点在网络调优前后进行作业读写的性能对比，性能提高了31.8%。

3 HP集群运算性能调优

HP PC集群，是目前大庆物探研究院处理生产的主要设备，共有128台计算节点运行Omega软件，这些计算节点不仅运行批量(并行)作业，同时还要运行交互(单节点)作业。在实际生产中，由于处理任务集中，工期紧张，处理用户竞争使用有限的计算节点资源，导致常规作业与偏移作业重叠占用计算节点，偏移作业被挤掉的现象时有发生，使得并行作业的运行效率明显降低。而I/O节点在HP集群中通常只用于存储管理、文件系统挂载服务和运行交互作业，资源相对闲置[7]。经过认真研究和仔细论证，将这些I/O节点进行优化配置和程序开发，使I/O节点既能运行交互作业，又能独立运行偏移并行作业，还可以与其他计算节点混合参与偏移运算，缓解了集群资源紧张的问题[8]。

3.1 主要解决方案

3.1.1 在I/O 节点上安装omega应用软件

1)开发/etc/security/limited.conf脚本程序文件；

2)创建omega日志目录；

3)配置omega运行环境并启动相关进程和服务。

3.1.2 配置OCI并行队列

在管理节点上，编辑优化两个系统配置文件，使用1# I/O节点作为新加队列oci_time8的主节点，2# I/O -10# I/O节点作为子节点。

1)编辑JSS_HOST_CONFIG文件；

2)编辑JSS_PARALLEL_CONFIG文件。

3.1.3 优化配置I/O节点作为OCI时间偏移作业的子节点

编辑JSS_PARALLEL_CONFIG文件。

3.1.4 针对HP集群Omega应用软件最耗系统机时的OCI类型作业进行系统优化

1)每个主节点同时运行两个OCI并行作业 在Omega应用软件的OCI并行作业中，主节点的主要功能包括：给子节点分配任务、监控子节点状态、定时回收运算数据等，因此负载较轻。通过系统优化和配置，使每个主节点可以同时运行两个OCI并行作业，在并行作业较多的情况下，提高了工作效率[9]。

2)每个子节点同时运行两个并行作业 通过系统配置，使每个子节点可以同时运行两个并行作业。当节点资源紧张时，可以同时运行测试线或者目标线时间偏移等占用系统资源较少的作业，提高了节点资源的利用率。

3) OCI作业参数调优 Omega应用软件OCI作业的内存参数，缺省为1 024 MB。由于HP128集群的每个计算节点配置了16 GB的内存，通过测试，将该参数调整为2 048 MB，可以充分发挥节点的系统资源，提高作业的运行效率[10]。

3.2 HP集群性能调优应用效果

通过HP集群I/O节点应用性能开发技术研究，运行Omega作业的CPU数量由244个增加到284个，增加了16.4%；同时运行的并行作业数量从原来的6个，增加到14个，增加了133.3%。使得有限的硬件资源得到了充分的利用，大大提高了Omega地震资料处理软件的工作效率。

4 结 论

通过HP集群地震处理系统调优技术研究，包括：应用软件安装集成优化、并行队列配置调优、集群节点网络接口优化升级等技术，大大提高了集群工作效率和设备的利用率，HP集群整体运算效率提高30%以上，预计每年可以多完成200 km2以上的处理工作量，多创经济效益240万元以上，保证有限的计算机资源得到了充分的利用。集群系统调优技术可在石油、石化行业地震处理中心广泛推广，起到一定的指导和借鉴作用。