GPFS在省级通信系统中的应用

叶雅泉



GPFS在省级通信系统中的应用

叶雅泉

新疆气象信息中心，新疆 乌鲁木齐 830002

GPFS并行文件用于气象通信系统后，可极大地提高群集系统传输效率和速度，满足地面气象观测中海量数据运算系统的大吞吐量、存储容量和较高的可靠性要求。基于此，主要介绍了GPFS优势和在国家中心和省级中心放入部署情况，并认为应用GPFS并行文件系统后极大地提高了数据处理效率。

GPFS并行文件；部署；应用

1 GPFS文件系统的优势

GPFS文件系统结合Linux群集使用时，可明显表现出其优势：

（1）系统性能得到提高。GPFS允许在同一nodeset内的多进程或应用使用标准文件系统调用，并同时访问同一个文件。可将nodeset内读写操作分布在多个磁盘上，这样就极大地增加了文件系统的带宽，而且通过整个系统的负载均衡可以避免某个磁盘出现过大的读写。

（2）数据一致性。GPFS能利用一套复杂的信令管理机制提供数据一致性，并允许任意节点通过各自独立的路径到达同一个文件，即使节点出现异常无法正常工作，GPFS也可找到其他路径到达文件。[1]

（3）数据安全性。GPFS属于日志文件系统，可为不同节点建立各自独立的日志，日志中记录了metadate的分布，如果出现了节点故障问题，日志可帮助其快速地恢复数据，确保数据的安全性。GPFS fail-over功能通过规划后能将数据分布到不同failure group内，实现其较高的可用性，并降低单点故障的影响。GPFS还可在多个failure group内对每个数据实例作备份。这样，即使在创建文件系统时，没有要求复制，GPFS也会自动在不同failure group内复制恢复日志。

（4）系统可扩展性。通过GPFS可以对系统资源作动态调整，在文件系统挂载情况下添加或删除硬盘。有系统处于相对空闲时，用户可重新对已配置的硬盘进行文件系统均衡分配，从而提高系统吞吐量，添加新节点不需要重新启动GPFS服务。

（5）管理简单。GPFS可以自动在同一个nodeset内各个节点之间同步配置文件和文件系统信息，对GPFS的管理可以在任一个节点上进行。

2 GPFS 文件系统部署情况

2.1 国家中心部署情况

国家中心核心区和Internet区各配置一套版本为3.3的GPFS。在核心区提供应用支撑与共享服务器组、监控与内网FTP服务器组、数据处理服务器组和存储管理服务器组对高性能磁盘阵列和大容量磁盘阵列的并行文件访问。Internet区GPFS集群提供Internet共享服务器组对Internet区磁盘阵列的并行文件访问。GPFS分成两个集群，其中所有的IBM SystemP 刀片组成一个高性能计算集群，共21个节点；其他节点（包括P520/550主机和联想PC Server）组成一个数据访问集群，共15个节点。在高性能计算集群中，NSD Server访问GPFS文件系统时，数据流在自身的光纤卡上；NSD Client访问GPFS文件系统时，数据流在IB网上。在数据访问集群中，除登录节点（mgmtsw）之外，所有节点访问GPFS文件系统时，数据流在自身的光纤卡上。在数据访问集群中，登录节点访问GPFS文件系统时，数据流在以太网络上。两个集群的控制数据流在以太网络上。所有的文件系统都在高性能计算集群上创建，数据访问集群通过GPFS的互信方式，远程挂载高性能计算集群所有的文件系统，且数据访问集群所有的文件系统都不是自动挂载文件系统。[2]

国家中心核心区GPFS集群共包含应用支撑与共享服务器8台服务器，监控和FTP服务器组4台服务器，数据处理服务器组21个刀片服务器和2个管理服务器，存储管理服务器组2台服务器，通过SAN网络连接到磁盘阵列。

2.2 省级中心部署情况

省中心核心区GPFS集群共包含应用支撑与共享服务器4台服务器，监控和FTP服务器组4台服务器，数据处理服务器组2服务器，存储管理服务器组2台服务器，通过以太网相连，作为GPFS通讯网络，通过SAN网络连接到磁盘阵列，所有服务器都连到SAN存储网络，可共享存储划分出的磁盘。

3 GPFS在省级通信系统中的应用

采用df-k命令可看到磁盘列表中每个节点都有一个相同的文件系统/gpfs，23个I/O节点直接与磁盘阵列相连，所有数据读写通过I/O节点并行完成，提高了数据的带宽及交互能力。对比NFS及GPFS文件系统环境下的通信运行状况，即在相同的节点下，运行相同的流程和数据，使用不同的并行文件系统得到的结果。使用NFS文件系统时，CPU运算效率较低，大多数时间都是CPU在等待数据I/O，但采用GPFS系统后，CPU运算效率提高，I/O占用CPU时间较少。可见将GPFS并行文件用于通信系统后，可极大的提高群集系统传输效率和速度，用于对I/O操作频繁的常规地面观测数据资料处理时，明显提升了I/O效率，而且稳定性增加，满足了地面气象观测中海量数据运算系统的大吞吐量、存储容量和较高的可靠性要求。

[1]田锐，田晏嘉.基于集中式I/O技术的两阶段I/O算法优化[J].内蒙古科技与经济，2009（20）：12.

[2]欧阳慎.GPFS在郑州铁路局信息系统中的应用[C]//郑州铁路局“十百千”人才培育助推工程论文集，2011.

The Application of GPFS in Provincial Communication System

Ye Yaquan

Xinjiang Meteorological Information Center，Xinjiang Urumchi 830002

GPFS parallel file for meteorological communication system,can greatly improve the cluster system transmission efficiency and speed,to meet the requirements of surface meteorological observation in massive data computing system throughput and storage capacity and higher reliability.This paper mainly introduces the advantages of GPFS and the deployment of the National Center and the provincial center,it is considered that the data processing efficiency is greatly improved after the application of GPFS parallel file system.

GPFS parallel file; deployment; application

P414.4

A

1009-6434(2016)6-0113-02

叶雅泉（1991—）男，汉族，安徽省合肥市人，本科学历，助理工程师，新疆气象信息中心，从事通信网络保障工作。