油田设备文件系统数据存储的优化

康金兵 德州职业技术学院

油田设备文件系统数据存储的优化

康金兵 德州职业技术学院

Web油田智能网把所有关于文件系统名称空间的信息和状态的信息存储在系统的映像文件中，编辑日志文件会存储文件系统中所有的元数据的变化情况。文件系统映像和编辑日志都存储在智能网的本地文件系统上。智能网建设过程中，需要对数据库信息进行检索，确保数据库信息能够符合节点控制和文件管理的要求。对于Web油田智能网，错误恢复就是靠文件系统映像和编辑日志。一旦网络出现问题，它就会根据最近的文件系统映像和映像之后的所有日志重新建立整个文件目录，从而恢复智能网功能。

信息控制；设备；Web油田智能网；设计；存储

1 活动Web油田智能网在线设计

Web油田智能网把所有关于文件系统名称空间的信息和状态的信息存储在系统的映像文件中（文件系统映像是文件系统元数据的持久性检查点，包含文件系统中文件的复制等级、修改和访问时间、访问权限、数据块的大小以及组成文件的数据块，对于目录则存储它们的修改时间、权限和配额元数据），编辑日志文件会存储文件系统中所有的元数据的变化情况（文件系统客户端执行写操作，如新建文件或移动文件的时候，首先会被记录在编辑日志中，编辑日志会在每次写操作之后但尚未将成功代码返回给客户端时被刷新和同步）。文件系统映像和编辑日志都存储在智能网的本地文件系统上。

2 Web油田智能网空间日志设计

Web油田智能网会定期为名称空间建立检查点，它从活动的智能网上下载文件系统映像并编辑日志，然后在本地进行组合，之后再把新的文件系统映像上传到活动Web油田智能网上。

数据节点是基本的文件存储单元，是HDFS分布式文件系统中的工作者。数据节点的主要工作模式就是定期向Web油田智能网汇报其状况、等待并处理存储数据。它将数据块存储在本地文件系统中同时，周期性地发送数据块的报告给Web油田智能网，通常以Rack（机架）的形式组织，通过一个交换机将所有系统连接在一起。Hadoop的一个假设是：机架内部节点之间的数据传输速度比机架之间节点的传输速度快。

3 客户端分布式文件的应用程序

3.1 客户端应用程序设计

客户端代表用户通过与Web油田智能网和数据节点交互来访问整个文件系统。它以一个类库（包）的模式存在，并且在一个独立的进程中提供服务，为用户提供文件读写、目录操作等接口。当用户需要对HDFS进行文件读写的时候，只需要配置客户端相关的包就可以使用HDFS提供的服务了。

客户端提供一个类似POSIX（可移植操作系统界面）的文件系统接口，因此用户在编程时并不需要知道Web油田智能网和数据节点及其功能。客户端想把文件写到HDFS上，需要先将该文件缓存到本地的临时存储设备中，如果缓存的数据大于所需的HDFS数据块大小，创建文件的请求将发送给智能网。实际的I/O事务并没有经过Web油田智能网，只有表示数据节点和数据块的文件映射的元数据才经过该网络。

文件系统数据集群（Cluster）可以提高网络数据信息管理能力，在节点之间通过高性能网络（LAN或WAN）进行物理连接，这些计算机通过某种方式协同工作以完成共同的任务；同时文件数据集群系统可以为用户和应用程序提供统一的系统映像，可以使用户和应用程序与文件数据集群系统进行交互时，整个文件数据集群系统就像是一台高性能的计算机。

3.2 客户端数据节点检索

Web油田智能网建设过程中，需要对数据库信息进行检索，确保数据库信息能够符合节点控制和文件管理的要求。具体设计过程中需要拥有一台主服务器（action）完成对数据信息的统计与整理，同时需要若干个客户端和备份机（standby），此种模式通常被称为active/standby模式，可以实现数据信息之间的通信。

在文件系统模型优化的过程中，需要进行资源分配，让不同的机器设备运用不同结构的文件系统，通过双机互备模式，把设备资源和服务器结构结合在一起，实现故障的多方面处理，为故障检测和故障模型优化提供支持。在设备运行的过程中，可以提高文件系统的综合管理效率，实现文件系统的优化管理。

通过建立负载均衡文件系统数据集群，提高对资源的利用率，为资源数据信息优化创造良好的平台。在均衡文件处理中，需要对不同的服务节点设置不同的权限，确保文件能够符合数据集群控制处理的要求。在用户数据信息处理之间形成文件管理系统，在调用文件管理系统的文件时进行读写保护，确保文件系统能够均衡负载在不同的服务器上，提高服务器和文件系统的管理效率。

3.3 数据节点存储模式

将Web油田智能网的功能转化成数学语言就是：对于一个含有N个样本的样本空间，将其记为{X1,X2,…XN}，每一个样本X(t)有n个属性，并且每个样本属于一个分类yt，现在假定分类总数为2，也就是yt∈(0,1)，模型的目标就是要找一组超平面，尽可能多的将这两类样本分开。

在分布式环境中，随时都有可能发生机器失效的情况，HDFS的三个组成部分(Web油田智能网、数据节点和客户端)都有可能出现这种问题。通过智能网数据优化处理和节点设计，可以实现数据信息的传输和日志管理。

4 结语

对于Web油田智能网，错误恢复就是靠文件系统映像和编辑日志。在该网络上，所有对文件和目录操作的关键步骤都会被写入日志（具体的文件内容处在哪个数据服务器上的信息是不会被写入日志的，因为这些信息是动态建立的）。另外，网络会在某个时刻将当下的文件目录完整的序列化到本地，称为文件系统映像。一旦网络出现问题，它就会根据最近的文件系统映像和映像之后的所有日志重新建立整个文件目录，从而恢复智能网功能。此时，数据节点会获得新的Web油田智能网的信息并向该网络发送消息。

（栏目主持关梅君）

10.3969/j.issn.1006-6896.2014.5.043