油田企业高性能数据库云平台建设探索

2014-04-25何作峰青海油田公司档案信息管理部

中国信息化 2014年7期

文 | 何作峰青海油田公司档案信息管理部

建设背景

青海油田是我国最早开发的油田之一，是青海、西藏两省区重要的产油、供油基地。近年来，随着油田公司管理的进步及技术的不断发展，精细化生产管理，提升生产效率，提高效益，安全生产，绿色低碳，成为指导实际工作的目标。作为生产单位，油田总部及下属厂站的生产设计、建设、运维及管理的要求也不断提升。比如，近年来，厂站已经由传统的人工作业型单位，逐渐向自动化，智能化，联网化不断迈进，与此同时，总部及厂站客户的诸多困扰也随之而来，如系统各自拥有独立的硬件设备和软件，造成资源浪费，使用效率低下及管理困难。更进一步，由此带来的信息孤岛现象，系统数据共享困难，大量数据无法综合分析，对于总部与厂站各部门协同工作，实现管理系统与控制一体化造成了很大障碍，这必将对厂站实现其管理和效益目标造成影响。而作为总部，随着管理层对油田公司及各级单位业务掌控能力，管理能力要求的不断提升，对以往只管人事组织，不管生产细节，只管总量提升，不重效率提升的传统管理模式提出了新的要求。以上各项业务层面的需求，反映到信息化层面所对应的课题就是怎样对油田公司及下级生产单位的核心数据资产进行统一收集、统一管理管理、维护和深化综合利用。从外部同业情况来看, 随着“数字油田”等新的石化行业信息化理念被普遍接受，很多大型石油石化企业已经发展到了一切决策由信息系统先说话的地步，全面数字化已经成为各石油石化企业的重要战略举措之一。

综上所述，云计算平台作为解决上述问题挑战，实现未来油田竞争力全面提升的重要实现手段，已经成为大家的共识，云计算作为目前IT界最为热门的技术，以其超大规模、虚拟化、高可靠性、高通用性、按需服务、费用低廉的优势与特性为油田企业的IT基础设施建设提供了全新的思路。

由于企业的数据信息集中在“云”中，以数据整合为核心的数据云计算平台，是兼顾了实施速度，技术难度和价值体现的平衡选择，可以帮助青海油田迅速找到建设“抓手”，帮助青海油田满足“数据到信息，信息到知识，知识到智慧”的全面提升，实现速赢。

建设目标与需求分析

根据青海油田的需求情况，高性能云计算数据库平台建设主要实现以下业务目标：

1. 实现油田生产及主要管理系统数据整合，提高整体硬件利用率，实现统一管理，消除信息孤岛，实现数据共享，提升精细化管理，协同工作水平，为提升采收率等业务目标服务。

2. 消除或降低各种IT系统硬件和软件故障对业务应用运行的影响，提高生产系统的用户体验和满意度。

3. 满足公司I T建设的长远目标，提升IT系统在不断变化的业务需求面前的适应能力和快速任务构建能力，为数字化，智能化油田的建设打下坚实的技术基础。

据笔者所知，目前国际和国内的大多数石油企业都在筹划涉及自己的数据中心和云计算中心，以提高企业应对市场变化的竞争力，使企业具备敏捷的市场洞察力和适应能力。

基于上述业务目标，笔者通过研究认为高性能数据库云平台的需求具体表现在以下几点：高效的数据整合、处理能力及强大的存储能力；安全可靠的运行环境；便捷的维护管理；同时兼顾绿色节约建设理念，下面分别予以阐述。

1. 高效的数据处理和数据库整合能力

目前油田生产管理，后台管理财务等系统应用中对数据的访问存在不同的访问特点，既有不间断地数据采集业务，也有由用户发起的基于生产数据的大量计算分析汇总业务。而在传统三层架构或单纯服务器集群架构下，服务器的CPU即使满足计算要求，即使采用最好的服务器搭配最好的存储阵列，在大数据量的应用下，数据的读取、响应性能也很难得到提升，进行数据处理时，SAN光纤通道带宽等限制由于存储磁盘带宽限制或者存储网络端口限制，无法提供足够的输入输出带宽吞吐量或传输速率，存储到服务器主机的瓶颈问题凸显，最终导致计算分析结果响应时间非常慢。数据库平台的数据处理效率提升需要利用软硬件相结合，主机、存储以及存储网络相结合的一体化云计算解决方案，能够有效突破传统架构下的吞吐量及传输瓶颈，针对不同业务系统的数据处理要求，满足系统性能要求。

2. 弹性的扩展能力

目前的生产，管理应用数据库中，任何局部的改动，都将影响所有应用，显然这种牵一发而动全身的系统架构对于系统的运维管理和扩展性都有着非常不利的影响。提高数据库平台系统的扩展性，并适应未来业务规模和用户规模不断增长的挑战，是对系统可扩展性提出的要求。目前已经建立的生产系统，财务系统和OA等应用系统包括应用层和数据库层，通常，应用层的扩展性比较容易实现，而数据库层的扩展性受最初架构设计的影响非常大，好的数据库层设计能够在业务扩张和用户规模增长过程中，以较低的成本和风险对数据库进行扩容和升级。尤其是对于未来3-5年建设多个数据库，多表的访问、检索和查询井喷式增长的情况下，采用数据库云平台能够快速有效地搭建数据库，迅速支撑应用层的需求，从而满足业务系统的迅猛增长要求。

3. 强大的存储能力

数据库平台需要的存储应该具备海量容量和智能存储功能。数据处理和数值计算时，前提条件就是需要有足够的硬盘空间存储所需的非结构化数据和结构化数据，非结构化数据包括地质数据，测井曲线数据等，结构化数据则包括井属性数据、油水井生产日周月数据及历史数据等。随着生产实际需求和对准确性和实时性的要求越来越高，高性能数据库云平台需要更大程度上提高存储容量，且保证存储智能化，防止存储成为系统访问中的瓶颈。

4. 高可用运行环境

数据库平台需要运行在安全性极高的环境中，必须考虑各种可能的故障或灾难对系统持续运行的影响。该系统在数据库、存储、网络，以及备份、电源等各个方面均应该满足稳定型、可靠性需求。云环境需要能够提供完全的数据库访问和对于出现问题时无缝的平滑过渡，不间断的数据库操作。

5. 便捷的维护管理

基于自动和自助式的维护管理方式，数据库云平台需要具有利用简单直观的维护管理工具来管理整个计算系统的能力，不仅能监控整个系统的软硬件运行状态，而且还可提供故障预警功能，当出现故障点时（如温度异常、风扇停止转动等），可以及时提醒系统管理员进行处理，以避免或减少系统故障和由其引起的数据损失；此外，系统还需要提供多种联机技术支持，在对内存和存储进行自动管理的同时，还具有数据库性能自我诊断、自动纠错和自动调整优化的能力，以减轻系统维护人员的工作强度、降低整体维护成本。

6. 绿色节约建设

不仅是为了响应上级主管部门的号召，也是为了更好的在前期建设和后期运营过程中避免传统建设模式带来的总体投资成本高，实施时间长，占地面积大，制冷及电力消费巨大等弊病。数据库云平台的构建要兼顾省地，省电，快速的建设原则，并以此为指导选取相应的技术和产品。

数据库云平台参考架构

图1. 高性能数据库云平台整体系统架构图

笔者探讨构建的云计算平台是为了油田企业构建，属于企业私有云。从系统架构图上可以反映出，云计算平台方案重点在于数据库云化，原因在于：

1、企业内部数据最为关键，不能发生错误和丢失，对于高性能和高可用性要求更高，对服务品质（SLA）的要求也会不同，这就要求不同的基础架构提供支持，因此数据库整体的硬件配置往往会高于其他部分的硬件配置

2、数据库基础架构相对稳定，即便是随着工作负载的增加而弹性扩展，往往也是靠横向节点的增加和纵向硬件扩展同时实现。

3、数据库操作是I/O密集型，对于网络带宽要求的比较高。

4、数据库由于依靠数据文件存储数据，对存储的可靠性，可用性和容量要求更高。

5、应用往往和业务相关性强，特别是下属单位自用的应用，独立性强，进行云化集中困难很大；而数据库层面相对技术性强而业务性较弱，标准性高，组件化程度高，容易被我们的技术部门掌控，容易体现成果，易实现云化部署。

根据青海油田的需求特点，数据库云平台向上可以支撑未来应用层面深化云计算建设；向下，可以对下属各级单位的建设起到引领、示范作用，还能够很好的兼顾下级单位数据集中灾备需求。

图2. 数据库云平台逻辑架构图

数据库云计算平台整体技术架构包括十个部分，合并来说有九个主要模块：

1. 云基础平台：包括数据库服务器，网络，存储，操作系统等基础性组件。作为支撑上层其他模块的基础，需要考虑基础平台硬件的构建要符合几个原则：

a) “均衡性”，即其硬件设计各部分不能对数据库性能发挥产生任何硬的瓶颈，如网络带宽瓶颈，磁盘吞吐IO的瓶颈等；

b) “高性能”，构建后整体性能要保证很高，以便支撑未来多数据库云化整合的服务质量保证；

c) “高可靠性”，设计符合全冗余，保证安全可靠的生产运行，不出现单点；

d) “灵活扩展”，扩展方便，方式灵活保证未来云平台从小到大的建设演进方式，同时做到既有投资的有效保护，即可以支持硬件隔代混用能力和在线升级能力。

2. 数据库池：本模块是支撑多个上层应用的必要模块，现有环境中，这些信息是分别按照结构化数据使用关系数据库和非结构化数据使用文件系统环境存储保存。笔者认为，以目前技术水平，应该使用数据库作为结构化非结构化数据的统一存储平台，使用关系数据库的维护和管理策略管理所有信息。同时，本模块对并行计算模式，数据库处理优化应当重点支持。

3. 高可靠集群：通过集群模块，云平台不仅继承了服务器

冗余带来的高可用性，而且在软件层面强化了高可用性。同时，通过在服务器池中添加更多节点（横向扩展）或者在现有节点中添加更多CPU、内存或 I/O 卡等物理资源（纵向扩展），可以实现灵活性和可伸缩性，从而为计算资源的池化和动态分配提供支持。

4. 异构数据复制及转换：针对油田不同平台，不同数据库版本的整合提供可能性，主要完成数据复制及转换，实现以下功能：

a) 跨不同表结构的数据复制能力。为了满足各自业务的性能要求，生产数据库、专题数据库以及数据仓库在相同的业务实体在不同数据表上可能会采用不同的字段数量和字段属性。

b) 对异构平台的支持。未来可能会出现跨平台（包括可能出现的不同主机服务器和操作系统、不同的数据库及版本）的数据ETL需求。

5. 资源调度与存储优化：数据库云的资源调度与隔离主要分为三个级别：服务器级、数据库级与数据库内部级（或用户级）。三个级别并不是完全分割的，可以互相组合、相辅相成。而且要能够灵活调度资源，能够设定资源调度计划，使得计划在设定的时间自动发挥作用。例如，白天对生产管理系统分配更多资源以提升用户满意度；晚上对决策支持系统分配更多资源以提升吞吐量。能够进行资源调配的元素主要包括：CPU，存储I/O带宽，SQL并行执行，内存，磁盘存储。

6. 云安全：为满足数据库云安全的各项需求，在进行数据库云安全规划时应考虑以下能力：

a) 身份识别：保证信息只为合法用户访问。

b) 存取权限控制：防止非法用户进入系统及防止合法用户对系统资源的非法使用。

c) 审计追踪：必须制定并在系统中实现严格的访问控制机制和审计制度，包括物理层、网络层和应用层的访问控制和审计。

7. 海量数据分区：对未来几年可预见整合后的数据量增长，百GB，TB级，需要有分区模块进行管理和划分，在云计算平台，虽然存储介质和数据处理技术方面的配置已经可以很大程度上满足性能要求，但是为了进一步优化提升，需要提供对数据进行分区的技术，以改善大型应用系统的性能。

8. 数据压缩：出于未来云平台承载系统及相关数据量增长情况的判断，数据压缩将能够有效的节约存储空间，尽管存储成本已下降，但需要在线保留的数据量的激增仍使得存储成为IT 预算的最大因素之一。而实际情况也证明，对于油井生产数据有相当大的压缩可能性，从我们在其他同业客户的测试中我们看到，压缩比从几倍到几十倍都有可能。除此之外，压缩能够带来的另一个好处就是对性能提升有所帮助，可以想象，通过压缩使得单位时间内能够处理的数据增加几倍对性能的提升将有多大帮助。

9. 一体化综合管理系统：企业云环境应当是完整的、统一的、自动化的，需要统一管理工具完整覆盖整个生命周期，而不是通过多个单点工具进行维护管理。在一个云环境中，也需要有多种角色各司其职。一般地，包括最终使用者、自服务管理者、云管理者等三种角色。最终使用者提出资源申请；自服务管理者为最终使用者设计服务模版；云管理者设计整个数据库云架构。一旦云开始运营，监控和管理将成为重点。当前业界领先的是 “从应用到磁盘”监控模式，在单一面板中监控所有组件，并提供深入的、开箱即用能力。

通过调研，笔者认为以上参考架构中涉及的各个模块在技术上已经成熟，市场上也出现符合要求的产品，因此从实现的角度来讲，数据库云平台已经不再仅仅是纸面上的蓝图，而是可以转化为落地建设的项目。，当然，从实践角度而言，笔者认为和所有项目一样，数据库云平台建设项目也需要配合相关的集成和实施服务及运维服务。其原因在于，相对于传统产品和技术，新的产品和技术能够更好的降低集成实施难度，缩短项目建设实践，降低整体风险，但是服务永远是确保云平台顺利运行的润滑剂和重要保障。这一部分的探讨将在后续文章中讨论，此处不再累述。