基于Open Stack的石化企业私有云建设实践
2020-08-03莫涛
莫涛
摘 要 OpenStack项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。本文结合广州石化公司私有云建设的实际案例,阐述了如何通过华为OpenStack私有云软件,建设企业私有云系统,提升企业IT基础设施水平。
关键词 云计算;私有云;OpenStack
引言
近年,随着科学技术的迅速发展,人类开始进入大数据时代,云计算、大数据、移动互联网已成为时代三大主题,正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面,呈现出海量数据特征,在海量数据中蕴含着人类各种行为、心理信息,如认真挖掘加以科学分析利用,将对创造思维、创新模式、产品个性化及管理决策等都具有极高的社会价值。如何有效应用大数据、云计算等新信息技术,创造价值和财富,创造未来,是我们面临的巨大机遇和挑战。
云计算并不只是虚拟化,实际是由虚拟化引出的所谓“软件定义的数据中心”。它不仅包括网络的虚拟化、计算的虚拟化和存储的虚拟化,还对传统数据中心的运维、管理,甚至硬件的选型都产生了深远的影响。
1OpenStack私有云技术
1.1 云计算
(1)云计算的概念
云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒钟)完成对数以万计的数据的处理,从而达到强大的网络服务。
(2)云计算的特点
云计算的可贵之处在于高灵活性、可扩展性和高性比等,与传统的网络应用模式相比,其具有如下优势与特点:
1)虚拟化技术
必须强调的是,虚拟化突破了时间、空间的界限,是云计算最为显著的特点,虚拟化技术包括应用虚拟和资源虚拟两种。众所周知,物理平台与应用部署的环境在空间上是没有任何联系的,正是通过虚拟平台对相应终端操作完成数据备份、迁移和扩展等。
2)动态可扩展
云计算具有高效的运算能力,在原有服务器基础上增加云计算功能能够使计算速度迅速提高,最终实现动态扩展虚拟化的层次达到对应用进行扩展的目的。
3)按需部署
计算机包含了许多应用、程序软件等,不同的应用对应的数据资源库不同,所以用户运行不同的应用需要较强的计算能力对资源进行部署,而云计算平台能够根据用户的需求快速配备计算能力及资源。
4)灵活性高
目前市场上大多数IT资源、软、硬件都支持虚拟化,比如存储网络、操作系统和开发软、硬件等。虛拟化要素统一放在云系统资源虚拟池当中进行管理,可见云计算的兼容性非常强,不仅可以兼容低配置机器、不同厂商的硬件产品,还能够外设获得更高性能计算。
5)可靠性高
倘若服务器故障也不影响计算与应用的正常运行。因为单点服务器出现故障可以通过虚拟化技术将分布在不同物理服务器上面的应用进行恢复或利用动态扩展功能部署新的服务器进行计算。
(3)云计算的类型
按照类型来分,云计算可以分为:公有云、私有云和混合云。
1)公有云
公有云是部署云计算最常见的方式。公有云资源(如服务器和存储空间)由第三方云服务提供商拥有和运营,这些资源通过 Internet 提供。在公有云中,所有硬件、软件和其他支持性基础结构均为云提供商所拥有和管理。在公有云中,你与其他组织或云“租户”共享相同的硬件、存储和网络设备。
2)私有云
私有云由专供一个企业或组织使用的云计算资源构成。私有云可在物理上位于组织的现场数据中心,也可由第三方服务提供商托管。但是,在私有云中,服务和基础结构始终在私有网络上进行维护,硬件和软件专供组织使用。这样,私有云可使组织更加方便地自定义资源,从而满足特定的 IT 需求。
3)混合云
混合云通常被认为是“两全其美”,它将本地基础架构或私有云与公有云相结合,组织可利用这两者的优势。例如行云管家混合云管理平台,不仅支持业界主流公有云厂商,例如:阿里云、腾讯云、华为云、百度云等,还能够将企业内部私有云(如:openstack)接入到云端,轻松完成混合云管理。在混合云中,数据和应用程序可在私有云和公有云之间移动,从而可提供更大灵活性和更多部署选项。
1.2 私有云
私有云计算(Private Clouds)是指企业可以完全控制的云计算方式,例如云存储的存储资源的访问可以完全有企业控制,而不是哪一个云计算服务提供商。私有云的另外一种概念是由云计算提供商提供强的隔离性,将用户构建的集群以及数据中心作为一个云服务的独立和隔离的子集,成为一个用户私有的子云。
和公有云相比,私有云有以下优势:
(1)能对数据的安全性提供有效控制
私有云是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所,这正是私有云在安全方面的优势。
(2)提供更高的服务质量
因为私有云一般在防火墙之后,而不是在某一个遥远的数据中心中,所以当公司员工访问那些基于私有云的应用时,它的SLA应该会非常稳定,不会受到网络不稳定的影响,比如亚马孙提供的服务断网以后,有几万名的客户受到了影响。
(3)充分利用现有硬件资源和软件资源
每个公司,特别大公司都会有很多本地化的应用,而且本地化应用大多都是其核心应用。虽然公有云的技术很先进,但却对本地化的应用支持不好,因为很多都是用静态语言编写的,而现有的公有云对这些语言支持很一般。但私有云在这方面就不错,比如微软推出的Azure,通过Azure,能非常方便地构建基于.Net、Java、PHP、Ruby的私有云。而且一些私用云的工具能够利用企业现有的硬件资源来构建云,这样将极大降低企业的成本。
(4)部署方式灵活
部署方式灵活可以从两个方面来体现,其一是:公司拥有基础设施,并可以控制在此基础设施上部署应用程序的方式;其二是:私有云可由公司自己的IT机构来进行构建,也可由云提供商进行构建。
1.3 OpenStack技术概念
OpenStack是一个开源的云计算管理平台项目,是一系列软件开源项目的组合。由NASA(美国国家航空航天局)和Rackspace合作研发并发起,以Apache许可证(Apache软件基金会发布的一个自由软件许可证)授权的开源代码项目。
OpenStack为私有云和公有云提供可扩展的弹性的云计算服务。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。
Openstack是一个云平台管理的项目,它不是一个软件,覆盖了网络、虚拟化、操作系统、服务器等各个方面。下面列出了10个核心项目(即OpenStack服务)。
(1)计算(Compute):Nova。一套控制器,用于为单个用户或使用群组管理虚拟机实例的整个生命周期,根据用户需求来提供虚拟服务。
(2)对象存储(Object Storage):Swift。一套用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统,允许进行存储或者检索文件。可为Glance提供镜像存储,为Cinder提供卷备份服务。
(3)镜像服务(Image Service):Glance。一套虚拟机镜像查找及检索系统,支持多种虚拟机镜像格式(AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK),有创建上传镜像、删除镜像、编辑镜像基本信息的功能。
(4)身份服务(Identity Service):Keystone。为OpenStack其他服务提供身份验证、服务规则和服务令牌的功能,管理Domains、Projects、Users、Groups、Roles。
(5)网络&地址管理(Network):Neutron。提供云计算的网络虚拟化技术,为OpenStack其他服务提供网络连接服务。为用户提供接口,可以定义Network、Subnet、Router,配置DHCP、DNS、负载均衡、L3服务,网络支持GRE、VLAN。插件架构支持许多主流的网络厂家和技术,如OpenvSwitch。自Folsom版本集成到项目中。
(6)块存储 (Block Storage):Cinder。为运行实例提供稳定的数据块存储服务,它的插件驱动架构有利于块设备的创建和管理,如创建卷、删除卷,在实例上挂载和卸载卷。
(7)UI 界面 (Dashboard):Horizon。OpenStack中各种服务的Web管理门户,用于简化用户对服务的操作,例如:启动实例、分配IP地址、配置访问控制等。
(8)测量 (Metering):Ceilometer。像一个漏斗一样,能把OpenStack内部发生的几乎所有的事件都收集起来,然后为计费和监控以及其他服务提供数据支撑。
(9)部署编排 (Orchestration):Heat。提供了一种通过模板定义的协同部署方式,实现云基础设施软件运行环境(计算、存储和网络资源)的自动化部署。
(10)数据库服务(Database Service):Trove。为用户在OpenStack的环境提供可扩展和可靠的关系和非关系数据库引擎服务[1]。
2华为云Stack
2.1 华为云stack简介
华为云Stack解决方案中,采用FusionSphere OpenStack作为云平台,对各个物理数据中心资源进行整合;采用ManageOne作为数据中心管理软件,对多个数据中心提供统一管理。通过云平台和数据中心管理软件协同运作,达到多数据中心融合、提升企业整体IT效率的目的。并基于此,提供计算、存储、网络、安全、灾备、大数据和PaaS(平台即服务)等丰富的云服务。
华为云Stack是物理分散、逻辑统一、业务驱动、云管协同、业务感知的数据中心解决方案,可支持企业或机构业务的持续发展,能满足对业务全生命周期的管理。
2.2 华为云stack功能架构
华为云Stack整体架构从功能上划分为基础设施、资源池、云服务、公共组件、管理域和应用域。
(1)基础设施
基础设施包括构建数据中心所需的服务器、存储设备和网络设备。基础设施层可根据不同业务的需求,提供多种类型的硬件部署架构。
(2)资源池
资源池是基于物理基础设施构建的虚拟计算、虚拟存储和虚拟网络资源池。FusionSphere OpenStack提供对虚拟计算、虚拟存储和虚拟网络的资源池化和管理能力,并提供资源池管理能力:包括:虚拟化池、裸金属服务器池、块存储池、文件存储池、网络资源池等。
(3)管理域
管理域由ManageOne提供對多个云数据中心的统一管理调度能力:
1)运营管理:ManageOne运营面提供对云服务的统一运营能力,提升运营操作的敏捷性,提升业务运营效率。
2)运维管理:ManageOne运维面提供对虚拟资源和物理资源的统一运维能力,提升运维操作效率。
(4)云服务
云服务统一管理多个数据中心资源池层提供的资源,各云服务和公共组件详情如:存储服务、网络服务、计算服务等。公共组件为云服务提供公共能力,例如提供统一的操作系统EulerOS[2]。
3广州石化华为私有云Stack的应用
广州石化建设园区运营管理统一的数字平台,平台向下通过物联网、ROMA实现所有子系统的接入管理,向上通过服务方式为应用提供数据与业务开放的访问接口,打造统一、开放、可灵活扩展的园区管理应用底座;进行园区业务数据治理,形成标准的数据主题库(人、车、物、事件等);业务上实现园区综合态势、综合安防、人员车辆管理、资产管理、能耗管理、环境空间及设备设施管理等智慧化应用。
其中三景系统、综合安防系统、华为ROMA平台、IOT物联网系统等都部署在华为私有云Stack上。
根据项目实际需求,最终确定华为私有云Stack的部署配置为:region类型为主Region;版本为华为云 Stack 6.5.1;解决方案场景为Type I;计算资源池规模为500VM 50PM(最多可支持500台虚拟机和50台物理服务器);虚拟化类型为KVM;管理节点硬件架构为X86;计算节点硬件架构为X86;业务网络类型为IPV4;管理节点网口类型为4网口(管理&存储、业务);计算节点网口类型为4网口(管理&存储、业务);管理存储类型为FusionStorage融合部署;业务存储类型为FusionStorage融合部署。
3.1 私有云主机资源池
广州石化华为私有云主机用途分为计算节点、控制节点和网络节点,计算节点主要负责运行虚拟机,使用过KVM作为底层的虚拟化技术,同时运行 Neutron 服务的 agent,为虚拟机提供网络支持。控制节点是用于管理OpenStack,其上运行的服务有 Keystone、Glance、Horizon 以及 Nova 和 Neutron 中管理相关的组件。网络节点其上运行的服务为 Neutron为 OpenStack 提供 L2 和 L3 网络。主要负责虚拟机的网络控制,包括DHCP、虚拟路由、公网访问虚拟机等。通过软件定义网络等方式控制虚拟机的网络,代替传统环境中所需要的交换机、路由器等。安装3台华为2288H V5服务器作为私有云控制节点,安装2台华为2288H V5服务器作为网络节点,安装9台华为2288H V5服务器作为计算节点。
3.2 私有云网络
云计算的网络一般分为两层,一层是传统物理网络,一层是通过软件定义的虚拟网络。云内所有的IT系统共享物理网络,通过虚拟网络来为每个IT系统创建出独立、隔离、私密的虚拟网络环境,这个独立的网络环境就是VPC。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性IP搭建业务系统。
在业务云化后,将一个业务平台划分到一个VPC内,这样在该业务平台的私有网络里就有了IT系统专用的交换机、防火墙、路由器、安全组、DHCP、负载均衡等网络设备。对于绝大多数的IT系统来说,建议在VPC内只设置一个二层网络(一个子网),通过安全组将不同用途的服务器组隔离,安全组安全策略建议采用白名单的方式进行放通,以加强业务网络内的安全。
广州石化私有云全新构建SDN(软件定义网络)网络由,2台BMC(服务器管理口)接入交换机、2台管理&存储接入交换机、2台综合&业务接入交换机、2台边界业务防火墙、2台核心交换机组成。
3.3 私有云存储
广州石化私有云使用FusionStorage智能分布式存储,提供块存储(Cinder)或对象存储(Swift)服务。通过融合部署存储资源,使用9个计算节点服务的本地NVMe PCIE硬盘,为虚拟化和私有云环境提供按需获取、弹性扩展的海量存储资源池,基于通用服务器大幅提升存储资源的部署、扩展和运维效率。
4基于OpenStack的私有云应用效果
4.1 私有云快速响应业务需求
首先,广州石化私有云建设达到高效运营,让业务运行更加流畅,应用更加弹性,在用户的数量和业务的需求发生变化时能够快速响应需求。华为云数据中心解决方案提供以业务为中心的VDC(虚拟数据中心)服务,匹配现有组织结构,通过不同的VDC逻辑隔离,保证二级部门高效的自主性。
4.2 可视化自动化统一管理平台
长期以来数据中心的运维管理需要投入大量的人力,但维护工作却又往往不能特别到位。华为云stack数据中心提供可视化自动化的统一管理平台,极大地提高了运维效率和质量。此外,受益于集中建设、资源利用率提高和简化运维,经过初步测算,公司的整体IT成本节省了30%。随着后期工作的进一步开展,这一指标有望继续提升。
4.3 端到端的安全保障
企业最大的担忧莫过于云安全。华为云stack数据中提供从用户侧、网络侧、数据侧及云平台侧端到端的安全保障,从而充分保证了整体架构、企业数据和业务本身的安全性。
4.4 融合开放的架构
华为FusionSphere云操作系统,基于OpenStack开放架构开发,整个系统专门为云设计和优化,提供强大的虚拟化功能和资源池管理、丰富的云基础服务组件和工具、开放的API接口等,广泛支持异构hypervisor和硬件設备接入,这符合广州石化一直关注的融合开放的要求,实现了保护原有投资和兼容未来发展的考量。
5结束语
毫无疑问,云计算是目前最不可阻挡的发展潮流,正在不断地改变传统IDC(Internet Data Center “互联网数据中心”)的结构,逐步取代以昂贵硬件为中心的数据中心,将重新定义计算、存储以及网络。
广州石化华为Stack私有云的成功建成,将会与中国石化总部的“石化智云”相结合,作为“石化智云”的在广州石化端的边缘计算节点,大力推进广州石化智能工厂建设,日后云计算与5G、物联网、人工智能等技术的联合应用,将会进一步提升企业集约化管控、协同优化和本质安全、绿色低碳水平。
参考文献
[1] 孙杰,山金孝,张亮,等.企业私有云建设指南[M].北京:机械工业出版社,2019:1-10.
[2] 黄凯,毛伟杰,顾骏杰.OpenStack实战南[M].北京:机械工业出版社,2014:73.