水利科研云平台建设与总体设计应用的主要技术研究

周力峰，刘 文，柏玉锋

(1.长江科学院信息中心,武汉 430010；2.湖北邮电规划设计有限公司数据通信咨询设计院,武汉 430023)

水利科研云平台建设与总体设计应用的主要技术研究

周力峰1，刘 文1，柏玉锋2

(1.长江科学院信息中心,武汉 430010；2.湖北邮电规划设计有限公司数据通信咨询设计院,武汉 430023)

为持续推进水利科研信息化进程,开展了水利科研云计算平台体系及其应用技术研究,明确了管理云、科研云、办公云、综合数据中心及智慧流域研究平台支撑这5项应用需求；采用主流的X86系统架构,运用虚拟化技术,实现资源池化的技术路线,完成云平台结构设计；在统计现有设备使用率和各项应用预期数据的基础上,计算得出平台资源池的规模并确定设备档次；汇总VMware等主流软件调研成果,比选确定了云操作系统。并就水利科研云平台的云运行模式、云存储模式、云安全问题开展技术研讨。按照设计,云平台基础设施已经建设并得到有效使用,有关应用工作也正在有序推进。

云计算平台；总体设计；虚拟化；资源池；云操作系统

2015,32(11):119-124

如同当年的互联网一样,云计算时代的到来为水利科研提供了又一次创新发展的机遇。按照《长江科学院信息化规划(2013—2017)》的部署,在规划期内要建成长江科学院(简称长科院)云计算平台,为水利科研提供更现代化的信息化工作环境[1]。为推动云计算从概念走向实用,综合考虑到科研、管理、办公需要,以及流体、固体等多专业应用的实际情况,长科院在建设该平台之前先编制了《长江科学院云平台建设与应用总体设计报告》(简称《总体设计报告》),用以明确主要需求,确定建设目标、技术路线、平台规模、设备选型及实施方法[2]。在设计过程中,也需要将云计算理论与水利科研具体业务相结合开展技术应用研究,本文总结其主要研究成果。

1 云计算平台应用需求

《总体设计报告》确定,长科院云计算平台建设目标为:建设一套集中共享,安全可靠,可管、可扩、易维护的云计算平台,用以承载综合管理应用软件和数据；并以云计算平台为基础,建设综合数据中心基础架构,推进科研信息化工作的有序进行,支撑智慧流域系统技术研究[2]。

建设目标是在需求分析基础上提出的,同时也集中反映了主要应用。总体设计工作强调需求引导,需求决定结构,需求决定功能,需求决定规模。《总体设计报告》分析确认的应用需求归纳如下。

1.1 管理云

在上一个院信息化5年规划中,以综合管理信息系统应用为标志,实现了院管理信息化[3]。现在要在云计算平台上构建科研管理云,即要完成包括综合管理信息系统(含人财物管理)、RTX、网站、档案文献等管理软件的云迁移,完善管理云信息访问功能,并保持通畅的外部接口。在管理云运行的同时,不断丰富其功能、扩大其使用范围,深化应用,提高效率及速度。

1.2 科研云

要在以往各专业科研信息化工作的基础上,整体推进科研信息化进程,实现科研设备与基础数据的有效共享及资源的充分利用,优化各专业所的科研流程。在不断提高科学实验、科学计算信息化程度的同时,依托云计算技术,构建集数据资源存储、计算资源分配、数据安全保障于一体的基于云计算平台的科研环境。

1.3 办公云(虚拟桌面)

虚拟桌面是利用虚拟化技术,在数据中心的服务器上按需生成大量的和真实PC一样功能的虚拟机,这些虚拟机具备与PC机基本相同的计算机处理能力。为提高办公条件的集约化与安全性,要依托云计算平台,配备院虚拟桌面系统,并逐渐由PC终端向虚拟桌面终端转变,以适应瘦客户机、平板电脑等智能终端的办公需求。

1.4 智慧流域研究的平台支撑

智慧流域是在智慧地球概念下局部的、专业化的智慧系统,是水利信息化的高端、集成和深度应用。要开展智慧流域研究,需要充分利用物联网、大数据技术,并在云平台上研究开发与应用。在建设院云计算平台时,要为智慧流域研究提供平台支撑,即要为其安排必要的计算资源。

1.5 综合数据中心

水利科研,过程漫长而复杂,科研成果数据来之不易。在信息化时代,对数据的收集、存储、管理和共享都至关重要。要利用云计算平台,建立有自己特色的综合数据中心,保存有公共利用价值的基础数据、野外观测采集数据、科研成果数据以及第三方数据,并对科研数据成果、管理信息数据和网站数据进行归档保存。数据中心主要负责数据的集中存储、管理、访问,并为实现数据信息的共享和挖掘利用提供方便。

2 云计算平台体系设计

在主要需求确定之后,要制定合适的技术路线,并选择合理的框架体系。

2.1 云计算的概念

云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。其服务类型有IaaS,PaaS,SaaS 3种,如图1所示。

图1 云计算的服务类型Fig.1 Service types of cloud computing

IaaS将硬件设备等基础资源封装成服务供用户使用,在IaaS环境中,用户相当于在使用裸机和磁盘,既可以让它运行Windows,也可以让它运行Linux,因而几乎可以做任何想做的事,但用户必须考虑如何才能让更多台机器协同工作起来。IaaS最大的优势在于它允许用户动态申请或释放节点,按使用量计费。

PaaS对资源的抽象层次更进一步,它提供用户应用程序的运行环境。PaaS自身负责资源的动态扩展和容错管理,用户应用程序不必过多考虑节点间的配合问题。但与此同时,用户的自主权降低,必须使用特定的编程环境并遵照特定的编程模型。

SaaS针对性更强,它将某些特定应用软件功能封装成服务。SaaS既不像IaaS一样提供计算或存储资源类型的服务,也不像PaaS一样提供用户运行自定义应用程序的环境,它只提供某些专门用途的服务供用户调用。

2.2 云计算的体系结构

云计算体系结构可分为4层:物理资源层、资源池层、管理中间件层和SOA(Service-Oriented Architecture,面向服务的体系结构)构建层,如图2所示。

图2 云计算体系结构Fig.2 Cloud computing architecture

物理资源层包括计算机、存储设备、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、存储资源池、数据资源池等；管理中间件层负责对云计算的资源进行管理,并对众多应用任务进行调度,使资源能够高效、安全地为应用提供服务,也包括身份认证、访问授权、综合防护和安全审计等；SOA构建层将云计算能力封装成标准的Web Service服务,并纳入到SOA体系进行管理和使用,包括服务接口、服务注册、服务查找、服务访问和服务工作流等。

管理中间件层和资源池层是云计算技术的最关键部分,SOA构建层的功能更多依靠外部设施提供。

2.3 云计算的技术路线

建设云计算平台的技术路线是,采用主流的X86系统架构进行设备整合,使用虚拟化技术实现资源池化,运用云计算操作系统实现平台业务功能的弹性扩展,并有效保障体系整体运行的安全稳定。

3 云计算平台建设方案

在技术路线确定之后,云计算平台设计要以计算机网络为基础,完成计算资源、网络资源、存储资源的合理配置。

3.1 云计算平台的网络架构

长科院云资源池网络结构设计如图3所示。

图3 长科院云资源池网络结构Fig.3 Network architecture of cloud resource pool of Yangtze River Scientific Research Institute

云计算平台使用专用的千兆光纤网络,即云内网。在云内网中,部署若干台物理服务器经虚拟化后形成计算资源池(含CPU、内存),其中也包括了云管理服务器、数据备份管理服务器等。计算资源池通过双通道光纤交换机连接FC磁盘阵列,引入存储资源池。云内网通过边界交换机连入院科研网,为院科研与管理人员提供信息服务。光纤交换机、边界交换机目前设计均要求为千兆级别。

在实际建设过程中,云内网是需要不断增强完善的。在起步初期,计算资源池仅投入基本设备,在构建私有云时也暂时与院科研网共用边界防火墙,并利用原有存储设备做离线备份。随着以后应用丰富,再按需增加资源,增强安全及数据备份机制。

3.2 云服务器

3.2.1 资源计算方法

服务器在云内网中,已经是一个虚拟化的概念。设计的思路是,统计现有5项设备利用率,加上可预计的增量,得出各分项资源需求。在需求数据的基础上,云平台的建设规模需要考虑一定的冗余量,原因有2个方面:首先,部署虚拟化软件以及防火墙插件等会产生一定的资源开销；其次,随着迁入云平台的系统的增加,对资源的消耗会随业务的发展而增大。行业确定的冗余系数范围在10%～30%。本设计拟定服务器和存储资源的冗余系数为20%。具体计算方法为:

计算资源需求(GHz)=∑(服务器计算资源实际需求)/(1-冗余系数20%),

内存需求(GB)=∑(服务器内存资源实际需求)/(1-冗余系数20%)。

对于业务数据,建议采用RAID5冗余方式,冗余系数设定为50%；数据中心采用RAID5冗余方式,则:

存储资源建设规模(TB)=存储资源需求(TB)/ (1-RAID冗余系数)/(1-冗余系数20%)。

运用以上计算公式得出的计算结果即是云平台建设资源设计规模,如表1所示。

表1 云平台建设资源设计规模Table 1 Design scale for the resources of cloud computing system

3.2.2 服务器设备选型

从虚拟化原理上说,虚拟化软件可将目前常用的X86系列服务器都并入资源池。但是每颗CPU要有一个虚拟化软件Licence,而且Licence价格不低,如果一味将以往所有的服务器都并入资源池,不仅会因为Licence数量过多使得软件价格超过硬件,而且也会使计算资源受老设备拖累,导致整体效率下降。所以,服务器设备选型,要综合考虑CPU颗数、其内核数与虚拟化软件Licence数的平衡。设计推荐采用Intel v3及以上档次CPU服务器。

3.3 云存储

3.3.1 存储网络种类

目前高端服务器所使用的专业存储方案有DAS,NAS,SAN几种。

(1)直接附加存储(Direct Attached Storage, DAS)是指将存储设备通过SCSI接口直接连接到一台服务器上使用。DAS购置成本低,配置简单,但对于存在多个服务器的系统来说,设备分散,不便管理。

(2)网络附加存储(Network Attached Storage, NAS)是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器,NAS设备直连到TCP/IP网络上,用户通过TCP/IP网络存取管理数据。NAS易于部署,成本低,管理使用方便,但是数据存取易受网络上其它流量的影响,且数据安全性不强。

(3)存储区域网络(Storage Area Network,SAN)是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。目前SAN一般采用高端的RAID阵列,提供4～16 Gb/s的传输速率。SAN又可细分为FC SAN,IP SAN,FCoE SAN,其中FC SAN性能最好。

3.3.2 存储网络选择

长科院云平台主要用于管理、科研信息化、数据中心、虚拟桌面等应用,除数据中心对实时性要求不高外,其他应用都要求数据实时响应、存储速率高,这对于存储网络的效率有较高的要求,因此本设计选择性能较高的FC SAN网络,云计算平台的所有服务器均通过2条光纤通道连接到FC SAN存储网络,保证数据高速存取与系统的高可靠性。

4 云操作系统选型

4.1 云操作系统功能

云计算操作系统,又称云计算中心操作系统、云OS,简称云操作系统,是云计算平台的运营管理软件,其构架于服务器、存储、网络等硬件资源和单机操作系统、中间件、数据库软件管理等软件资源之上。云操作系统将虚拟化后的资源池作为一个整体来管理,统一安排海量的计算任务并调配资源,为云应用软件提供统一、标准的接口。云计算操作系统是实现云计算的关键,从前端看,云计算用户能够通过网络按需获取资源,并按使用量付费(私有云应用则是统计使用量)；从后台看,云计算能够实现对各类异构软硬件基础资源的兼容,实现资源的动态流转。

4.2 云操作系统的逻辑结构

云操作系统的逻辑结构见图4。

图4 云操作系统逻辑结构Fig.4 Logical structure of cloud operation system

云操作系统从逻辑上主要分为2大块:内核区域和用户区域。内核区域是云操作系统的核心部分,功能包括虚拟机管理、进程管理、资源探测和认证鉴权等。虚拟机管理功能包括虚拟机的创建、克隆、注册、修改、迁移、创建快照、删除快照等。进程管理模块维持各个对象和它们的网络地址及端口的联系,完成进程的状态转换,负责进程间消息的传递等。资源探测模块负责探测资源情况,该模块一直处于活动状态。认证鉴权模块负责对访问云资源池的用户进行权限控制。用户区域是云平台与云用户的交互区,通过用户区域的库函数与内核区域进行通信,完成资源的分配和调度、程序的执行和结果返回等。

4.3 设计对云操作系统要求及比选结果

设计对长科院云操作系统提出的技术要求主要如下。

(1)服务器虚拟化要求:支持主流X86架构服务器,支持Intel CPU及AMD CPU；支持共享存储方式(多台服务器共享磁阵,可采用NAS,SAN,iSCSI等方式)和本地存储方式；支持Windows及Linux操作系统；最大可支持不小于4CPU,32G内存,4个网卡,1 TB磁盘的虚拟机。

(2)虚拟机模板及部署要求:具备虚拟机创建、模板复制、快照、批量部署等功能；可以在线或离线方式实现通过将物理服务器转换为虚拟机的方式实现虚拟机的快速P2V部署。

(3)在资源调配方面的要求:部署在物理机上的虚拟机总CPU个数、内存、存储数量可超过物理机实际CPU数、内存数量；支持虚拟机热迁移。

(4)在网络安全与管理方面的要求:支持不同物理服务器上的虚拟机处于同一VLAN,同一台物理服务器上的虚拟机能进行安全隔离。能实现动态资源管理、分权管理、远程管理、日志管理。能对服务器、虚拟机、存储资源、网络资源进行统计分析,并提供可编程接口。

目前云操作系统品牌比较丰富。在本设计中,着重对威睿VMware vSphere、曙光CloudView、浪潮云海OS、华为FusionSphere等有代表性的云操作系统进行分析比较。在对比分析各种云操作系统的功能和性能参数之后,设计选定VMware vSphere作为长科院云计算平台操作系统。该操作系统可以满足目前和今后一个时期业务系统部署及运行需要。

5 有关问题讨论

(1)云的运行模式。对长科院来说,云平台作为科研基础设施,需要使用多年,期间也将会调整与发展,因此需要明确私有云与混合云的关系。私有云(Private cloud)的基础设施只对某一组织开放,可以通过自有或租用方式获得。简而言之,私有云是公有云的一种演变,即架构在私有网络上为某一个组织而非多个组织提供服务[4]。长科院云平台建设起步于私有云,基于私有云完成云平台的架构体系、数据中心及安全机制,并实现基本的云计算应用。而在应用规模发展到一定程度后,混合云模式将会得以应用。混合云(Hybrid cloud)的云基础设施由2种或以上的云(私有云、社区云或公有云)组成,每种云仍然保持独立实体,但用标准的或专有的技术将它们组合起来,具有数据和应用程序的可移植性[4]。将来,长科院可以利用私有云存储核心数据、运行基本软件,而借助公有云的基础设施、水利云的行业数据而形成低成本、高效率的水利科研混合云。

(2)云存储模式。云存储模式是在云计算概念上延伸和发展出来的新概念,是基于网络的数据存储技术,主要提供数据存储和访问服务[5]。本质上,云存储不再是一种存储,而是一种建立在互联网基础上的服务,具有海量存储、易扩容、统一管理、成本低廉、随意读取、资源共享等特性[5]。在云平台应用中,要考虑对不同时期存储设备的整合吸纳、同时根据数据的在线使用、离线归档等属性合理安排相应的存储模式。对在线使用数据(包括单位云盘),本设计采用FC SAN存储；对科研与管理归档数据、空间地理及历史数据等,读取速度要求不是很高,仍可以采用成本相对低廉的NAS存储模式。随着云应用的发展,云数据的异地备份、增量备份等都必须严格纳入云平台运行管理体系。还应该注意,在实际应用中,有可能出现基础设施虚拟化异构的问题(比如计算资源池、虚拟桌面资源池异构),这都需要统一设计好FC SAN存储、NAS存储与云虚拟机服务之间的结构关系,使云平台具备良好的可扩展性。

(3)云安全问题。云计算的安全是云计算能否真正被用户接受与大规模应用推广的关键和前提[6]。云安全主要指虚拟化安全、数据安全、应用安全[6]。单位的设备虚拟化形成资源池,也就形成了私有云。私有云安全主要是使用边界防火墙来防范,同时在云端配备IPS、行为管理、防病毒网关等设备；数据安全首先要合理运用上述的存储模式,同时要完善综合数据中心的管理体系,包括数据组织、数据提取权限、数据备份以及数据加密；应用安全是一个与用户更加密切相关的问题,由于云环境的灵活性,开放性及公众可用性等,云终端应用软件的漏洞可以加大终端用户被攻击的危险,在设计中要重点考虑。另外,还必须在设计中安排平台安全、应用软件安全、通讯安全等方面的防范措施。

6 结 语

《总体设计报告》确定的主要建设内容目前都在积极实施之中。以综合管理信息系统为代表的一批科研管理软件已经成功上线,运行效果良好,形成了管理云；以数据采集数据云化为基础的水利科研流程,目前正开始选择一些信息化基础条件较好的、有一定应用代表性的专业所进行试点应用,希望能面向应用,为充实综合数据中心科学实验数据库提供原始数据；桌面云即虚拟桌面系统应用,目前已经开始了虚拟桌面环境搭建及客户端测试感受,随后将根据办公设备更换周期的需求,逐步配备直至推广使用。总而言之,从目前实施效果来看,《总体设计报告》所确定的架构、设备规模是合理合适的,至于具体更细的操作层面上的问题,交由实施阶段解决。

[1]长江科学院.长江科学院信息化规划(2013-2017)[R].武汉:长江科学院,2013:1-6.(Yangtze River Scientific Research Institute,The Informatization Planning of Yangtze River Scientific Research Institute(2013-2017)[R].Wuhan:Yangtze River Scientific Research Institute,2013:1-6.(in Chinese))

[2]湖北邮电规划设计有限公司.长江水利委员会长江科学院.长江科学院云计算平台建设与应用总体设计报告[R].武汉:湖北邮电规划设计有限公司,长江水利委员会长江科学院,2014.(Hubei Posts&Telecommunications Plan Design Co.,Ltd.,Yangtze River Scientific Research Institute.General Design Report on Cloud Computing System and Its Application of Yangtze River Scientific Research[R].Wuhan:Hubei Posts&Telecommunications Plan Design Co.,Ltd.,Yangtze River Scientific Research Institute,2014.(in Chinese))

[3]周力峰,刘 文.云计算在水利科研信息化中的地位与作用[J].长江科学院院报,2014,31(9):110-114. (ZHOU Li-feng,LIU Wen.Role of Cloud Computing in Informatization of Water-conservancy Scientific Research[J]. Journal of Yangtze River Scientific Research Institute, 2014,31(9):110-114.(in Chinese))

[4]S R SMOOT.私有云计算——整合、虚拟化合面向服务的基础设施[M].潘怡,译.北京:机械工业出版社,2013. (SMOOT S R.Private Cloud Computing:Consolidation, Virtualization and Service-oriented Infrastructure[M]. Translated by PAN Yi.Beijing:China Machine Press, 2013.(in Chinese))

[5]刘思得.基于网络的云存储模式的分析探讨[J].科技通报,2012,28(10):206-209.(LIU Si-de.Discussion of the Cloud Storage Model Based on the Network[J].Bulletin of Science and Technology,2012,28(10):206-209. (in Chinese))

[6]李天目,韩 进.云计算技术架构与实践[M].北京:清华大学出版社,2013.(LI Tian-mu,HAN Jin.Cloud Computing Architecture Technologies&Practice[M]. Beijing:Tsinghua University Press,2013.(in Chinese))

(编辑:刘运飞)

长江科学院水力学所参加第七届全国水力学及水利信息学大会并应邀作大会主题报告

2015年10月15—17日,第七届全国水力学及水利信息学大会在宜昌三峡大学召开,水力学所所长黄国兵、总工段文刚等6人参加本次大会,黄国兵教高应邀作大会主题报告。

应大会组委会邀请,水力学所所长黄国兵教高作大会主题报告《乌东德水电站主要水力学问题研究》,并主持工程水力学分会场学术会议。段文刚教高、薛阿强高工、蔡莹高工和杜兰工程师在工程水力学和环境水力学分会场作学术报告,题目分别为《大型电站叠梁门分层取水进水口水力特性研究》、《影响电站进水口体形和流态的几个关键因素》、《三峡木鱼岛水力一体治漂浮排实施研究》和《大型分层取水电站进水口数值模拟研究》等。

该会议由中国水利学会水力学专委会、中国水力发电工程学会水工水力学专委会、国际水利与环境工程学会中国分会共同发起,每两年举办一次。本次大会议题包括工程水力学、水利信息学、环境水力学、生态水力学,涵盖了水力学研究的各个领域,来自全国的180多位专家代表参加了本次会议。

(摘自：长江水利科技网)

Technological Study on Cloud Computing System and Its General Design for Water Scientific Research

ZHOU Li-feng1,LIU Wen1,BAI Yu-feng2
(1.Technology Information Center,Yangtze River Scientific Research Institute,Wuhan 430010,China；2.Data Communication Consulting and Design Institute,Hubei Posts&Telecommunications Plan-Design Co.,Ltd.,Wuhan 430023,China)

In order to accelerate informatization of water-conservancy scientific research,we study the cloud computing system and applied technologies for water scientific research,and 5 demands for cloud computing application in management,scientific research,office automation,integrated data center and intelligent river basin research are demonstrated；the architectural design of cloud computing system is completed with adoption of the prevailing X86 architecture and the virtualization technology for resource pooling；the scale of resource pool and the grade of equipment are obtained according to the current equipment utilization and the calculation results of 5 demands；and the cloud operation system is determined by comparison.The technical discussion on operation mode,storage mode and safety of cloud computing system for water scientific research is carried out.In association with design,the infrastructures of cloud computing system has been established and put into operation,and relevant applications are promoted in an orderly way.

cloud computing system；general design；virtualization；resource pool；cloud operating system

TP393

A

1001-5485(2015)11-0119-06

10.11988/ckyyb.20140308

2014-04-14；

2014-06-04

周力峰(1957-),男,河北保定人,教授级高级工程师,主要从事水利信息化应用技术研究,(电话)027-82926249(电子信箱)zhoulf @mail.crsri.cn。