APP下载

基于vSphere技术的农业科研云平台研究和构建

2017-11-14陈晓冬崔玉祥曹宇宾赵慧芳潘大丰张婧文范林平

山西农业科学 2017年11期
关键词:农业科研交换机端口

杨 方 ,陈晓冬 ,杨 蕊 ,崔玉祥 ,曹宇宾 , 赵慧芳 ,韩 晋,潘大丰,张婧文,范林平

(1.山西省农业科学院农业科技信息研究所,山西 太原 030031;2.山西省农业广播电视学校实践培训基地,山西 太原 030002)

基于vSphere技术的农业科研云平台研究和构建

杨 方1,陈晓冬1,杨 蕊1,崔玉祥1,曹宇宾1, 赵慧芳1,韩 晋1,潘大丰1,张婧文1,范林平2

(1.山西省农业科学院农业科技信息研究所,山西 太原 030031;2.山西省农业广播电视学校实践培训基地,山西 太原 030002)

云计算技术已成为当前发展现代农业的重要技术支撑,农业科研基础领域对于数据计算分析性能的需求日渐增长。从理论、技术和实践3个维度出发,详细论述了构建农业科研云平台的过程,包括云计算理论、vSphere技术、基础设施、规划和实施细节等,列举了农业科研云平台具体应用场景,最后探讨了预期开展的云服务。

vSphere;云平台;IaaS;分布式交换机;虚拟机;生物信息学;现代农业

随着云计算技术普及,高校、科研院所等企事业单位的信息中心虚拟化建设也逐渐开展,在农业科研领域,基于云计算技术的各种农业信息服务平台也得到广泛应用,美国、德国、日本、韩国等都应用云计算技术开发农产品交易平台,并取得了良好效果[1];在国内,山东的金农工程[2]、中国南京绿色科技研究院研发的农业智能综合信息服务平台、河北的基于云模式的农产品交流信息服务平台[3]等都是农业云计算的应用案例。此外,地理信息系统、生物信息学、农业物联网、虚拟农业等学科技术与农业科研工作融合度越来越高,国内已有云计算与GIS、物联网等学科相结合的理论研究和应用,如天津师范大学基于物联网与云计算服务的农业温室智能化平台研究与应用[4],河北农业大学基于云计算和WebGIS的农业信息服务系统[5]、基于云计算的农业劳动力季节性转移信息平台[6]等等。以上这些农业信息服务平台和应用对数据计算性能、存储量、计算速度等硬件资源提出了更高的要求,单台普通服务器、PC机硬件资源十分有限,难以快速处理如此大量复杂的各类数据。

本研究主要借鉴国内外农业云服务应用经验,利用云计算技术搭建IaaS云基础架构服务,整合硬件资源,为山西省农业科学院科研人员提供更高更快的弹性云计算平台,达到软硬件资源共享,以加快山西省农业科学院农业科研信息化进程。

1 云计算

云计算是分布式处理、并行处理和网格计算的发展和延伸,具有强大的计算能力和存储能力。云计算包括3个层次的服务,即基础设施即服务(I-aaS)、平台即服务(PaaS)、软件即服务(SaaS),用户使用的资源由第三方提供并动态分配和组织资源,用户可以通过终端设备个性化地调度资源[7-9]。

2vSphere云技术

虚拟化作为云计算的核心技术之一,是目前整个IT行业发展的方向,能实现资源的充分利用、简化管理、方便维护,提高整个IT部门的效率。vSphere是VMware公司推出的一套服务器虚拟化解决方案,虚拟服务器已经逐渐代替物理服务器成为支撑信息化服务的主要手段,实际应用证明,虚拟机可以满足绝大多数业务系统的要求,能提高服务器资源的管理效率,规范服务器资源的使用[10],vSphere一直以其易用性和易管理性得到大家的认同[11]。

vSphere 主要包括 ESXi,vCenter Server,vCenter Server插件和vCenter Server数据库等组件,在平台建设过程中,我们采用vSphere 5.5版本。ESXi是一种虚拟化平台,用于将主机硬件作为一组标准化资源进行聚合,将虚拟机创建为一组配置和磁盘文件,虚拟机是运行操作系统和应用程序的软件计算机;vCenter Server充当连接到网络的VMware ESXi主机的中心管理员,将多个主机的资源加入池中并管理这些资源,有效监控和管理物理及虚拟基础架构;vCenter Server插件提供额外特性和功能的应用程序;vCenter Server数据库用于维护vCenter Server环境中虚拟机、主机和用户的状态[12]。

vSphere组织结构如图1所示。

vSphere提供3种管理方式,即vSphere Web Client,vSphere Client和vSphere命令行界面,受管对象主要包括群集、数据存储、主机、虚拟机、网络等。数据存储指本地SCSI磁盘、SAN磁盘阵列、iSCSI SAN磁盘阵列或网络附加存储(NAS)阵列;主机指安装ESXi的物理机;网络指一组虚拟网络接口卡(虚拟网卡)、标准交换机或分布式交换机,以及端口组或分布式端口组[13]。

3 农业科研云平台基础设施

3.1 服务器等硬件设施

山西省农业科学院农业科技信息研究所中心机房现有曙光服务器3台、曙光存储阵列1台。单台服务器主要配置如下:2颗 AMD Opteron(tm)Processor 6320 CPU,2.8 GHz,8 核,内存 64 G,硬盘1T,2个RJ45端口;存储阵列主要配置如下:15T存储容量,2个RJ45端口。

3.2 物理网络

本部分仅介绍云平台部署关键因素,如路由交换设备等,不涉及网络安全设备。山西省农业科学院农业科技信息研究所中心机房现有网络设备如下:1台锐捷路由器、2台三层锐捷交换机、1台锐捷二层交换机。2台三层交换机作为中转,上联1台路由器,下联1台二层交换机,三者之间作聚合链路配置,服务器接入二层交换机。网络拓扑如图2所示。

4 农业科研云平台规划和实施

4.1 硬件资源集成

首先,每台服务器中1个RJ45端口连接Layer2 Switch中的Access端口,1个RJ45端口连接Layer2 Switch中的Trunk端口(用于创建vSphere分布式交换机),存储阵列的2个RJ45端口连接Layer2 Switch中的Access端口。

其次,在3台服务器上裸机安装ESXi-6.0,并分配IP地址,通过创建虚拟机安装vCenter Server,用于管理整个群集。具体细节请参阅文献[14]。

最后,通过使用ESXi-6.0群集技术和IP SAN数据存储方式,整合服务器和存储阵列后的云平台实际硬件资源,达到内存192G,CPU134.4GHz,存储18T。

4.2 虚拟网络

vSphere提供标准交换机(vSS)、分布式交换机(vDS)和混合结构3种网络结构。

4.2.1 vSS(vSphere Standard Switch)网络 标准交换机模拟物理以太网交换机,其默认逻辑端口数量为120,每个端口均可连接虚拟机的一个网络适配器。vSphere默认网络配置为vSS,对于ESXi主机数量少、管理简单的网络结构基本能满足要求,其网络拓扑结构如图3所示。

4.2.2 vDS(vSphere Distributed Switch)网络 vDS是所有关联ESXi主机之间的一个交换机,这使管理员能够设置跨所有成员主机的网络配置,可在虚拟机之间进行内部流量转发或通过连接到物理以太网适配器(上行链路适配器)链接到外部网络,并使得虚拟机可在跨多个主机进行迁移时保持其网络配置一致,在容灾方面显得尤为重要。vMotion是vSphere的实时迁移功能,可以实现在不停机的情况下将整个运行中的虚拟机从一台物理服务器转移到另一台物理服务器,完成无缝迁移,在千兆以太网中,整个过程只需要不到2 s[15]。vDS网络拓扑结构如图4所示。

vDS可分配一个或多个分布式端口组,分布式端口组将多个端口分组到一个公共配置下,并为连接到带标记网络的虚拟机提供稳定的定位点。每个分布式端口组都由一个对于当前数据中心唯一的网络标签来标识,VLAN用于将端口组流量限制在物理网络内的一个逻辑以太网网段中。利用网络资源池,可以按网络流量的类型来管理网络流量[16]。

当存在大量ESXi主机时,由于每个ESXi主机都要维护一个独立的vSS,以保证虚拟机在Vmotion过程中网络正常,日常维护工作量较大。而vDS网络配置一致,能够集中管理所有的虚拟机流量,具有VLAN划分、安全和流量控制等功能。考虑到云平台可扩展性、预期业务增长以及平台容灾、鲁棒性等,本平台构建过程中采用了“vSS+vDS”混合网络结构,vSS用于日常网络管理,vDS用于业务虚拟机。

4.3 虚拟网络规划和实施

随着各种攻击工具在互联网上的广泛传播,黑客技术的门槛越来越低,“网站被挂马”、“网站被入侵”等现象屡见不鲜,网站随时都有“被黑”的风险[17]。因此,为保障农业科研数据安全,笔者根据业务类型划分为生物信息学(Info_Bio)、统计分析学(Sta_Ana)、一般应用(Com_App)三类网络,对应192.168.2.0,192.168.3.0,192.168.4.0 网段,再基于IP划分 VLAN,分别创建 VLAN200,VLAN300,VLAN400,在Layer3 Switch上配置ACL策略,禁止外部网络访问虚拟机,禁止不同VLAN之间相互访问,增强数据访问安全性。

4.3.1 基础网络配置 基础网络配置涉及二层交换机、三层交换机和路由器,相关网络配置命令可参考锐捷厂商提供的文档[18]。为允许云平台新建VLAN中的虚拟机访问互联网,需修改Layer2 Switch和Layer3 Switch之间的聚合链路端口配置,添加如下命令:

interfaceAggregatePort110;switchportmodetrunk;switchport trunk allowed vlan remove 1-19,21-29,31-39,41-99,101-199,201-299,301-399,401-4094。

以创建一般应用平台(Com_App)为例,各层网络设备配置如下:

二层交换机配置,Layer2 Switch链接了物理服务器和数据存储,需要在此交换机上配置Trunk端口并创建 VLAN:vlan 400;name Com_App400;interface GigabitEthernet 0/29;switchport mode trunk;switchport trunk allowed vlan remove 1-199,201-299,301-399,401-4094// 仅 允 许 VLAN200,300,400访问。

三层交换机配置,Layer3 Switch主要设置安全访 问 策 略 :vlan 400;name Com_App400;interface VLAN 400;no ip proxy-arp;ip access-group 140 in//访问策略;ip address 192.168.4.254 255.255.255.0//分配网关地址;ip access-list extended 140//不同网段之间禁止访问;10 deny ip 192.168.4.0 0.0.0.255 192.168.1.0 0.0.0.255;20 deny ip 192.168.4.0 0.0.0.255 192.168.2.0 0.0.0.255;30 deny ip 192.168.4.0 0.0.0.255 192.168.3.0 0.0.0.255;40 permit ip anyany。

router ospf110//创建VLAN400被动接口,并声明相应主干区域:passive-interface VLAN 400;network 192.168.4.0 0.0.255.255 area 0。

路由器配置,Router主要设置路由策略,允许云平台中的虚拟机访问互联网:ip access-list extended 197;166 permit ip 192.168.4.0 0.0.0.255 any。4.3.2 建立分布式交换机 通过vSphere Client管理软件进入主界面后,在“数据中心”容器里建立分布式交换机,创建分布式端口组并编辑分布式交换机的属性和策略。根据虚拟网络规划,我们划分了3个分布式端口组,分别是Info_Bio,Sta_Ana,Com_App,并标识 VLAN ID对应 VLAN200,VLAN300,VLAN400,每个端口组分配15个端口,这样在该分布式交换机下可创建45个虚拟机。具体细节请参阅文献[10]。

4.3.3 创建虚拟机 vSphere创建虚拟机有直接创建、克隆、模板等多种方式。在实施过程中,需注意以下3点:虚拟机CPU数量不能超过ESXi主机逻辑CPU数量或虚拟机操作系统支持的CPU数量;根据业务类型把虚拟机正确划分到相应的分布式端口组;虚拟机操作系统安装完成后,需安装VMware Tools以提高虚拟机操作系统性能、增强虚拟机管理。具体细节参阅文献[13]。

5 农业科研云平台应用

目前,我们在云平台上开展了农业信息平台托管、生物信息计算、农业云体验等3类业务,农业科研人员根据需求向管理人员提出硬件资源申请,管理人员为其分配相应资源和账号后,可使用远程桌面方式远程操作。农业信息平台托管主要提供涉农网站、涉农信息平台的互联网信息服务,一般部署Windows Server 2008等服务器操作系统;生物信息计算主要提供基因组测序类计算分析服务,一般部署Linux服务器操作系统以及基因序列拼接、比对、排序、识别和测序等软件;农业云体验主要向科研人员提供虚拟机租用服务,一般部署Win7,Win10操作系统以及SPSS等数据统计分析软件。

6 结论

实践证明,利用vSphere搭建的云平台有效地提升了网络运维效率和管理水平,本平台不但能降低农业信息化软硬件投资和中心机房运维费用,提高服务器、存储和网络等设备利用率,而且能优化改善农业科研数据处理方式,提高数据计算效率,为从事生物信息学、农业物联网、虚拟农业、农业试验数据统计分析等领域的农业科研人员提供了一个安全高效的信息化平台。

vSphere是IT行业一流的云计算技术,虽然该平台已投入试运行阶段,但尚有许多问题需要深入研究、很多应用需要探索。我们下一步将在云平台中部署软件资源池,为农业科研人员提供常用软件下载、并发共享类软件使用和网盘等在线云服务;同时加强调研力度,征求农业科研人员对信息技术的诉求,提供多样化的云计算服务,为发展现代农业提供技术支撑。

[1]王利祥.基于云计算技术的农产品交易服务平台建设研究[D].长春:吉林大学,2012.

[2]李朝民.金农工程山东率先引入“云计算”[N].农民日报,2010-12-25.

[3]崔文顺,李建玲,崔硕.基于云模式的农村科技信息综合服务平台 [C]//中国农业工程学会.纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会(CSAE 2009)论文集.北京:中国农业工程学会,2009.

[4]刘洋,张钢,韩璐.基于物联网与云计算服务的农业温室智能化平 台 研 究 与 应 用 [J].计 算 机 应 用 研 究 ,2013,30(11):3333-3334.

[5]张立国,吴超,时广毅.基于云计算和WebGIS的农业信息服务系统构建[J].湖北农业科学,2013,52(5):1162-1163.

[6]康焦焦,李建民.基于云计算的农业劳动力季节性转移信息平台构建[J].湖北农业科学,2014,53(8):1925-1926.

[7]韩芳,袁宇宾.计算机桌面虚拟化技术在教学及管理中的实现路径研究 [J].重庆理工大学学报(自然科学版),2014,28(7):105-109.

[8]罗军舟,金嘉晖,宋爱波,等.云计算:体系架构与关键技术[J].通信学报,2011,32(7):3-21.

[9]林瑜华.云计算环境下高校实验教学模式的创新与实践 [J].实验室研究与探索,2011,30(8):271-274.

[10]郭芸,吴娴,张魁.VMware vSphere在构建Linux虚拟机实验平台中的应用[J].实验技术与管理,2016,33(6):144.

[11]杨旭,彭一明,邢承杰,等.基于VMware vsphere5虚拟机的备份系统实现[J].华东师范大学学报(自然科学版),2015(Z1):252-256.

[12]VMware.Inc.vCenter Server和主机管理指南[EB/OL].[2017-05-23].http://pubs.vmware.com/vsphere-65/topic/com.vm ware.ICbase/PDF/vsphere-esxi-vcenter-server-65-host-manage ment-guide.pdf.

[13]VMware.Inc.vSphere虚拟机管理指南 [EB/OL].[2017-05-23].http://pubs.vmware.com/vsphere-65/topic/com.vmware.ICbase/PD F/vsphere-esxi-vcenter-server-65-virtual-machine-admin-guid e.pdf.

[14]VMware.Inc.vSphere.vSphere安装和设置指南[EB/OL].[2017-05-23].http://pubs.vmware.com/vsphere-65/topic/com.vm ware.ICbase/PDF/vsphere-esxi-vcenter-server-65-installation-s etup-guide.pdf

[15]陈乐然,王刚,陈威.VMware vSphere虚拟化平台安全性研究[J].电气应用,2013(Z):323-327.

[16]VMware.Inc.vSphere网络连接指南 [EB/OL].[2017-05-24].http://pubs.vmware.com/vsphere-65/topic/com.vmware.ICbase/P DF/vsphere-esxi-vcenter-server-65-networking-guide.pdf.

[17]杨方,潘大丰.IIS日志在网站安全中的研究与应用[J].农业网络信息,2010(10):96-98.

[18]锐捷网络股份有限公司.锐捷交换机常用功能配置案例集(V1.0)[EB/OL].[2017-05-24].http://www.ruijie.com.cn/fw/qdwd/57697.

Research and Construction of Agricultural Science Cloud Platform Based on vSphere Technology

YANGFang1,CHENXiaodong1,YANGRui1,CUI Yuxiang1,CAOYubin1,ZHAOHuifang1,HANJin1,PANDafeng1,ZHANGJingwen1,FANLinping2
(1.Institute ofAgricultural Science and TechnologyInformation,Shanxi AcademyofAgricultural Sciences,Taiyuan 030031,China;2.Practice TrainingBase,Shanxi Agricultural Radioand Television School,Taiyuan 030002,China)

Cloud computing technology has become an important technical support for the development of modern agriculture.The demand for data computingand analysis performance is becoming more and more important in the field ofagricultural scientific research.This paper discusses the process of constructing agricultural science cloud platform from three aspects:theory,technology and practice,including cloud computing theory,vSphere technology,infrastructure,planning and implementation details,and lists the agricultural research cloud platformspecific application scenarios,and finallyexplores the expected cloud services.

vSphere;cloud platform;IaaS;distributed switch;virtual machine;bioinformatics;modern agriculture

TP393.09

A

1002-2481(2017)11-1863-05

10.3969/j.issn.1002-2481.2017.11.32

2017-08-09

山西省农业科学院农业科技创新研究项目(CXKT1514);山西省农业科学院提升工程项目(2016ZZCX-21)

杨 方(1982-),男,山西芮城人,助理研究员,硕士,主要从事农业信息技术研究工作。

猜你喜欢

农业科研交换机端口
农业科研档案管理现状及改进措施分析
一种端口故障的解决方案
修复损坏的交换机NOS
“纪念改革开放40周年助推西藏农业科研发展”座谈会成功召开
端口阻塞与优先级
使用链路聚合进行交换机互联
以“五化、五融合”理念推进农业科研试验基地规划建设
8端口IO-Link参考设计套件加快开发速度
PoE交换机雷击浪涌防护设计
基于服务质量的农业科研管理绩效评价