西南诸河水文信息中心虚拟化平台设计
2020-07-30段仙琼
段仙琼
摘要:基于西南诸河水文水资源工作特点,设计并构建了一个高效、稳定及模块化的虚拟化平台,作为西南诸河水文信息平台的基础支撑平台。该平台使用基于Linux的内核虚拟机(KVM),采用全虚拟化及半虚拟化技术,设计了隔离区DMZ和局域网两个虚拟化集群。结合硬件网络化、应用模块化技术,制定了行政、物理资源划分、网络、安全、运维5个方面的管理策略。虚拟化平台可模拟WindowsLinux及Unix等多种类型操作系统,从而实现对该局服务器群计算及存储资源的有效整合和利用。该设计成果可为西南诸河水文水资源信息化作业提供稳定、高效、易扩展的基础虚拟资源平台。
关键词:虚拟化平台;水文信息;KVM;西南诸河
中图法分类号:TP393.05 文献标志码:A DOI:10.15974/j.cnki.sIsdkb.2020.07.014
1西南诸河流域现状
西南诸河(澜沧江及以西)位于我国青藏高原及云贵高原地区,包括雅鲁藏布江、怒江、澜沧江、伊洛瓦底江、藏南、藏西诸河等流域,横跨我国第一级台阶和第二级台阶。西南诸河在西藏境内的雅鲁藏布江流域面积最大,但站网分布较少。云南境内大部分属于西部型季风气候",千湿季节分明,春冬季受西风带环流控制,夏秋季节受西南季风环流控制;河流中下游还受到副热带低纬度天气系统及副高边缘的东南气流影响,主要降雨集中在5~10月,枯汛期明显2。由于独特的气候类型,地质构造活跃,岩性复杂3等因素使得该地区水资源总量丰富但时空分布不均,导致水资源的开发利用程度低4。为了在水量调度分配过程中统筹考虑生产生活供水、发电、航运、生态等需求,需要收集大量的西南诸河流域水文情报信息。
西南诸河流经东南亚地区的越南、老挝、柬埔寨、缅甸、泰国及印度等国家。西南诸河地区集水面积在3000km'以,上的国际河流多达18条,其中澜沧江(湄公河)流经6国,属亚洲第三、世界第七大河流,也是我国连接东南亚国家的桥头堡5。由于该区域涉及众多国家、行政区和国际组织,以及不同的水文、气象、电力等部门单位,如何及时、持续地获得该区域内各种水文情报预报信息,并对其进行有效整合,做好河流水文、水资源分析评价工作,为“一带一路”东南亚沿线国家提供有效水文情报、预报及水资源信息服务,是搭建西南诸河水文信息平台必须考虑的内容。
2信息中心工作现状及特点
长江水利委员会水文局西南诸河水文水资源勘测局(以下简称“西诸局”)成立以来,配置了2间机房、2台服务器,目前,运行中的水文信息化应用系统有2套。随着西南水文业务的逐步开展,对于水文水资源的信息化及其信息化设备的需求不断增加。传统业务系统大量利用物理服务器构建信息中心的建设模式6已无法满足西南诸河水文信息中心多样化的业务需求和发展方向。经研究分析,西南诸河水文信息中心的业务工作具有如下特点。
(1)数据来源多样化。作为西南诸河水文水资源信息的归集终点,西南诸河信息平台汇集的水文水资源数据既有结构化数据也有非结构化数据。大致可分为:各省市满足SL323-2011《实时雨水情数据库表结构与标识符》口的交换数据、各类非标准结构化数据、各类非结构化数据以及外方提供的结构化和非结构化数据等。数据来源的多样性决定了数据传输途径、交互接口的多样化,从而使得支撑其运行的系统和软件标准多样。
(2)服务对象多样化。西南诸河水文水资源信息中心的主要服务对象是我国的西南地区以及东南亚各国及国际组织,并为澜沧江、怒江、伊洛瓦底江、雅鲁藏布江等流域及其下游国家提供防汛减灾和水资源服务。针对不同的服务对象,需提供不同的服务方式、软件技术类型,软件架构和运行环境较为复杂。
(3)业务特点多样化。鉴于西诸局面向的水文水资源服务对象业务多元化,面对不同服务对象并提供多元化的服务模式是西诸局水文水资源工作面临的挑战。因此需要配备专业化和多样化的水文信息软件平台。
鉴于此,亟待构建一个可连接广域网、因特网等多种网络,支持多种途径的数据来源[8],具备多种类型的数据交互接口,同时可提供丰富的专业化水文信息服务的软件平台。对于支撑其运行的服务器软件环境层必须具备硬件利用率高、稳定、模块化、易扩展、富有架构弹性并兼容多种操作系统平台的特性。在选择信息化设备,尤其是设计总体信息化架构时,需汲取历史经验和教训,避免出现单台服务器利用率低下、老旧设备堆砌或大量计算资源遭到浪费的现象。
3KVM虚拟机技术及其优势
对比当前主流的虚拟化平台,考虑到西南诸河水文信息平台特性,选取KVM虚拟机技术为核心构建西南诸河水文信息中心虚拟化平台[9-10]。KVM是基于Linux的内核虚拟机12,也是基于硬件虚拟化技术完全开源的Linux原生虚拟化解决方案3。硬件方面,其支持对x86、AMD64等架构的虚拟;软件方面,其支持对Linux、Unix、Windows等操作系统的完全虚拟化以及半虚拟化4。
相较于VMWare的vSphere、微软Hyper-V等虚拟化技术5,KVM具有高性能高安全、低成本、扩展强的特点,其技术优势如下。
(1)可与Linux内核集成,运行稳定,速度快。无需任何变更就能享受Linux内核進程调度、内存管理和设备支持。
(2)属于开源软件,可免费使用及升级,不受软件授权限制。
(3)具有完善的自动更新机制,各组件随Linux升级,可直接享受Linux内核代码优化带来的性能提升。
(4)KVM是OpenStack私有云的虚拟层,虚拟化平台可选择向OpenStack私有云演进6。
(5)支持Windows、Linux、Unix等操作系统,是异构环境的最佳选择。
虚拟化平台设计
4.1总体框架
根据西南诸河水文水资源业务信息化系统应用体系的特点,西南诸河水文信息中心虚拟化平台(以下简称“平台”)由隔离区DMZ和局域网两大虚拟化集群组成,见图1。
局域网虚拟化集群主要承担国内水文水资源
数据及应用平台的虚拟化实现。按照数据汇集、审核、统计、分析及应用等不同环节和应用,分别部署虚拟逻辑服务器,实现系统运行环境的隔离,保障各个系统平稳运行、互不影响。在局域网虚拟化集群外,配置独立的核心数据库服务器(集群)和虚拟化平台控制服务器。其中,独立的核心数据库服务器(集群)提供高性能、高安全数据存储服务;虚拟化平台控制服务器提供局域网虚拟化集群和DMZ虚拟化集群的监控、控制、故障转移等服务。
DMZ虚拟化集群”部署在与因特网连接的DMZ区域内,主要承担对其他国家及国际组织提供服务应用平台的虚拟化实现任务。DMZ虚拟化集群利用KVM虚拟化技术支持多种操作系统的特点,可为东南亚国家及相关国际组织提供多种接口及多样化形式的水文情报、预报及水资源分析评价等服务。
DMZ虚拟化集群和局域网化虚拟集群使用桥接模式的,虚拟交换机接入局域网,与物理计算机和网络设备组,成混合网络。其间可根据需要,选择单、双向防火墙和入侵检测访问过滤或更高级别的完全物理隔离,在满足不同区域业务发展需要的同时,保证足够的网络信息安全防护。
4.2单虚拟化集群架构
DMZ虚拟化集群和局域网虚拟化集群均使用多台物理服务器(宿主服务器)安装虚拟化軟件,形成单虚拟化集群的服务器硬件层和虚拟层。单集群内各物理服务器上运行多台虚拟逻辑服务器。各应用系统分别安装、运行在各自独立的虚拟逻辑服务器内,可拥有不同的操作系统及软件架构。各虚拟逻辑服务器共享虚拟化层提供的计算、存储资源池,并通过各自的虚拟网卡经由宿主服务器的虚拟交换机访问外部网络。单虚拟化集群基本架构见图2。
虚拟逻辑服务器由安装在虚拟化平台控制服务器上的虚拟化控制台进行控制及资源调度,提供虚拟机的开关机、快照、备份、挂载迁移以及性能监视等功能。虛拟化控制台使用基于非对称加密的SSH传输方式,可对各虚拟逻辑服务器进行控制、管理及迁移等操作。另外可通过克隆模板快速部署虚拟逻辑服务器,提高业务系统上线速度。
虚拟化控制台可实现虚拟逻辑服务器在本单集群内的多台物理服务器上动态或静态迁移,当某个物理服务器出现问题时,可将虚拟逻辑服务器迁移到其他物理服务器,以保证业务的连续性。
4.3单虚拟化集群功能设计及组成
单虚拟化集群主要包含3个功能。
(1)硬件网络化。减少与服务器硬链接的设备,尽量采用网络等柔性连接代替原来使用的服务器外围设备。水文信息中心服务器较常见的外围设备包括:RS-232/RS-422/RS-485串口卡[18]。主要连接串口设备用于数据收发;各种USB接口设备,主要用于数据收发、USB一KEY电子狗认证;使用PCI一E接口用于浮点计算与并行计算的图形加速处理器(GPU)等。
针对这些设备,使用串口网络服务器代替串口卡、连接串口线;使用USB网络共享设备(软件)代替USB设备及USB一KEY认证;使用GPU虚拟化技术,解决用户对于浮点计算与并行计算的vGPU需求。
(2)系统虚拟化。宿主服务器使用基于Linux系统的KVM虚拟化解决方案!叫,方案结合了全虚拟化和半虚拟化技术。使用全虚拟化技术隔离各个虚拟逻辑服务器,保证运行在各个虚拟逻辑服务器上的应用独立运行和维护。虚拟逻辑服务器安装串口服务器驱动程序和USB网络共享设备驱动程序,通过网络访问串口和USB设备资源。使用半虚拟化技术可大幅增加虚拟逻辑服务器的网络I/0性能,提供接近非虚拟环境中原生系统的性能。
(3)应用模块化。设置虚拟逻辑服务器中的应用系统尽量使用本机资源。应用系统的运行库中间库均建立、运行在各个虚拟逻辑服务器中。规范所有应用系统对核心数据库的访问权限,细化配置数据库用户的读取写人权限。
4.4管理策略
初步搭建虚拟化平台后,需要有与之配套的管理策略以保证其安全、稳定长效运行。管理策略包括行政管理、物理资源划分、网络管理、安全管理运维管理5个方面。
(1)行政管理策略。根据虚拟化平台的特点,通过划分宿主服务器和虚拟逻辑服务器的行政管理边界以及物理网络和虚拟网络的行政管理边界,形成清晰的分层管理架构,对虚拟化平台技术管理提供坚实的行政管理保障。
(2)物理资源划分策略。根据宿主服务器不同的配置和硬件架构,形成对于虚拟逻辑服务器的物理资源划分策略,包括CPU核心划分策略NUMA跨越策略、动态内存分配策略等。
(3)网络管理策略。主要针对虚拟化的服务器集群架构,规划、架设及配置相应的网络架构,形成切合工作需要以及网络安全的信息链路。设计并配置分别运行在西诸局局域网广域网以及与因特网连接的混合网络中的物理和虚拟网络架构。物理链路层包括光/电网络规划、路由规划、VLAN划分、网络带宽配置形成网络负载均衡策略等;虚拟网络层包括虚拟交换机、虚拟网桥、虚拟NAT、虚拟SAN的划分及配置。
(4)安全管理策略。主要包括网络安全策略、系统安全策略2个部分。网络安全策略需要对物理和虚拟混合网络做出安全配置,包括混合网络架构的合理规划,防火墙、入侵检测系统等安全设备的规划配置。系统安全策略需要针对在虚拟集群中运行的多种操作系统及应用软件做出相应的安全配置,形成软件安全补丁更新、病毒库升级、数据库权限分配等多项安全策略。
(5)运维管理策略。主要包括备份策略、迁移策略和快照策略3个部分。需要形成物理服务器以及虚拟逻辑服务器中运行的数据库、网站、应用软件及配置乃至整个软件系统的备份策略,以防止因虚拟化程度和系统密度大幅度增长而出现单一乃至多虚拟化节点软、硬件故障导致的大面积虚拟逻辑服务器宕机、下线。需要针对虚拟服务器集群配置囊括离线和在线两种方式的迁移策略,分别形成针对虚拟逻辑服务器和虚拟硬盘的快照策略,在满足应用的同时,保证系统快照和差异硬盘稳定运行。
运行成果及效益分析
(1)提高了物理服务器的利用率。通过服务器整合,控制了物理服务器的使用数量,提高了服务器、CPU、内存以及硬盘的使用率,降低了硬件采购成本,从而降低了数据中心机房、机柜、用电量等运行和维护成本。
(2)提高了系统模块化率。通过虚拟化软件创建多个虚拟逻辑服务器,使应用软件成套运行在各自的虚拟逻辑服务器,软件运行环境可针对本机应用软件高度定制。整个西南諸河水文水资源业务信息化系统应用体系可实现虚拟逻辑服务器集群的形式,围绕核心数据库高度模块化运行。除核心数据库外,任何单一虚拟逻辑服务器宕机都不会影响其他应用软件,避免了多种软件共享软件环境带来的兼容性和维护性等问题,大大提高了整个系统的稳定性。
(3)加强了信息安全性。根据西南诸河水文信息平台接收及处理水文信息的渠道及来源,设计了局域网与DMZ两个独立并可连接的虚拟化集群。DMZ虚拟化集群的独立运行保证了不同来源水文信息的专网专用。两个虚拟化集群之间可根据需要,选择单、双向防火墙访问过滤或更高级别的完全物理隔离,在满足不同区域业务发展需要的同时,提高了整个信息化体系的安全性。
(4)增强了系统可维护性。不同的应用软件、平台可以安装在各自独立的虚拟逻辑服务器中。避免了共享应用软件运行环境的情况,在软件部署升级时,软件环境针对性及可配置性更强,不受其他软件运行条件的制约,增强了软件可维护性。串口服务器的引入使得数据接收中心站软件不再与硬件强相关,易于更换服务器硬件底层。使用物理或者宿主服务器,亦可使虚拟逻辑服务器在拥有不同硬件的宿主服务器之间动态迁移。
(5)提高了管理维护水平。西南诸河水文信息化平台管理员主要负责虚拟化平台和核心数据库的管理。各虚拟逻辑服务器可由开发维护公司管理、维护,管理权限明确、范畴清晰,对于数据的安全性、可靠性起到了积极作用。建议定期对各虚拟逻辑服务器的维护管理情况进行评估,有利于对系统和应用平台的维护服务外包情况进行质量评价。
6结语
平台通过引入硬件虚拟化技术,结合数据端口的网络化技术,使用全虚拟化技术实现各应用系统在虚拟逻辑服务器中的独立运行。在使用半虚拟化技术提高系统性能的同时,基于虚拟化平台的特点,有针对性地制定了管理策略,使系统架构及拓扑流程更加合理。在服务器利用率、系统模块化率、信息安全、可维护性及管理等方面均有明显提高。同时,该方案技术难度不高,架构清晰合理,各模块逻辑清楚简单,有利于排错并能保障信息平台长期稳定运行。服务器虚拟化技术带来的高密度、高能效、模块化优势是水文信息中心系统架构优化中值得重点考虑及深入研究的方向。
同时,平台存在开源软件获得官方技术支持相对较弱、对运维人员水平要求较高等问题,建议在工作中加强开源软件的使用,逐步提高水文行业开源软件的使用比例,培养对开源软件的使用习惯,增强运维人员对开源软件及相关技能的熟悉度。在水文行业软件的使用中,为从国外商业软件到开源软件再到国产软件的过渡打下基础。
参考文献:
[1]张景华,封志明,姜鲁光,等.澜沧江流域植被NDVI与气候因子的相关性分析[J].自然资源学报,2015,30(9):1425-1435.
[2] W hitehead P G,Jin L, Bussi G, et al.W ater quality model-ling of the Mekong River basin: Climate change and so-cioeconomics drive flow and nutrient flux changes to theMekong Delta[J]. Science of theTotal Environment ,2019,673: 218-229.
[3]崔鹏,王道杰,范建容,等.长江上游及西南诸河区水土流失现状与综合治理对策[J].中国水土保持科学,2008,6(1):43-50.
[4]孙周亮,刘艳丽,刘冀,等.澜沧江-湄公河流域水资源利用现状与需求分析[J].水资源与水工程学报,2018,29(4):67-73.
[5] Zhang M L,Lin C S, He M, et al. Stratigraphic architec-ture ,shelf-edge delta andconstraints onthe develop-ment of the Late Oligocene to Early Miocene continental margin prism, the Pearl River Mouth Basin, northernSouthChina Sea [J]. Marine Geology, 2019, 416:105982.
[6]刘正龙.传统服务器架构向服务器虚拟化的改造研究[J].数字通信世界,2018(10):246.
[7]SL3232-2011实时雨水情数据库表结构与标识符[S].
[8]秦昊,张晶,高珺,等.异构水文信息系统间的数据共享技术介绍[J].中国防汛抗旱,2018,28(11):46-49,54.
[9]姚春雷.分析服务器虛拟化技术在数据中心建设中的具体运用[J].电脑知识与技术,2019,15(22):21-22.
[10]郑彬.传统服务器架构向服务器虚拟化的改造探讨[J].数字通信世界,2017(5):257-258.
[11]High Class KVM Switches Market 2018 Global Indus-try-KeyPlayers,Size ,Trends, Opportunities,Growth-Analysis to 2025[R]. M2 Presswire ,2018.
[12]Uchit G, Mitul M, Mitali R, et al. Distributed virtualiz za-tion manager for KVM Based Cluster[J ]. Procedia Com-puter Science ,2016,79: 182-189.
[13]杨华,梅瀚林.Linux虚拟机网络配置故障[J].网络安全和信,息化,2019(7):141-144.
[14]刘宇明.分析WindowsServer2008Hyper-V虚拟化技术攻略[J].电脑知识与技术,2017,13(3):40-42.
[15]陈景亮,张金石,陈晨.Hyper-V服务器虚拟化技术探究[J].青岛科技大学学报(自然科学版),2017,38(S1):172-175.
[16]连鸿鹏.基于OpenStack的高可用云桌面设计与实现[J].数字通信世界,2018(2):176-177.
[17]肖巍巍.基于vSphere技术的高校虚拟化服务器集群设计与实现[J].电脑知识与技术,2019,15(24):263-264.
[18]农挚著,邱杰.HXSP-2108C光电隔离型RS-232/RS422/RS485接口转换器的工作原理、检测与维修[J].视听,2010(12):42-47.
[19]彭晓平,张雪坚,黄波.基于KVM的虚拟化技术研究[J].中国新通信,2017,19(20):77-80.
(编辑:李晓蒙)