服务器虚拟化技术在水文信息化中的应用
2020-07-30张亮喻鑫高攀宇
张亮 喻鑫 高攀宇
摘要:为使信息化技术更好服务于水文事业,建立了“水文信息化7层功能模型”。介绍了通过融合多台物理服务器,运用虚拟机监视软件,建立服务器虚拟化集群的技术原理,研究了服务器虚拟化技术提高资源利用率、提升稳定性、简化部署和管理的技术特点。结合实例,阐述了服务器虚拟化技术在业务办公、水情报汛、软件研发中的多项应用。该项技术的应用有利于进一步促进“智慧水文”建设,并可为水文行业的科学发展提供支撑。
关键词:服务器虚拟化集群;7层功能模型;水文虚拟化应用;水文信息化;智慧水文
中图法分类号:P33-39 文献标志码:A DOI:10.15974/j.cnki.sIsdkb.2020.07.013
1概述
水文信息化是水文行业走向现代化的工具,也是水文现代化的基础和重要标志,对新形势下水文行业的发展有着重要意义。水文信息化从业者结合多年工作经验,通过多年的研究和实践,建立了“水文信息化7层功能模型”,分别为硬件下3层的物理层、网络层、虚拟层,软件中间层的数据层、软件层,以及顶部的应用层和管理层(见图1)。模型的最大优点是运用模块化理念,明确区分硬件、软件、服务和管理,并融入精细化管理理念,使模型中的不同功能模块分担不同职责"。
在该模型中,虚拟层是承上启下的关键层,即采用服务器虚拟化集群技术,实现水文行业现有服务器资源整合与利用,从而构建一个功能相对强大、性能相对稳定的数据存储与处理中心,可为水文业务提供应用支撑平台。以长江水利委员会水文局长江上游水文水资源勘测局(以下简称“上游局”)为例,上游局从2012年开始尝试使用该项技术,从最开始的几台PC机组建测试环境,到现在十几台服务器、交换机、存储的联合运行。目前,虚拟化集群承载了上游局95%以上的应用,涉及面从单一的水情报汛工作扩展到各部门的综合应用服务,甚至还延伸到了合作单位与下属水文机构的各项服务应用。
2虚拟化技术原理
在计算机中,CPU以非连续的线性方式工作,各个计算元件通过排队占用CPU的计算资源,而这种微观下的线性工作在宏观现实中表现出并行的工作状态,通过计算元件并行到软件应用并行,再到系统并行,产生虚拟化(Virtualization)技术。虚拟化是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络及存储等予以抽象、转换后呈现出来,打破实体结构间不可切割的障碍,使用户可以采用比原本组态更好的方式来应用这些资源。一般所指的虚拟化资源包括计算能力、数据存储以及网络路由,而虚拟化技术则是用来创建这些虚拟硬件的技术[2]。
2.1服务器虚拟化集群
服务器虚拟化是将服务器物理资源抽象成逻辑资源,可将IT环境改造成为更加强大、更具弹性、更富有活力的架构。通过把多个操作系统整合到一台高性能服务器,上,最大化利用硬件平台的所有资源,用更少投入实现更多应用,还可简化IT架构,降低资源管理难度,避免IT架构的非必要扩张。
服务器虚拟化集群是指通过服务器虚拟化技术,将服务器物理资源抽象成逻辑资源,使多个逻辑资源相互关联,不再受限于物理。上的界限,让CPU、内存、磁盘、/0等硬件变成可动态管理的“资源池”,从而提高资源的综合利用率,简化系统管理,实现服务器整合,让IT对业务的变化更具适应性。目前,现代水文行业的发展呈现多样化,水文信,息化应满足各方面的需求,因此服务器虚拟化集群可选择“多虚多”的方式,即采用虚拟化软件,将多台物理服务器虚拟成一个逻辑服务器集群,再按需将其划分为多个虚拟环境,即多个业务在多台虚拟服务器上运行,见图2。虚拟化架构通过存储区域(SAN)网络让前端的服务器与后端的存储建立稳定的高速连接,存储提供虚拟系统的硬盘,SAN网络承担数据传输通道,服务器提供CPU、内存和各种接口,共同虚拟出多套逻辑意义的服务器操作系统,使用者仅需通过专用软件正常操作即可。
2.2优势
較传统服务器技术而言,服务器虚拟化集群技术已相对成熟,优势明显。
(1)充分挖掘资源,降低成本。虚拟化技术通过建立资源池,从而高效利用每一种资源,并针对每种不同的使用环境来合理划分所需资源,充分提高资源利用率。整个集群的全部硬件设备共同承载对外的软件服务,使用者只需关注整体的供给能力,性能不足时有针对性地购买相应资源即可。例如上游局运用服务器虚拟化集群技术,使其内存、CPU与硬盘的资源利用率达70%以上,充分利用了硬件资源,整体节约90%的经费支出。
(2)实现了虚拟机的在线迁移(onlinemigration)技术,又称为实时迁移(livemigration)技术。在保证虚拟机上服务正常运行的同时,虚拟机在不同物理主机之间进行迁移,为保证迁移过程中虚拟机服务可用,迁移过程停机时间非常短。迁移初期,服务在源主机运行,当迁移进行到一定阶段,目的主机已具备了运行系统的必须资源,经过短暂切换,源主机将控制权转移到目的主机,继续在目的主机上运行。对服务本身而言,由于切换时间短,用户感觉不到服务中断,因而迁移过程对用户是透明的。在线迁移适用于对服务可用性要求很高的场景,有效避免了因单台物理服务器故障导致业务中断运行的情况发生。
(3)简化服务器的部署、管理和维护工作,降低管理难度。虚拟化集群减少了必须进行管理的物理资源数量,隐藏物理资源的部分复杂性,通过实现自动化、获得更好的信息和实现中央管理来简化公共管理任务,实现负载管理自动化。在日常管理方面,虚拟化中心管理平台还可以将硬件故障进行集中显示和定向推送,是更高效和精准的硬件管理式。虚拟机操作系统支持多人同时登录平台对其进行维护,便于在该平台被多人同时登录维护,以前在现场才能完成的软硬件巡视任务,现在在一套虚拟化中心管理平台中便可轻松完成。最大限度优化了执行任务过程,提升了信息化管理制度的质量。
3劣势
虚拟化仍存在一些实施和管理上的缺点:①前期建立集群、后期管理主机、配置共享存储的技术难度较大,使用单位需要组织团队协同操作,在不断运用中总结经验才能发挥其功效,并伴随一定试错成本;②虚拟化集群的更新升级存在不利因素,当需要升级到更新版本的产品和硬件组件时可能存在困难,在集群环境中,需要同时协调多个虚拟主机服务器升级,这是具有技术挑战性的任务之一;③虚拟化不能解决所有问题,那些数据中心里不可或缺的资源必须部署在物理服务器上,进而合理的规避风险,为对外提供更稳定、高效的数据资源服务。例如,上游局核心数据资源则采用物理双机实时热备模式进行架构并对外提供服务。
2.4信息安全提升
在网络安全方面,在一台物理设备上运行多个虚拟操作系统是虚拟化技术的主要应用之一,这些虚拟操作系统之间、与主机操作系统之间相互隔离,尽管在同一台物理设备。上运行共享外设和网络,但是它们之间不能直接通信。虚拟化技术的隔离效果可以有效应对黑客攻击和应用程序的不稳定性,降低主机系统崩溃以及重要信息泄露的风险。利用虚拟系统掩护主机操作系统,为主机资源提供保护。
在数据安全方面,利用虚拟化模板技术、快照技术进行系统备份和系统恢复,可有效减小恢复代价,缩短恢复周期。建立虚拟机映像文件对整个虚拟环境进行备份,实质是备份几个映像文件,只需要恢复文件时加载映像文件,几分钟之内即可完成。而且,在不同物理设备和操作系统下进行数据恢复,可大大降低传统备份方式对软硬件的要求和恢复周期。传统的人工备份技术需要两个以上的物理设备同时运行才能保障业务的连续性,虚拟化技术的应用只需在同一台物理设备上建立虚拟节点或虚拟拷贝,便可提供热备份服务,在主节点没有业务需要处理时可以建立多个虚拟备份节点,动态提供备份服务。
3水文虚拟化应用
随着近几年水文行业各项业务对信息化依赖程度的逐步提高,信息化设备的需求也快速增加。如应用原始单机服务器,将产生大量的设备采购费用,水文经济支出也将带来沉重负担;单机的离散型管理给水文信息化从业者带来巨大的维护工作量;当单机出现故障时会造成业务暂停和重要水文数据丢失的风险。按照“水文信息化7层功能模型”的定义,虚拟层是硬件层的最上层,直接衔接软件层中的数据层,为数据资源提供运行平台。在传统的服务器单机模式下,不仅要考虑数据层软件安全,还要考虑硬件设备故障带来数据丢失的风险,虚拟层可为数据层提供完备的硬件支撑,免去了硬件设备故障的担忧,数据层则只需关注软件层面的数据安全即可。
以上游局为例,2014年上游局便开始筹划构建一套完整的服务器虚拟化集群来应对今后的需求。经过几年的摸索与实践,上游局的服务器虚拟化集群已初具规模,由12台物理服务器、1台专业存储设备和多台千兆口交换机(包括SAN交换机)共同组建。该集群包含接近1TB内存空间,18TB硬盘空间,共运行包括实验环境在内的180套虚拟化操作系统,为上游局机关全体部门提供工作业务应用服务、测试研发的系统支撑,保证了上游局全部信息化相关业务的正常开展。在虚拟化集群中心端的控制下,当单台设备出现故障或性能下降时,应用系统可自动迁移至性能优良的环境中运行,不影响业务的正常开展。网络管理员可在统一管理平台中对多台虚拟操作系统进行集中管理,随时调整系统资源。当网络管理员需要检修硬件时,也可通过迁移清空该设备的对外服务,做到安全维护。如果集群中内存、硬盘或者CPU用量不足时可合理添加相应耗材。整体满足安全性、可维护性及经济性需求,避免了资源浪费。
3.1部門服务应用
水文行业建立的服务器虚拟化集群不仅可用于水文相关应用服务,还可为其他部门提供一体化的系统级应用。各部门不必单建机房采购物理服务器和维护操作系统,减少了各业务部门工作量,降低了技术难度,仅需核算应用需求,提出CPU、内存和硬盘的预估使用量,经行政部门审批后,将需求形成报告提交给网络管理员。管理员根据需求在虚拟化集群资源池中分配相应资源给业务部门。网络管理员统筹运维整体网络安全、数据安全访问控制和接口服务等工作,因此可更好地对外提供一体化信息服务,将全面兼顾应用的安全性、可靠性和稳定性,如外网映射需求、串口设备连接需求、网络安全防护隔离需求和数据库备份需求等。业务部门可将工作重点放在业务应用研究与实践上。这样明确的精细化分工与管理可有效加强水文行业各部门的合作,从而提高整体工作效率。
经过近年来的发展,上游局服务器虚拟化集群已完全替代了各部门单独的物理服务器,网络管理人员每天对虚拟化集群环境运维管理,确保软硬件正常运行和业务正常开展。目前,虚拟化集群已对外提供服务项目,除水情报汛与水文预报服务之外,还包括财务软件的服务支持、河道地形资料及数据库管理、档案系统与门户网站的运维管理、水环境监测数据管理、新设备新仪器应用技术支持以及部分特殊的如虚拟化桌面和虚拟化软件等应用。因此,水文信息化从业者可采用虚拟化技术结合精细化管理,制定规范流程,加强前期沟通、中期检查和后期总结,形成统一的信息化战略部署。
3.2水情分中心报汛应用
水情分中心在水文行业中承担重要的水情报汛任务,水情报汛流程包含原始数据接收、中间过程处理和成果数据发送。为保证水情报汛时效,各水情分中心工作人员应采用多种防护措施,包括数据处理流程中各项软、硬件的主备功能、多信道冗余等,使水情报汛过程涉及多套专用软件。如果全部采用传统软、硬件主备方案将会耗费大量的服务器资源,增加水情报汛人员的维护工作量。此外,当出现故障需要主备切换时,操作流程繁琐,不利于快速恢复报汛工作,报汛时效更不能得到保证。理论。上采用服务器虚拟化集群技术可解决上述问题,但多数水情分中心报汛人员为非计算机专业人员,如采用技术含量较高的方案应对水情报汛工作将难以推广。因此,推荐采用单机服务器虚拟化技术,即“一虚多”方案进行部署。
每个水情分中心最多只需2台高性能服务器即可完成全部软硬件的主备工作。在一台物理服务器上安装虚拟化平台,虚拟多套操作系统,分别承载不同的水情报汛软件,包括原始数据接收软件、中间数据处理软件、成果数据发送软件、水情值班软件、数据库软件、网络管理软件及临时测试软件等,在另一台物理服务器上建立一套完全相同的虚拟化应用,并作为备机使用,两台物理服务器采用心跳线连接通信,主服务器上所有虚拟化系统的操作全部利用心跳信道镜像同步,使备用服务器上的虚拟化环境与主服务器实时同步,包括数据库文件资料和配置信息等,全部备用系统始终为热机状态。一旦主服务器出现故障,操作人员只需通过现场网线拔插操作和简单的IP地址配置,即可完成主备切换。以图3中的核心数据库为例,当主服务器上的核心数据库所在虚拟化系统出现故障时,只需拔掉主服务器上对应的网线,插上备服务器对应的网线,再在备用核心数据库虚拟化系统中进行数据库镜像同步,停用操作就可正常使用,过程简单方便。虚拟化还可根据需求定制操作系统,以便水情分中心网络管理员切换实验和新旧操作系统,并释放旧系统资源。