云计算与虚拟化在智能煤矿建设中的应用
2022-06-30马小龙
马小龙
(国家能源集团陕西神延煤炭有限责任公司,陕西 榆林 719000)
煤矿使用云计算技术通常采取从外围系统开始逐步迁移的实施路线[1-4]。辅助性业务系统安全等级较低,系统问题不会导致巨大的业务风险。普遍考虑将渠道类系统、客户营销系统和经营管理等辅助性系统尝试使用云计算,从而提升系统管理的灵活性,降低运营成本,同时也大幅提升了相关的用户体验。不同类型的煤矿对云计算的应用路径也存在较大差异,不能一概而论。比如中大型煤企由于传统信息化基础设施投入大,有专职技术部门,安全要求更加谨慎等原因,一般选择沿用采购软硬件产品自行搭建混合云并独立运维。而小型煤企由于资金、人力等原因一般不会选择混合云部署模型,更倾向选择行业云。中大型煤企在传统核心架构云化演进过程中主要关注如何提升系统上线的速度、降低成本和提升运维效率。
1 煤矿云化建设方案
1.1 基础设施云建设关键技术及架构
煤矿云服务主要分为基础设施即服务(IaaS)、平台即服务(PaaS);IaaS 服务涉及服务器虚拟化、分布式存储软件、云平台软件、SDN 控制器;PaaS 服务通常覆盖Docker 容器、应用管理、开发测试DevOps、微服务框架Spring Cloud[5-7]。从生态能力、技术可控、后期运维角度考虑,对关键技术采用开源路线,如:Openstack 技术、KVM 技术、SDN 技术、Ceph 技术、容器技术等。
从煤矿云对业务平台支撑的角度出发,云平台采用“1+2+N”的整体架构[8-10],即:1 个基础设施层,2个云服务能力层(IaaS+PaaS),N 个业务中心(开发测试云、生产云、互联网煤矿云、行业云)。通过基础设施层和云服务能力层构建出支撑业务单元所需的云资源,根据业务单元的不同属性,可基于云平台能力衍生出开发测试云、生产云、互联网煤矿云、行业云;根据不同场景煤矿云的业务要求,可采用物理隔离或逻辑隔离方式来资源的隔离性。煤矿云架构全景图如图1。
图1 煤矿云架构全景图
1.1.1 基础设施层
基础设施层包括运行云平台所需的云数据中心机房运行环境,以及计算、存储、网络、安全等设备。云中心机房的部署按照分区设计,可分为数据库区、业务应用区、存储区、系统管理区、网络出口区和安全防护区等区域。
1.1.2 IaaS 服务层
云服务能力层包含基础服务IaaS 层和平台服务PaaS 层。通过云计算虚拟化技术对底层硬件资源进行抽象,有效的屏蔽因底层硬件的差异化所产生的运维问题,通过云平台异构资源管理能力实现资源的统一服务、统一调度、统一运维。主要包括x86计算资源与小型机资源的统一管理,分布式存储与FC 存储的统一管理,SDN 网络虚拟化与云平台融合、安全资源池与云平台融合。
典型的IaaS 服务功能包括云主机、云存储(云数据盘、对象存储)、云数据库服务、云防火墙、云负载均衡和云网络(租户子网/IP/域名等)。IaaS 层服务向PaaS 层提供开放API 接口调用。
煤矿云平台对计算中心内基础架构整合、应用整合,从业务逻辑方面分析,可以分为处理域业务、分析域业务、管理域业务、开发测试业务、云管理平台等,按照煤矿云平台业务的具体需求特点,规划了差异性的资源池,有效的支持煤矿业务发展要求。云计算中心内资源池总体逻辑框架被分为了5 大池区:业务资源池、专用PaaS 资源池、云管理区、安全资源池、存储资源池。IaaS 服务覆盖计算服务、存储服务、网络服务、云安全服务、云运维服务、云运营、云容灾服务。
1.1.3 PaaS 服务层
PaaS 对底层的集群管理和资源调度进行了平台化抽象,全方位支持应用创建、编译、集成、编排、部署和运行的每1 个环节,提供1 个高效、高可用的应用运行环境。基于Dokcer 容器服务能力可以更好的支撑敏态类应用,也可以支撑基于微服务框架开发的应用,在PaaS 平台融入云原生所涉及的ServerLess 等技术能力,构建云原生应用。
PaaS 平台应对煤矿行业的具体需求,以容器服务和虚拟机作为运行环境,以数据库和中间件作为支撑,提供应用管理、微服务治理、DevOps、大数据等核心场景能力,向下对接IaaS 平台的基础资源,向上以平台方式提供服务。
1.2 云容灾方案
从煤矿云信息化建设发展来看,最重要的是数据,因此将数据保护放在首位。在煤矿云数据中心中部署备份平台,实现对业务系统及数据的集中备份保护;采用全局的源端重复数据删除实现对整体云计算平台下的虚拟机和物理机进行数据保护,降低带宽使用率与提高VTL 介质空间的使用率。灾备平台在单个数据中心内采用多个灾备平台节点,可根据业务数据量情况部署,每个灾备平台节点都采用软件模式部署在服务器上,都具备灾备计算能力与网络吞吐能力,后端备份介质统一采用虚拟带库VTL,VTL 可根据实际情况接入到网络中,实现与灾备平台的链路互通,实现本地数据保护。
将设备进行初始化后,在每个需要进行备份保护的物理业务平台系统上安装备份客户端代理程序,虚拟化平台则采用无代理备份模式,然后针对每业务系统及其数据类型、数据量大小、数据重要程度等,分别制定合理的备份策略,策略制定完成后,将自动按照调度计划定期定时或者实时地备份相关数据。安全技术功能服务组件框架如图2。
图2 安全技术功能服务组件框架
1.3 云安全方案
随着煤矿建设一体化云平台,需要针对云平台的安全体系进行规划。依据国家等级保护要求和行业监管的安全防护要求,基于煤矿现有安全体系之上针对云环境下的技术安全进行补充和完善,实现统一云平台统一安全管理。参考业界云平台安全技术架构方法结合现有的安全技术,提出煤矿统一云平台安全技术架构框架。每个定义的安全技术功能服务组件,都能够形成独立安全服务平台,用于实现煤矿统一云平台的安全目标。
1.4 云运维管理平台
随着煤矿云平台的建设,网络环境日趋复杂,业务系统规模日趋庞大、架构日趋复杂,基础设施越来越多,对云平台的稳定性、可靠性要求也越来越高。为应对云平台引入给运维工作带来的变化与挑战,建议从组织、流程、工具运维管理三要素的视角全面考虑应对的措施,使现有运维管理体系能够应对云环境下运维管理的挑战。
煤矿云平台运维管理平台主要由监控管理模块、运维流程模块、运维报表模块、运维管理门户模块4 部分组成。
1)监控管理模块是整个煤矿云平台运维管理平台的基础,监控管理模块应实现对云平台的安全设备、网络设备、服务器、存储、操作系统、数据库、中间件、应用系统、虚拟化等IT 基础设施和机房等的统一监控和管理。
2)运维流程模块提供对运维服务管理流程的统一定制和集中管理功能,用来定义流程的活动以及各流程之间的联系和接口,理清运维部门与业务部门之间的关系,提供运维服务与业务整合的途径,提高运维工作质量、降低服务成本。
3)运维报表模块应具备运维报表生成的灵活性和呈现的多样性,能满足煤矿云平台运行状况展现的需求,通过它能够有序地展现运维监控和流程相关的所有管理指标,通过报表设计器生成各种运维数据分析报告和图表,全面地呈现信息系统的设备资源、告警统计、安全告警、运行状况等,为故障诊断、领导决策提供科学的、可量化的决策依据。
4)运维管理门户为运维平台提供精准数据视图支撑,煤矿云平台运维管理门户应具备将日常运维过程中关键云资源的关键性能指标、云计算中心拓扑图、业务运行总览、业务状态信息、资产配置总览、运维流程工单视图、集中告警视图等数据进行集中展现,并支持分角色、分帐号工作台,满足不同岗位人员数据关注需求。
2 虚拟化在智能矿山建设中的应用与发展
2.1 虚拟化管理技术
虚拟化技术将计算、存储等物理资源池化,为用户提供弹性扩展的资源,解决了硬件资源利用率低、业务部署周期长、运维管理复杂等问题。数据中心服务器建设引入虚拟化技术,将物理资源划分为不同性能的逻辑单元,并构成计算、存储资源池,灵活为各业务系统提供所需资源。通过精简服务器的数量,整合IT 基础设施资源,精简IT 操作,提高管理效率,达到提高物理资源利用率和降低整体成本的目的。同时,利用先进的云管理理念,建立安全的、可审核的IT 系统环境,为业务部门提供成本更低、服务水平更高的基础架构,从而能够针对业务部门的需求做出快速的响应。
服务器虚拟化之所以能够在数据中心快速广泛应用,其根本原因是能够使用更少的资源承载更多的应用。IT 管理员只需要管理少数物理服务器,就可以使数据中心更有效率,同时,更少的服务器意味着更低的能耗、更少的占地面积与制冷成本。归根结底,服务器虚拟化为数据中心带来了更优的ROI(Return On Investment,投资回报率)。除了服务器虚拟化本身技术带来的高ROI 之外,虚拟化性能监控同样可以更多的ROI 价值。
2.2 虚拟化架构
虚拟化架构由CVK 和CVM 2 个核心组件组成。
1)CVK(Cloud Virtualization Kernel)。虚拟化内核平台:运行在基础设施层和上层客户操作系统之间的虚拟化内核软件。针对上层客户操作系统对底层硬件资源的访问,CVK 用于屏蔽底层异构硬件之间的差异性,消除上层客户操作系统对硬件设备以及驱动的依赖,同时增强了虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等功能。
2)CVM(Cloud Virtualization Manager)。虚拟化管理系统:主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化管理,对上层应用提供自动化服务。其业务范围包括:虚拟计算、虚拟网络、虚拟存储、高可用性(HA)、动态资源调度(DRS)、虚拟机容灾与备份、虚拟机模板管理、集群文件系统、虚拟交换机策略等。
2.3 云计算和虚拟化技术在智能矿山中的发展
随着煤矿建设向数字化和智能化转型,利用虚拟化技术可以实现物理资源和资源池的动态共享,提高了资源利用率、使用灵活性和安全性,大大降低了企业成本。针对煤矿采煤系统、运输系统、掘进系统、机电系统、排水系统、通风系统,露天煤矿穿爆、矿卡无人驾驶、灾害预警、生产及辅助等系统终端采集的数据量庞大,系统分散,管理维护成本高的缺点,可以通过云平台实现数据的存储、融合,最终实现实时查询、实时监测、无人值守、分析预警等功能,帮助管理人员快速准确地做出决策。
3 结语
云计算、虚拟化技术为智能矿山业务系统搭建提供了一种优质、快速、低成本的解决方案,其使用业务场景也越来越广泛,目前已经在煤炭行业开始了广泛应用,随着国家加快煤矿智能化建设步伐,云计算、虚拟化技术必将不断迭代提升,助力煤矿智能化建设开启新征程。