私有云安全云管平台关键技术与应用研究*

王树太，吴 庆，王 振

（杭州迪普信息技术有限公司，浙江 杭州 310051）

0 引 言

云计算是以数据资源的形式向用户展示存储功能，其安全问题是被关注的焦点，将安全问题分为两类，分别是设备部署在云环境中需要的新防护手段和引入的新安全问题[1]。伴随计算机技术在各行各业中的广泛应用，传统数据中心因为虚拟化技术增加了安全设备识别难度，已经不能满足目前海量数据的存储，给数据集中带来一定安全风险。而云计算环境就是将存储与网络整合为一体，通过虚拟化设备以及动态网络资源实现数据中心的池化与管理[2]。

随着云技术的不断发展，公有云、私有云所提供的业务与不同行业、领域开始互相融合，在一些行业的具体应用落地方面也有了较大突破，公有云、私有云的应用不再局限于互联网、IT 企业，随着技术的逐渐成熟开始渗入到了银行、智能制造、轨道交通等诸多行业中。相比公有云，私有云具有部署本地化、运维本地化、可管可控、带宽扩展灵活等特点而受到客户青睐。

私有云，可部署在企业数据中心的防火墙以内，也可部署在托管数据中心，私有云的核心属性是专有资源，同样具备云计算的三层架构，即IaaS（基础架构即服务）、PaaS（平台即服务）、SaaS（软件即服务）。私有云系统平台是指能够帮助企业快速构建云计算基础架构的系统软件，主要包括提供计算、存储、网络等基础IaaS 云平台和提供应用运行环境的容器云平台[3]。

公有云如火如荼的发展，促使国内外出现大量的公有云提供商，例如亚马逊AWS 云、微软Azure 云、阿里云、腾讯云、华为云等。从云计算业务支撑到云计算安全相关内容，公有云利用其平台集成优势和环境便利，通过认证合作方的方式，在公有云上提供了全套的应用和安全解决方案。而私有云建设方面，由于政府、企业相关的全套技术和人员储备无法与公有云的投入相匹敌，所以存在一定的差距，通常采取计算、安全等分开建设，分步实施的方式进行。

私有云安全集中化部署、集中化管理的需求，一方面带来了极大的便利，提供了更好的灵活性；另一方面也带来了新的安全问题和新的挑战，例如内部流量不可见、主机内部的虚拟机缺乏有效的隔离措施等。

1 私有云环境安全面临的挑战

在传统的数据中心中，其网络往往采用接入层、汇聚层和核心层三层架构，对网络资源通过功能分区的方式进行部署，区域之间通过划分VLAN 结合访问控制的方式进行逻辑上的隔离，或者直接进行物理上的隔离。数据中心网络与外网之间一般通过硬件防火墙设备来进行隔离。而云数据中心通过对资源的虚拟化打破了传统数据中心网络的物理边界，网络从三层架构转变为逻辑上的大二层网络，这也为如何保障云数据中心的安全带来了挑战[4]。

1.1 私有云主机内部虚拟机互访流量难于管控

在私有云环境中，主机内部的多个业务虚拟机之间的互访流量可以直接通过主机内部的虚拟交换总线进行交换，无需通过外部设备转发，因此，私有云数据中心的虚拟化平台内部虚拟机之间的交互流量无法使用传统的流量审计、流量分析、流量管控等手段进行管理和控制。流量在内部完成了转发，安全防护设备无法获取私有云虚拟化主机内部已经进行转发了的流量，对于内部威胁的发现，病毒、攻击的检测就无从下手，甚至连基本的访问控制业务都不能在虚拟机外部完成。在私有云出口边界部署的传统防火墙只能获取从外部到私有云内部的流量，无法对虚拟机内部的流量进行过滤和防护，同样也无法提供相应的访问控制策略。另外，私有云内部的虚拟机可能会随着业务的变化随时发生不同的变化，例如，为了一次新的线上活动，可能临时增加大量新的业务虚拟机，且业务虚拟机前后的Web 和中间件之间的交互流量会由于活动的高峰期出现较大的波动，再者可能由于内部出现APT 类型的渗透和业务服务器之间的跳板攻击时，私有云资源池外部的安全设备防护等无法检测到资源池内部的业务流量变化和攻击态势的发展，也就无法采取相关的防护措施适应环境的变化。

1.2 业务虚机间缺乏有效的安全隔离措施

在传统的数据中心内，不同的应用分布在不同的物理服务器上，在靠近物理服务器的位置会部署安全设备，比如防火墙、入侵防护、Web应用防火墙（Web Application Firewall，WAF）等，用以提供边界隔离、入侵检测防护、Web 应用防护等安全保护。当服务器虚拟化后，在物理服务器内部存在多个业务虚拟机，每个业务虚拟机承载不同应用，同时，在物理服务器内部，由于虚拟化引入了新的虚拟网络层，即同一物理服务器内部的不同虚拟机间的流量可以通过内部的虚拟交换机直接通信，不再通过外部的物理防火墙，因此，原有的安全防护机制会部分失效。同时，这也导致我们在安全运维管理上希望监控应用间的通信情况的期望，在私有云的场景下变得难以实现。

1.3 私有云提供弹性扩展、动态迁移便利的同时，给安全防护带来新挑战

私有云的一个重要的特性就是动态灵活的资源池内部迁移技术，业务虚拟机可以在数据中心内的不同物理主机间进行运行时不停机迁移，或者跨不同数据中心进行不停机迁移，业务虚拟机所运行的网络、存储、计算资源环境都发生了相应的改变，传统安全防护、安全管理所采用的预先设置好访问控制、安全防护、安全检测等基础安全策略的方法就无法满足私有云弹性扩展的安全策略和动态变化的安全防护需求。安全运维策略无法同步对迁移后的业务虚拟机提供相应的变更和适配，这一问题带来了安全运维上的挑战，传统的解决方案无法满足私有云弹性扩展、动态迁移的安全防护需求。

1.4 与公有云存在运维、运营管理差距

与私有云相比，公有云在成本方面具有更大的透明度，这使得企业能够测算和控制费用。私有云部署几乎没有行之有效的收费功能，因此，它们要复制公有云按使用量收费的模式。为了与公有云竞争，私有云需要有近乎即时的预配置、自动化和自助服务。对于企业IT 来说，这是一个巨大的挑战，因为他们可能要处理数百个应用程序。公有云服务提供商通常都会有数十名工程师负责对平台进行创新，负责将机器学习和人工智能集成到他们的产品中。这是企业IT 部门无法企及的资源[5]。

2 私有云云管平台解决方案

随着私有云建设的持续深入，虚拟化、云资源池化的技术不断改进，私有云在计算、存储、网络等资源管理和运维上积累了大量的经验。伴随着网络资源的虚拟化推进，安全防护能力的虚拟化、组件的云化部署逐渐进入人们的视野。云计算相关技术的发展，OpenStack 平台的日趋成熟，使得云平台对于计算资源、安全资源的管理有望出现融合的趋势。既然安全类的产品可以进行虚拟化，那么是否可以与业务一致，统一管理，内部引流，通过SDN 引流和编排等技术，完成业务、安全的统一管理和编排，提升整体运维的简单程度？

私有云技术逐步趋于成熟，相应的私有云规模也出现爆发式的增长，随着规模的不断扩大，私有云对安全防护、安全运营和运维也提出了更高的要求，表现为：

（1）高性能、低时延要求

私有云数据中心不断增长，业务流量的需求不断创新高，这也就要求安全防护平台需要有更高的性能以支撑业务的发展，同时安全防护平台对业务时延、吞吐量、新建等指标的影响也成为考虑的重中之重。

（2）高可靠性、高连续性要求

在传统的IT 网络中，高可靠性要求通常通过成熟的可靠性方案来保障，私有云数据中心由于所有业务、数据都在私有云内部运行，这也对可靠性提出了更高的要求。另外，整个私有云数据中心的连续性要求由业务中要求最严格、最高的业务决定，这也就使得业务连续性要求较高。

（3）安全能力、弹性扩展能力

私有云数据中心自身具有弹性扩展，可以按照业务自由扩充业务虚拟机。这也就要求私有云数据中心的安全防护产品和安全防护解决方案同样能适配计算资源的弹性扩展和动态变化的需求。

（4）安全防护业务平台化

私有云数据中心的运维、运营统一由私有云数据中心进行管理，类似的安全防护业务的平台化运营、运维也就成为一个刚需，不同的行业客户对于平台化的安全防护能力资源池的需求也表现出统一的需求。

（5）多租户、多业务隔离

私有云多租户、多业务隔离的特点，同时也要求安全资源池能按照租户、业务进行隔离，并提供资源池内部隔离的安全防护能力和安全特性。

2.1 云管平台建设整体思路

私有云云安全管理平台的总体建设思路为利用物理资源构建虚拟化资源池，在虚拟化资源池基础上构建能力资源池，对运维用户提供管理门户，对租户提供独立租户门户，平台一方面充分考虑运维的需求，另一方面对私有云的安全运营做出充分的考虑和设计，通过工单控制将租户到管理员运维流程打通，形成整体的管理平台，平台整体架构如图1 所示：

图1 私有云云管平台总体架构

（1）物理资源

整合服务器、存储、网络设备、安全设备、应用交付等硬件物理设备和资源，通过对此类物理资源的管理和整合，形成私有云基础的物理资源运行管理能力[6]。

（2）虚拟化资源池

基于物理资源，提供虚拟化资源池、网络资源池、存储资源池，以此提供整个云管平台的能力承载，基于虚拟化资源池提供虚拟的运行环境；网络资源池提供业务调度和业务编排等能力；存储资源池一方面提供运行的存储池，另一方面提供运维、运营等管理的数据存储和落地。

（3）能力资源池

能力资源池由运营能力、安全能力、运维能力三个主要部分组成：运营能力主要提供私有云云安全的运营相关能力，包含租户、租户资源的管理、安全能力的定价、运维运营工单、租户的自服务门户支撑、原有租户的账户对接等能力；安全能力主要提供实际的安全防护和应用优化方面的能力，包含流量清洗、防火墙边界隔离、VPN 接入、入侵检测、Web 应用防护、应用负载、行为审计、日志审计、业务堡垒机等；运维能力主要从资源的监控、安全资源池的故障自检、池内拓扑管理和流量可视化管理、运维日志审计、告警管理、运维报表、能力资源池授权管理、租户运维管理等角度，提供给私有云安全资源池管理员一个统一的运维管理入口。

2.2 云管平台关键技术

（1）软件定义安全

软件定义安全（Software Defined Security，SDS） 是 从 软 件 定 义 网 络（Software Defined Network，SDN）引申而来，旨在通过物理或虚拟资源的有效集成和标准化，提供更灵活的软件定义能力。可定义的功能包括特定的安全保护规则、流向和业务所需的安全保护。软件可以根据不同的业务进行安全功能定义，也可以根据不同来源的安全防护能力为不同客户定义不同的安全防护功能组合。

（2）微隔离及虚拟网络可视化

微隔离技术本质上来说就是一种适合于虚拟化内部的网络隔离技术，主要面向虚拟化的数据中心场景，用于阻止攻击或者威胁在虚拟化内部横向移动和扩散的一种技术。伴随着微隔离而衍生的虚拟化内部网络可视化技术，通过对虚拟化内部的网络流量和业务流量的数据采集，提供内部流量和业务的可视化能力。

云计算和传统IT 架构相比，具有资源共享、灵活的特点，正因为这些特点，原来传统网络的可信任边界被彻底打破，业务与业务之间、业务内部不同虚拟机之间，都无法通过传统的安全隔离手段来达到现有的隔离效果。目前公有云的解决方案中，采用的Agent 代理方式实现云主机的监控、隔离等手段，这种手段在私有云中同样适用，通过Agent 的采集，不同的业务虚拟机的数据可以被云管平台利用，一方面可以用于云内资产的可视化管理；另一方面可以借助Agent 提供更多的控制能力。

私有云云管平台可以借由提供安全能力的微隔离组件或者主机、虚拟机上安装的Agent，提供更丰富的安全分析和安全管控能力。Agent探针记录大量虚拟主机安全事件和业务虚拟机的主机行为审计事件，并将这些数据发送到云管平台，由管理平台对日志进行集中的归一处理并进行安全关联分析，通过数据的细致化采集并进行深度的安全分析，可以提供更细层面的安全风险评估和安全问题追踪。

（3）安全功能虚拟化

将原有的专用设备上才能运行的安全功能在通用的服务器硬件平台上进行虚拟化处理，主要期望降低专用安全功能对硬件承载平台的依赖，降低部署时间、部署难度，以及建设和运维的总成本，提供网络和安全功能的一体化运营、运维的能力，改善安全能力的适配性。

（4）安全能力资源池化

安全能力资源池是指基于虚拟化技术提供的各种安全能力虚拟机的合集，包括防火墙、入侵防护系统（Intrusion Prevention System，IPS）、WAF、日志审计、数据库审计、虚拟专用网络（Virtual Private Network，VPN）、漏洞扫描、配置核查、堡垒机等安全组件，利用网络功能虚拟化（Network Function Virtualization，NFV）技术进行安全能力池化部署，通过虚拟化的灵活扩展、按需拉起、虚拟化层可靠性，将原有物理网络需要通过多种安全硬件才能实现的安全防护能力和安全检测能力整合，形成真正意义上的安全能力资源池，具有随时实例化、按需扩容、池化级高可靠性等特点。

（5）安全能力组件编排

基于安全能力资源池化的基础，通过Overlay 网络技术以及资源池内部安全服务编排等技术，实现安全能力组件的按需组装、灵活编排、动态管理。通过安全能力组件的智能化编排技术，为私有云内的租户提供动态、灵活的选择，私有云租户可以自行决定业务所需要采用的安全防护的技术栈，按照实际需求进行安全防护能力的编排和采购。当安全运维人员决定采用相应的安全防护能力时，只需要简单地进行资源申请、编排和部署就可以交由云管平台的运营组件自动化地完成。云管理平台会自动拉起对应的安全NFV 虚拟机，编排业务流量需要经过的安全NFV 虚拟机的先后顺序，更新对应租户的日志和数据采集方式、集中采集地址，从而实现完整的编排和采集，达到灵活定义租户自己的网络和安全业务的目的。

（6）平台级别安全业务联动

平台基于内部微隔离技术、可视化技术、虚拟资源和虚拟网络监控技术，一方面可以提供细粒度的运维监控能力；另一方面借由采集的数据，结合安全组件和安全能力采集的安全日志和异常流量情况，综合进行处置动作的灵活编排和触发，通过平台统一进行调度和业务联动，可以形成虚拟化资源池内部的整体有机结合的安全防护和业务联动方案。

基于上述技术的安全业务联动，是一个体系化的安全系统工程，从网络隔离层、数据监控层、网络安全检测层、网络安全处置层进行了充分的整合，从而形成更有效的防护体系。

3 云管平台应用场景分析

云管平台作为安全资源池的管理和运营平台，可以为不同的云环境和云场景提供运营、运维、资源调度、安全监控等能力。为不同私有云场景的用户提供相应的服务增值、运维增值、运营赋能。

3.1 运营商私有云

运营商通过建设私有云安全资源池，为IDC机房、政企用户提供运营商级的安全防护能力解决方案，通过运营商的流量覆盖能力，使得所覆盖的客户均可以通过将流量牵引至运营商的私有云安全资源池中进行防护，从而为运营商原有的流量用户提供安全能力的增值服务。通过运营商自建的私有云安全资源池，一方面可以将不同厂商的安全能力虚拟化后提供给不同的租户；另一方面可以给云上用户提供专业级的数据中心运维能力，从安全可控、灵活运维角度为运营商的用户提供专业的服务。

随着5G 应用的不断深入，边缘计算的兴起，边缘侧的业务如何进行赋能成为业界的新热点，业内也期望通过不断新的尝试，探索出新的应用场景和路线。边缘按照所应用的位置可以分为边缘云和边缘终端两个部分，其中，边缘云是云计算与网络边缘侧进行融合而产生的新技术形态，是未来产业关注的重点，是连接云和边缘终端的重要桥梁。运营商利用边缘云的建设资源，在边缘云侧提供安全资源池的能力，为边缘云建设提供安全防护和运维能力。

3.2 政务云

近年来，政府越来越重视国民生活问题。政府加快公共服务向政府转移，深化电子政务，推进国家治理现代化。采用基于云计算技术的电子政务建设模式，为政府提供横向整合信息资源的机会、系统和基础设施的使用，以提高总体硬件支持和使用率。建立健全电子政务平台信息安全体系，加强安全可靠的软硬件产品集中应用，确保政府信息系统安全可靠使用。将政府数据和社会数据整合到大城市数据中，通过跨域数据融合分析，实现对城市运行的理解和预测，为共同治理的创新应用提供信息支持。

政务云通过建设统一的硬件，在硬件平台基础上构建云计算、云安全平台，可以将统一采购的资源进行云服务化，最终为政务云的客户提供更健全、更全面的安全租户服务。政务云通过云安全管理平台，为政务云上的数据、政务业务，提供更灵活的安全防护，更便捷的安全运维，从而提升整体的灵活性和可用性。

3.3 金融云

金融机构私有云的安全需求主要来自 三个方面。一是传统安全威胁，例如DDoS 攻击、“僵木蠕”威胁、业务系统威胁、主机威胁、恶意代码病毒等。二是云计算技术引入新的安全威胁，包括云服务提供者和使用者安全责任、云平台与租户业务系统的等级保护合规性评估、云技术带来的云内安全等。三是自身安全需求，即不同客户自身管理模式、业务模式等特色安全需求[7]。

云管平台利用资源池化的FW、IPS、WAF等传统防护资源的虚拟化解决传统的安全防护，通过运营能力的集中化管理解决云内安全，从而提供金融云有效的解决方案，可以为金融云的云安全落地和建设提供一个新的解决方案，也可以为金融云内部不同的应用部门提供业务租户级别的安全引流和安全隔离方案，通过内部流量的监控和安全防护，提供跨业务横向的安全防护能力。

4 结 语

私有云的发展，使云计算进入了各行各业，安全防护的需求也随之不断增多，私有云云管平台可以在私有云的基础上提供多租户、微隔离、虚拟化、流量可视化、安全业务编排等功能和业务，为云计算平台提供更为灵活的安全解决方案。为运营商云、政务云等私有云环境的租户提供安全能力编排服务，为资源池的运营管理、运维管理等提供支撑，使私有云能更好地为用户提供安全防护、安全运维和运营管理。