云环境下的虚拟网络智能监控分析关键技术研究与应用

陆宏波

摘要：该文主要研究云环境下的虚拟网络智能监控分析关键技术在电力行业的应用，首先论述了网络安全对电网安全稳定运行的重要性，虚拟网络监控对网络运维的重要辅助作用；然后分析了国内外在虚拟网络安全领域的应用技术发展；最后根据电力系统特点，设计了虚拟网络智能监控分析系统。

关键词：云环境；虚拟网络安全；智能监控分析；电力行业；运维

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）22-0056-03

1背景

电力信息通信网作为电力系统的专用网络，为电力系统的生产安全、稳定运行提供了重要保障。电力系统中物理空间对信息空间的高度依赖性，也使网络安全的可靠性决定电力系统的安全性。在电力系统中，风险的传播方式具有明显的耦合性，即信息系统受到的故障破坏、网络攻击会通过各子系统影响到大量的量测、控制终端设备的监测能力，从而会进一步影响到电力系统物理空间设备的正常运行。

随着国网的不断发展，业务越来越繁多，业务之间的关联越来越复杂，而不同的业务对于底层基础网络的需求也不尽相同，有的业务对于时延非常敏感，要求底层基础网络可以保证低延时；而有的业务对于带宽需求很大，要求底层基础网络可以提供无阻塞的高带宽快速转发。在这样的情况下，传统的业务和网络紧密耦合的情况将越来越难满足现今多业务发展的情况，而为每一种需求的业务独立建设一张底层物理网络，不仅成本高昂，而且规模和管理都变得不可控。所以业务和底层网络解耦变得越来越重要，而虚拟网络通过在同一张底层物理网络基础上overlay不同的网络来满足不同的业务，很好地解决了这个矛盾。同时虚拟化带来了降低成本，业务部署灵活，支持业务平滑迁移，网络弹性伸缩等优点。但是因为虚拟网络无论从网络架构、网络设备以及流量转发等方面都与传统物理网络截然不同，因此对于传统网络运维管理来说是一个巨大挑战，具体体现在如下三个方面：

1）传统网络下，网络流量通过网络硬件设备如路由器、交换机等进行转发，而传统网络管理工具通过网管协议等与网络硬件设备交互，从而可以获取清晰的网络信息，从而对传统网络实现拓扑自动呈现，流量追踪，故障定位等。但是在虚拟网络中，网络流量通过虚拟主机及虚拟交换机进行转发，传统网管协议不再有效，流量甚至不经过物理网络设备。因此虚拟网络对于传统网络管理工具而言完全不可见，传统网络管理工具对于虚拟网络中的故障、流量、性能等无能为力。

2）传统网络边界分明，通常内部边界终止于TOR交换机，而外部边界终止于边界路由器或边界防火墙，可以用非常分明的界限画出传统网络的边界范围。而传统的网络管理工具也依据此进行开发和发展。但是在虚拟网络环境下，网络边界不再明晰甚至不存在一个明确的网络边界，对内，网络边界不在止步于TOR交换机，而是向下延伸至服务器内部，尤其对于同宿主机间不同虚机间流量，往往通过虚拟交换机就进行了转发，而不经过任何物理网络设备；而对外，因为NFV在网络中的应用，边界也不再終止于明确的物理网络设备，而是延伸至提供NFV功能的相关服务器中。加上Service Chain技术在虚拟化网络中的应用，流量往往在服务器内部进行了相应的转发，而不再经过物理网络设备。因此传统的网络管理工具在这种环境下不再有效，不再能探知明确的网络边界，对于虚拟网络内发生的一切都不可知。

3）传统网络中，业务部署于硬件服务器上，而硬件服务器的位置相对固定，很少改变。而随着业务的不断发展扩大，企业对于业务的高可用性及灵活部署的需求越来越高，传统网络的这种特点很难满足企业的新的需求。而虚拟网络环境中，业务部署于虚机上，通过虚拟网络或大二层技术实现数据中心内的二层联通，甚至跨数据中心的二层联通，基于此同时满足了业务的高可用性（双活或多活）以及业务的灵活迁移。而传统网络管理工具是为传统网络运维管理而开发，因此并没有考虑到这种业务平滑迁移的情况，因此传统网络管理工具无法感知业务的平滑迁移，因此在这种环境下，传统网络管理工具再次失效。

针对国网网络监管现状，研究设计虚拟网络智能监控分析系统，系统基于SDN软件定义网络技术，原生支持云内Vxlan+Oveday架构的虚拟网络，理解云内虚拟网络和资源映射关系，采用虚拟探针获取虚拟网络东西向流量，并通过大数据分析技术为用户提供高性能的资源池虚拟网络可视化和分析能力，同时也能提供基于TCP会话的Session级取证能力和NPB网包分发功能等增值应用，可以满足虚拟网络日常运维、分析、取证、免责等需求，解决国网虚拟网络流量无法监控的问题。

2国内外研究比较

虚拟网络技术研究虽然早就已经出现，但是直到近些年才逐步普及并且高速发展，因此对于虚拟网络的管理和分析就相对滞后。目前国内对于虚拟网络的流量监控依然是一个空白领域，缺乏行之有效的手段；而国际上在近年出现了一些对于虚拟网络流量监控的成熟方案和产品，主要掌握在网络和虚拟化的传统厂商手中。这其中以VMWare、Cisco和Gigamon为主，均推出了虚拟网络流量监控的解决方案和相关产品，并已有商用案例。但是因为国内外情况不同，加上以上厂商大多属于传统的网络大厂，其更核心的利润来源于已经成熟的虚拟软件或网络硬件设备，因此这些方案各有缺陷。经过细致的调查研究，对于这三家主流的虚拟网络流量监控的方案有了深入的了解和细致的分析。VMWare的方案主要针对VMWare的虚拟机的状态监控，如虚机的状态，资源占用情况，虚机的出流量及人流量统计等。但是对于流量的组成、应用及流量间的关联关系等没有任何的监控和分析；Cisco在2016年7月推出其数据中心网络监控平台Tetration可以实现对于数据中心虚拟网络的流量监控，其功能全面，但是因为Cisco本身是业界知名的网络设备硬件厂商，而其利润主要来源于硬件，因此Cisco的Tetra-tion也有其应用局限性，只能用于采用了Cisco Nexus9000系列交换机的网络中，对于采用其他厂商设备甚至Cisco其他系列设备的网络则无能为力；而Gigamon的方案则完全聚焦于虚拟网络的流量采集，对于采集后的数据则没有任何的分析功能，需要配合第三方数据分析工具协同工作。endprint

3系统体系架构研究

目前业界对于虚拟网络的监控分析主要思路分为数据采集、数据分析和分析结果的可视化呈现三个步骤。而这其中最主要的思路和方式的区别在数据采集部分，因为虚拟网络不同于传统物理网络，无法采取通过网络管理协议与网络设备进行交互的方式获得相关数据信息，因此只能从数据本身人手。

目前对于虚拟网络的数据采集主要分为两类，其中一类是通过在业务虚机上安装插件或代理，将数据直接导出或经过简单处理后导出；另一类是通过在同宿主机上启用独立虚机，通过虚拟交换机将业务虚机流量镜像至该独立虚机，再通过该独立虚机上的相应软件将数据进行处理后导出。第一种方式不需要对虚拟交换机进行任何改动或操作，但是存在很大的安全隐患，若在业务虚机上安装的插件或代理本身有bug或有后门漏洞，则很容易被利用或因bug而导致该虚机崩溃，从而造成业务数据泄露或严重影响业务运行。而第二种方式虽然需要在虚拟交换机上进行简单配置，将业务流量镜像至采集虚机，但是因为采用了独立虚机进行数据采集，因此无论采集软件自身有bug或有后门漏洞，对于业务都不会有任何影响，且不会造成业务数据的泄露。因此，此次基于云环境下的虚拟网络智能监控分析系统方案中，数据采集部分采用第二种独立虚机方案。

数据采集后需要将采集的数据通过生产网络或管理网导出至分析节点进行分析。数据的导出业界目前主要也有两种方案。第一种数据采集后不进行任何处理，直接将数据全包导出至分析节点进行处理和分析；第二种数据采集后直接在采集器上进行相应的处理，然后将处理后的数据导出至分析节点进行分析。第一种看似虽然减轻了采集器的负担，但是将数据全包导出，若数据流量较大，尤其对于中大型数据中心而言，因为导出的数据需要通过生产网络或管理网络导出，那么势必将严重影响生产网络或管理网络的正常运行，将直接导致正常业务访问延迟或管理流量延迟。而第二种方案在不过多增加采集器负担的情况下，通过采集器将数据处理后再导出，大大降低了对于生产网络或管理网络的负担，不会对于正常业务或管理流量产生过多影响。因此，此次基于云环境下的虚拟网络智能监控分析系统方案中，数据导出部分采用第二种先处理后导出的方案。

3.1系统主要架构

虚拟网络智能监控分析系统解决方案主要包含控制器、采集器和分析器三个组件，整体分为数据采集、数据分析和数据可视化呈现三个部分。主要架构示意如下图：主要核心组件示意图如下：

3.2系统技术原理

3.2.1数据采集

物理网络通过在物理交换机上做镜像，或在链路上做分光方式将物理网络的数据导出至分析节点进行数据分析；虚拟网络通过在Hypervisor上创建独立虚机安装采集器，在虚拟交换机上通过镜像将业务虚机流量镜像至采集器虚机，采集器处理后将处理后的流导出至分析节点进行分析；通过以上的方式实现全网全量的数据采集能力。

3.2.2数据分析

处理后的流经过交换机汇总转发至分析集群，在分析集群中通过大数据分析技术，对网絡行为进行自动识别、自动关联、自动判断、自动结论，从而实现智能运维。并根据业务模式，通过大数据技术对业务行为进行预测，对业务对未来网络的需求进行预判，从而为网络运营、规划设计、建设等提供可靠依据。

3.2.3数据可视化呈现

分析后的数据送人控制器节点，通过GUI将各类数据进行丰富的可视化呈现。

虚拟网络智能监控分析系统实现方式示意如下图：

3.3系统核心技术

虚拟网络智能监控分析系统方案中涉及四大核心技术：非侵入式数据采集技术、流量数据自动预处理技术、按需流量分发技术、智能数据分析技术。

3.3.1非侵入式数据采集技术

对云数据中心流量进行全网采集，需要在业务网络中部署尽量多的采集点。传统的三层网络架构和Spine-leaf的Fabric架构是目前云数据中心采用的主要网络架构，二者在互联方式和可扩展性上有很大的不同，但从流量采集角度看，主要区别在于外部出口（运营商、DCI等）位置。考虑到不对生产网络产生影响，采用非侵入式数据采集，不改变现有生产网络结构。通过创建独立虚机，并在之上部署采集器方式对虚拟网络进行数据采集。采集到的流量通过流量分发交换机，以基于“源IP+目的IP哈希”的负载均衡算法，分发到后端分析节点进入数据分析集群处理流程。

3.3.2流量数据自动预处理技术

为不过多占用生产网带宽资源，采用在采集器上先对数据进行处理，处理后的数据远远小于原始数据，对处理后的数据重新封装为流再导出至分析节点进行分析。

3.3.3按需流量分发技术

为对已有分析工具包括传统网络流量分析管理工具进行投资保护，及为与后续未来部署的其他分析工具诸如大数据分析平台等兼容对接，将采集到的流量通过策略灵活导出到不同的数据分析平台。将物理服务器的网卡数据包自动分发到相应虚拟服务器，将物理网络和虚拟网络的数据包采集汇总后，通过自定义策略自动分发至对应的数据分析工具。虚拟网络智能监控分析系统具备网包分发（NPB Network Packet Broker）功能，通过将符合过滤策略的流量按需镜像到第三方分析工具（如DPI、APM等设备）进行特定分析。

3.3.4智能数据分析技术

基于SDN软件定义网络架构，采用DF-DFI深度流监测技术和大数据分析架构对网络流量数据进行处理分析，数据处理过程包含：数据预处理、实时分析、数据存储、离线分析等主要步骤及相关技术。根据业务模式建立流量模型，通过大数据技术和机器学习算法，对网络流量进行行为识别、行为判断和行为预测，实现虚拟网络故障智能诊断。

4结束语

虚拟网络智能监控分析系统可以实现在不影响业务的前提下对虚拟网络数据进行采集，并通过大数据分析技术对流量进行分析，可视化呈现出虚拟网络拓扑、虚拟网络性能以及虚拟网络状态，可以对虚拟网络故障实现快速发现、快速定位、快速解决。该系统同时具备历史回溯功能，可以对网络事件前后的虚拟网络状态进行分析，了解事件状况。可以有效帮助网络运维人员对虚拟网络进行运维管理，使虚拟网络不再成为网络运维的黑盒子。endprint