基于边缘计算的智能主机微隔离技术
2021-03-07李坤郝艳
李坤 郝艳
(公安部第一研究所 北京市 100048)
1 概述
随着大数据、云计算、机器学习等技术的发展,数据深度挖掘和分析以及其所带来的自动化和智能化决策应用在信息化和网络安全领域迅速扩张,其中信息化设备的数量和信息化设备的种类越来越丰富和复杂导致给网络安全的防护和监测工作带来巨大挑战。而且如果对海量主机、网络、安全等基础网络安全数据集中收集和存储将带来巨大的网络带宽、数据存储、分析计算的压力,大大增加网络安全在整个数据中心建设的成本。边缘计算的技术发展有效的解决的这个问题。现在大型企事业单位存在网络内网分区分域不足等问题,内网未能构建立体化、多层次的纵深防御体系,缺少对攻击行为的监测、发现和阻断能力,在攻击者进入内网后可以轻易进行横向渗透和纵向渗透。而且内网存在设备类型越来越多,移动设备、IOT 等类型设备逐渐接入网络,更需进行内网隔离,开展基于微隔离的内网主机的东西向隔离,成为网络安全防护的必须,传统主机微隔离的配置为人工配置,耗时耗力,且灵活性不足,不能快速根据业务的调整进行匹配升级。而且网络规模巨大,主机微隔离策略分析需要的数据类型包含主机日志、网络流量数据等海量数据,而且需要长时间的学习时间,基于大数据、云计算技术的集中式数据处理模型因其存储特点与传输带宽限制已经无法满足数据处理的实时性和高效性需求。
本文研究设计了一种利用边缘计算进行大型内网的智能微隔离的技术方法。通过对大数据智能分析、边缘计算、机器学习技术等关键技术的研究,构建大型内网的快速、准确、实用的网络访问控制和东西向流量的拦截能力,通过有效的智能实现整个内网的联动防护能力。
本文提出了一种基于边缘计算的智能微隔离的技术方案:
(1)研究智能微隔离的技术思路,以适应内网东西向流量访问控制的使用。
(2)设计适应边缘计算架构的流量、主机、后台的内网主机防护新模型。
通过实验测试,该方案具有较高的效率和准确率,并可以有效优化减少云中心不必要的计算资源和数据存储,减少存储资源使用。
2 关键技术
2.1 边缘计算技术
边缘计算,是主要依靠数据源一侧开展计算、分析、处置,构建网络、计算、存储、应用核心能力为一体的系统平台。并满足实时业务、应用智能、安全与隐私保护等方面的基本需求。有效减少海量数据集中采集、处理和存储而带来巨大的网络带宽、数据存储、分析计算的资源投入,在提高性能的同时大大减少成本投入。
2.2 主机防火墙技术
主机微隔离实现主要是通过主机内核防火墙模块的修改和调用实现,以Linux 为例,通过调用Linux 的内核的netfiter 框架实现,netfilter 的通用框架不依赖于具体的协议,而是为每种网络协议定义一套钩子函数。这些钩子函数在数据包经过协议栈的几个关键点时被调用,对于每种网络协议定义的钩子函数,任何内核模块可以对每种协议的一个或多个钩子函数进行注册,实现挂接。这样当某个数据包被传递给netfilter 框架时,内核能检测到是否有有关模块对该协议和钩子函数进行了注册,如发现注册信息则调用该模块在注册时使用的回调函数,然后对应模块去检查、修改、丢弃该数据包及指示netfilter 将该数据包传入用户空间的队列。钩子函数提供了一种方便的机制,以便在数据包通过Linux 内核的不同位置上截获和操作处理数据包
3 技术研究
3.1 主机性能监控
主机性能监控,主要通过在业务主机上安装客户端进行CPU、内存、硬盘、进程、网络带宽占用率等方面的监控,客户端持续监测主机性能,形成主机监控画像,刻画主机应用性能损耗的平均值和最大值,以遍合理调用合适的业务节点进行基于边缘计算的网络安全数据的采集和分析,并避免对业务产生影响。
3.2 大数据分析
通过边缘分析对海量数据进行采集、清洗和分析,形成各个设备的数据“宽表”,刻画网络设备正常的网络行为态势和轨迹。后台管理系统可以根据各个主机刻画出的主机流量和网络行为画像,构建一套对所有主机流量的画像,形成全网主机的流量行为动态地图。为了提升数据分析的准确度和时效性,内置了三种处理算法,分别为自动聚合决策、顺序优先匹配及加权优先匹配。自动聚合算法无需手动配置干预,它会根据设备端接收的数据量、频次及范围等维度,精确归纳数据类型,消除噪音数据;顺序优先匹配算法则按照添加次序自然匹配,具备相对敏捷的处理时效;加权优先匹配算法提供了更开放的操作范围,可依据实际情况对可用情报源进行权值调整,具备足够的灵活性。
3.3 主机行为画像
通过主机客户端对主机网络行为进行画像,主要监测业务主机主要通信的主机和进程,通过调用系统网络驱动组件,刻画出主机的业务的网络行为,和一个时间段内的主机网络行为,比如网络通信的目的IP、网络通信端口、流量大小、通信时间段、谁主动发起等。
3.4 私有协议加密通信
客户端和管理平台之间的管理流量和数据报送流量,都非常敏感,我们计划采用封装在UDP 下的私有协议加密流量进行传输通信,采用SM4 国密算法进行加密。
边缘网络高度动态灵活的环境使网络更易受到攻击。传统的网络攻击对边缘网络的攻击虽不会像对核心网络的攻击那样造成大范围的危害,但仍会造成整体环境的不稳定性,进而影响正常的网络服务。
3.5 分布式加密存储
通过主机性能监控发现部分主机的存储进行判断,针对利用率不高的主机进行分布式存储,采用多副本备份防止节点数据丢失。由于边缘计算的分布式部署特点,边缘计算中的数据防泄漏成为防护的重点。特别是保障某个边缘节点被攻破后,存储的敏感信息不会泄露。
在节点上存储的内容采用SM 国密算法加密,本机加密秘钥动态变化,且不在宿主机上存储。
3.6 数据完整性保护
分布式数据的完整性和准确性是正确数据分析的关键,数据完整性保护技术在对数据进行外包、控制权移交、格式转换等操作之前,最先进行的是对数据的完整性校验;其次,数据在存储或传输过程中,也可能会被恶意或偶然修改、删除、伪造等;此外,边缘计算的基础设施多位于网络边缘,缺少可供数据备份、恢复的存储资源,也缺乏有效的审计措施,攻击者可能修改或删除用户在边缘节点上的数据来销毁某些证据。根据边缘计算架构的特点,采用数字签名技术可以有效保证数据完整性。采用SM3 离散算法能够验证数据的可靠性与完整性。
3.7 网络流量分析
针对部分主机没有在内网安装客户端,无法从该主机监测网络行为,则采用网络流量分析设备对内网流量行为进行采集,并通过网络流量分析设备进行行为分析,压缩数据大小,发送给后台管理系统,可以发现哪些设备未安装客户端,也方便对未安装客户端的设备进行东西向流量的访问控制。
3.8 可视化展示
需自带可视化统计分析模块,通过网络态势地图,可对网络通信的更新状态、策略分布情况及阻断态势进行直观的全局展示;通过拦截信息和网络流量统计信息,可快速定位当前网络的主要风险点,以便用户准确掌握安全态势。
4 总体设计
基于边缘计算的智能主机微隔离系统设计构建主要包含三个部分,一个是管理后台、主机客户端以及流量镜像分析设备。
因为采用的是“边缘计算”技术,后台系统体量较小,主要承担管理、策略分析下发、核心数据分析等功能,主机客户端主要承担数据采集、数据存储、数据分析、策略执行等方面的功能,流量分析设备主要承担流量分析,网络流量行为分析提取、网络数据存储等功能。
具体流程图1所示。
图1:边缘计算的智能主机微隔离系统设计流程图
4.1 管理后台
(1)在管理后台构建多类数据分析引擎:
首先是聚类关联分析引擎,聚类是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大,但不同类别之间数据的相似性很小,跨类的数据关联性很低。关联规则是隐藏在数据项之间的关联或相互关系,即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段:第一阶段为从海量原始数据中找出各台主机的网络行为画像;第二阶段为从各个设备的画像产生关联规则,构建关联地图。
其次是深度学习分析引擎,深度学习是机器学习中一种基于对数据进行表征学习的方法。表征学习的目标是寻求更好的表示方法并创建更好的模型来从大规模未标记数据中学习这些表示方法。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征通过数种深度学习框架,如深度神经网络、卷积神经网络和深度信念网络和递归神经网络等进行数据和规则的自动去重、去杂归纳压缩等。
最后是数理统计分析引擎,数理统计学是统计学的数学基础,研究怎样有效地收集、整理和分析带有随机性的数据,以对所考察的问题作出推断或预测,直至为采取一定的决策和行动提供依据和建议。建立数学模型,收集整理数据,进行统计推断、预测和决策。
(2)在策略执行中,为保障准确性采用自动处置与人工研判相结合的方式以适应不同安全防护级别的配置需求。
4.2 主机客户端
主机客户端主要包含资源监控、数据分析统计、策略执行三个功能。其中资源监控主要监控内容至少包含服务器系统CPU、内存、磁盘、网络IO 等基础计算系统资源。并发连接数、PV 值、每秒请求数及每秒出入网流量等主机网络资源,以便进行计算资源的调度和监控。数据分析统计是对所有本机的网络连接进行统计和学习,对本机的网络行为进行基于规则的聚合。策略执行是进行主机防火墙的规则的调配,进行访问控制策略的实施。
4.3 网络流量监测
流量采集通过在核心交换机、核心路由器旁路部署流探针流方式实现,基于采集到的网络流量进行初步的网络流量行为识别实现网络流量安全监测。流探针作为主机客户端的数据补充,将流量中的访问关系清洗、汇总后按照规范的格式传送到管理后台系统进行集中的分类存储、分析处理和可视化呈现。
5 实验验证
为验证系统的技术可行性和效果,基于vmware vsphere 构建虚拟化网络和计算环境,具体网络架构如图2所示。主机客户端通过下发钩子脚本采集网络通信的IP、端口和协议,采集网络信息。通过系统组件命令查看CPU、内存、硬盘等信息。掌握主机情况。通过脚本进行协议撰写提取主机情况,通过调用netfilter 框架的钩子函数进行访问控制策略下发。实现整个流程。,生成的web 服务器、数据库服务器、办公终端的访问关系符合正常的业务访问关系,实验验证了本技术方案的可行性。
图2:边缘计算的智能主机微隔离系统实验环境架构图
6 总结与展望
主机作为网络安全攻防对抗的主战场,必须进行加强型防护。在主机安全和云安全领域加强基于边缘计算的智能主机微隔离技术研究,在信息化高速发展,大量云数据中心网络安全、数据安全重要性日趋增加的今天,必定是一个发展趋势,但本文在数据分析引擎、整体研究架构、行为匹配模型的研究还处于初级阶段,需要人工介入较多。下一步将在机器学习方面优化和完善,突出智能化能力构建,形成大型内网东西向流量防护的有效技术方案。