大数据环境下入侵检测系统概述

葛钊成　彭凯

摘要：入侵检测系统（IntrusionDetection System，IDS）为网络空间安全做出重大贡献。然而随着大数据时代的到来，IDS暴露出效率低下、理念落后等系统性不足。本文结合大数据特征及传统IDS技术的不足，针对性地概述了分布式入侵检测系统（DistrictedIntrusionDetection System，DIDS），并在基本概念、系统分类和性能特点等方面对其做出重点解释。最后从深度学习、广度融合等角度展望了入侵检测技术的未来发展。

关键词：入侵检测；IDS；DIDS；大数据

中图分类号：TP393.08 文献标识码：A DOI：10.3969/j.issn.1003 6970.2016.05.014

本文著录格式：葛钊成，彭

凯.大数据环境下入侵检测系统概述.软件，2016，37（5）：54-59

0.引言

自20世纪60年代以来，计算机网络发展速度呈几何式增长，信息化概念在金融、军事、医疗等各领域都得到迅速的普及。正是这一广泛存在的共性问题，使攻击者可以利用流量分析、篡改信息、恶意程序、拒绝服务攻击等方式寻找网络系统的漏洞。并加以利用。也正是基于这样的背景，传统的入侵检测系统（Intrusion Detection System，IDS）得以迅速发展并广泛普及。

然而随着信息化的不断深入，网络技术的融合性、开放性、交互性都在以一个前所未有的速度发展。这就直接导致了数据量的迅速膨胀。正如数据科学家Viktor Mayer在《Big Data》中所论，“大数据时代已经是可以被看见的未来”。作为信息时代的升级版，大数据时代具有着独特而又鲜明的特色。而在这条“信息高速公路”上，传统的IDS已经暴露出对未知入侵方法的漏报率较高、对大流量通信的检测效率较低等多种缺陷。传统技术已不能适应快速更新的应用需求。因此研究分布式入侵检测系统（Districted Intrusion Detection System，DIDS），对于大数据环境下的信息安全防护体系而言很有必要。

本文结合大数据时代的信息特征及其引发的变化，具体解析了传统IDS的技术缺陷，并进一步分析了DIDS概念。然后从基层架构、拓扑模式以及平台性质三个角度论述DIDS的分类，并引出DIDS时效性、独立性、可靠性、灵活性等优势。最后结合实际应用需求，从深度学习、广度融合等多个角度分析入侵检测系统的发展方向。

1.大数据背景

大数据是指在有限时间内无法用常规工具进行捕捉、管理和分析的数据集合，是只有在新型处理模式下才能具备更强的决策力、洞察力和流程优化能力的海量、多样和高增长率的信息资产。自概念提出以来，大数据已迅速成为继互联网、物联网之后的又一里程碑式技术。从最早应用大数据的麦肯锡公司，到推进大数据商业化的IBM、亚马逊、谷歌等公司，再到近年不断提出相关战略要求的各国政府，大数据俨然成为金融、零售、服务、军事等各行业新的发展引擎，并为社会各界产生了巨大的产业价值。

大数据与早期的互联网相比有较为鲜明的特色，其中由IBM最早提出的“4V”已被业界普遍接受——Volume（海量规模）、Velocity（高速流转）、Variety（多样类型）和Value（低价值比）。基于这些前所未有的信息特征，大数据时代体现出以全体取代样本、以混杂取代精准、以相关取代因果的理念转变。这也为现代的生活、工作和思维带来了颠覆性的变革。

在面临大数据的发展机遇的同时，社会各界也接受到前所未有的挑战，其中当然也包括信息安全领域。传统的安全体系受到了大数据的极大冲击。大数据安全问题对个人、企业乃至国家都造成了多方面的影响。

1.1数据成为战略资源，安全问题凸显

“数据是未来的石油和黄金”。大数据环境下，世间万物包括文字、机器甚至生命体都可以被量化。无论是传统企业数据，机器传感数据还是社交行为数据，都被视为新一代的战略资源。

然而，正是数据的重要性使其成为了大量不法分子的重点攻击对象，越来越多的黑客试图窃取数据以获取非法利益。而大数据集中化、高透明、大规模的特点也增加了信息泄漏风险和安全防护难度。因此，大数据环境下的信息安全是目前亟待解决的关键难题。

1.2基于大数据技术的入侵攻击盛行

在大数据技术席卷全球并为社会各界创造众多生活便利和巨大经济效益的同时，也存在着一部分不法分子滥用大数据技术以获取非法利益的恶意行为。

大数据技术是一种通过对海量数据的分析、挖掘和整合，获取具有前瞻性和决策性的信息的技术架构。首先，黑客可以直接利用大数据技术处理商务邮件、社交网络等个人及企业信息。除此之外，黑客更倾向于间接利用大数据技术，发动以数据为载体的入侵攻击，尤其是拒绝服务攻击（Denial ofService，DOS）以及高级持续性攻击（Advanced Persistent Threat，APT）。通过将攻击隐藏在海量数据之中，不仅能利用“低价值比”的特点以大幅降低被检测的概率，还可以在被整合的同时直接入侵系统核心。正是目标广泛、精确制导、隐蔽性高、破坏性强的特点，使得基于大数据技术的入侵攻击对当代信息安全防护体系构成了极大的威胁。

1.3缺乏有效的监管制度和法律法规

鉴于大数据与传统互联网技术的显著区别，旧时的规章制度已无法适应新兴的大数据领域。对于数据这一新型财产，目前市场上缺少有效的监管制度，数据的收集、发布和存储都缺乏规范性。而且由于缺乏相应的法律法规，个人、企业和国家的信息安全利益（包括隐私权，使用权、知识产权等）都得不到应有的保障。所以完善制度、推进立法的工作迫在眉睫。

2.传统IDS的缺陷

经过数十年的发展，IDS已经成为一项较为成熟且成功的安全防护技术。以snort为代表的IDS为近年的网络信息安全做出了杰出的贡献。然而随着信息化的深入以及大数据的到来，传统技术受到了众多新科技的冲击，进而也暴露出了以下几个致命性问题

（1）模式匹配算法是几乎所有IDS产品的核心技术之一，基于AC、BM、MWM等匹配算法的误用检测可以使IDS具备对广泛存在、特征明显的已知攻击的被动式检测，并推动形成初级安全防护体系。但是，随着人侵技术的复杂化、综合化和大规模化，现代攻击越来越倾向于将多种已知入侵技术整合一体，形成某种未知的入侵技术。而由于本质性的缺陷，模式匹配算法对此类APT攻击的检出率极低。

（2）对于未知攻击，传统IDS通常采取基于“偏离值”和“用户行为”的异常检测进行主动防护。统计模型、贝叶斯推理、聚类分析等检测形式以及DB、Dnk、DTlk等优秀算法可以弥补模式匹配的不足，使系统对未知攻击有了一定的检测能力。然而在实际环境中，异常与攻击并非高度符合。异常但非攻击行为会对传统IDS造成较高的误保率，非异常但攻击行为则会对其造成较高的漏报率。两个关键性能的不稳定性极大影响传统IDS的工作效率。同时，现实数据的高度复杂性也是限制传统技术的一大瓶颈。

（3）传统IDS基本都采用集中式的CIDF模型，传统技术主要基于对日志文件、审计数据的遍历扫描以及对网络流量数据包的过滤分析以实现全面的保护。图1给出这一经典的IDS结构，主要包括事件产生器、事件分析器、事件数据库和响应单元四部分，

而随着大数据时代的来临，高速传输和海量数据成为信息的基本特性。首先，以往的集中式结构使IDS在收集、分析、响应等阶段存在不可避免的时滞性，不能对高速传输数据进行及时处理。其次，传统技术过度依赖于单机性能。单台计算机的分析能力非常有限，难以充分应对海量数据。综上，传统IDS的功能优势正在消退，它已无法实现对系统的全方位的实时检测。

3.DIDS基本概念

针对大数据特征以及传统IDS的不足，本文在由Jai Sundar教授等人首创的AFFID系统的基础上，提出了一种基于自治终端的分布式入侵检测系统。如图2所示，该系统主要包括自治终端（autonomous agent）、收发器（transeeiver）和控制器（monitor）三部分。

自治终端大量分布于各主机内网络接口、日志文件等脆弱点和检测关键点。其具备独立的运行能力、通信能力以及有限的入侵检测能力（检测、分析、响应）。当自治终端检测到攻击后，它能将完整的分析处理数据传送给收发器，同时也会接收来自收发器的信息与指令。

收发器是连接自治终端与控制器的桥梁。一方面它不断收集由主机内各自治终端发出的数据，另一方面它能分析所得信息并得出入侵消除、终端过载等结果，然后再将分析结果报送至控制器。

控制器是该DIDS模型的最高层模块，其两大功能分别是实时通信和协同调度。当某台主机遭遇大规模的高级攻击时，该主机上的控制器可以通过内部的通信机制与DIDS系统内其他各主机的控制器相连，尽可能地整合并共享所需资源。然后根据收发器的分析结果，通过基于遗传算法和任务复制的调度机制，在短时间内快速强化受攻击主机的分析处理能力。

4.DIDS系统分类

传统的IDS主要以信息来源和检测技术作为分类标准。为体现分布式系统的结构特点并突出DIDS优势，本文从基层架构、拓扑模式以及平台性质三个角度对DIDS进行分类并加以详细介绍。

根据基层架构的区别，DIDS分为同构式和异构式两种。

（1）同构式DIDS是指各个处理节点在功能特性，物理结构上保持高度一致的系统。结构较为简单的同构系统在小范围内具有很高的流通性，并且有效提高了并行计算能力。不过同构系统的结构特点限制了DIDS的检测性能，高度一致的处理节点功能较为单一，无法应对大型、复杂的高级攻击。而且相似的结构体系更易遭受网络入侵。目前同构式DIDS主要用于个人和小型企业的安全防护体系。

（2）与同构式系统恰好相反，异构式DIDS中各处理节点的功能特性和物理结构可以存在一定差异。正是基于各节点的差异性，异构式DIDS可以根据检测需求，充分整合各节点的优势部分，取长补短，以满足多样化的应用需求。然而该类系统关于兼容性的技术问题仍有待解决，如何实现大量的不同设备在同一系统下的实时交互是异构式DIDS的关键突破点。异构式DIDS通常规模较大，常用于大型企业的安全防护体系。

根据拓扑模式的区别，DIDS分为P2P模式和层次模式两种。

（1）P2P模式的DIDS可采用网状连接结构，而且网络中的每个节点都近似一个完整的微型检测系统，其不仅具备检测、分析、响应功能，还同时拥有控制模块，通信模块和数据库。各节点相互独立又相互连接，可通过网络实现资源共享和协同工作。该模式的优点在于处理速度快，各节点可通过网络链路直接通信，大幅减少时间开销，提高了检测效率。于此同时，P2P模式的缺点也很明显。该模式对各节点的配置要求较高，不仅要具备完整的入侵检测功能，同时还要拥有支持控制、通信等硬件模块，使得搭建和维护的成本大幅提高。而且较高的技术难度也是P2P模式暂时无法普及的重要原因。

（2）层级模式的DIDS由控制层、通信层、处理层和数据库构成。其与P2P模式的差别在于处理层的终端设备只具备一定的入侵检测功能，而控制和通信则由控制层和通信层单独负责。这样的好处在于各层级分工明确，便于后期的管理和维护，同时它对处理终端的要求不高，主要在于软件功能。而层级模式的主要缺点是控制层和通信层负载能力有限，若同时受到多点攻击则很可能导致整个系统的崩溃。除此之外，层级模式的处理速度相对较慢，大部分的指令都必须通过控制层和通信层才能到达终端。这一缺陷在面对APT攻击时尤为致命。

根据平台性质的区别，DIDS分为本地平台和云平台两种。

（1）作为互联网产业的传统工作模式，本地化平台是指用户直接控制的网络设备，例如手机、计算机等。本地平台具有读写速度快，独立运行，安全性高的特点，目前大部分的互联网产品也都是建立于本地化平台之上。然而随着互联网技术的发展，特别是大数据时代的到来，性能有限、成本高昂、灵活性差的本地平台逐渐无法适应广泛的市场需求。但凭借着长久的发展历史以及成熟的应用技术，本地化平台仍然保持着极高的普及率和市场占有率。

（2）作为一项新兴技术，云是指虚拟化的互联网资源平台。作为提供商，亚马逊、谷歌以及国内的阿里巴巴、华为等企业建立包含大型数据中心，整合数以万计的计算机的资源和计算能力以搭建云端平台。作为用户，DIDS可以利用云端平台搭建入侵检测系统，并通过控制台或Open API等技术收集、分析所获数据从而做出快速的有效响应。

云技术具有按需分配、管理简易、价格低廉、多点备份、实时下载、并行运算等优势，尤其是其超大规模的计算能力以及海量存储能力使DIDS支持神经网络、自主学习等先进技术，进而从容应对日益趋向大型化、复杂化和综合化的入侵攻击。这非常符合如今大数据时代的信息特征和应用需求。然而云技术也存在过度依赖网络的缺陷，而且目前云端的安全问题仍是阻碍其发展的一大瓶颈。

5.DIDS性能特点

为适应接踵而来的信息安全挑战，DIDS在设计之初便有着更先进的设计理念以及更高的预定目标。与传统IDS相比，DIDS主要具有高效、独立、可靠和灵活四大优势。

第一，作为入侵检测系统的关键指标，检测效率是DIDS的核心优势之一。DIDS可以实现对全体数据而不仅是随机样本的实时检测。无论是对本地文件的遍历扫描还是对网络数据包的过滤分析，系统都能保持较高的检测速度和较低的漏报率。另外，强大的计算能力使其支持相关性分析，自模拟学习以及大数据分析等复杂策略，极大提高了DIDS的检测效率。

第二，当某个节点遭受入侵时，DIDS可以充分整合内部资源，通过预置算法实时调度其它闲置节点，并以协同工作的形式应对入侵行为。这样的工作模式改善了传统IDS过度依赖单机性能的缺陷。不仅降低了处理节点的入网标准，还使系统避免出现因超负荷工作而导致无效检测甚至宕机的情况，体现出较强的鲁棒性。

第三，DIDS在可靠性方面具有较大的优势。可靠性则主要分为两点。一方面，DIDS具有一定的容错性。鉴于分布式的结构优势，局部故障并不影响整个系统的正常工作。另一方面，DIDS还支持实时备份功能。各节点的数据信息会被完整拷贝并存储于于若干个相邻节点中，并通过时钟机制不断更新。

第四，灵活性是DIDS较传统IDS的一大特色。DIDS可以在不中断正常工作的前提下，用简便的技术增添节点或修改结构，以适应不断变化的外部环境。另外，当某一节点负荷过载时，按需分配的机制可以通过灵活的资源调度暂时加强该点的处理能力。而当入侵行为消失后，资源各归其位，系统又恢复原态。这一模式体现了DIDS的高度灵活性。

尽管DIDS与传统技术相比有着突出的优势，而且在目前初步的实际检测中也卓有成效。但DIDS在稳定性、安全性和技术复杂性等方面有需要改进之处，只有不断改善缺陷，这一新型安全防护体系才能得到广泛的普及

首先，据上述概念介绍，DIDS以分布式节点为基础，且高度依赖于网络通信。而节点的高自由度和不确定性以及网络传输的不确定性导致DIDS故障率较高，极大影响其对目标系统的实时保护。同时DIDS自身的技术复杂性也会导致较高的系统出错率。

其次，系统安全性不高。DIDS的正常工作立足于大量自由、开放的处理节点，而非单一、封闭的节点。这导致DIDS中各节点显得较为脆弱，其自身对DOS、APT等尖端攻击的抵抗能力相当有限。而且系统规模越大，目标就越明显，受攻击的概率也就越高。

最后，虽然目前市场中已有DIDS产品，但真正大规模的DIDS仍在研发中，各节点间的资源调度、实时共享和协同工作等复杂技术的稳定性问题仍有待攻克。除此之外，如何结合不断更新的信息特征，并实现对大数据的有效安全防护也是DIDS广泛应用的拦路虎。

6.发展趋势

传统的集中式IDS在发展之初体现出巨大优势。但如今面临新时代的挑战，这一经典技术的结构性缺陷暴露无遗。作为对传统IDS的改进，DIDS先进的设计理念使其具备高效、独立、可靠、灵活等多重优势，这保证DIDS能在高速传输、海量数据的网络环境中实现对目标系统的有效保护。

（1）面对日益复杂的入侵技术以及大数据引发的挑战，现代入侵分析策略的分析局限性和滞后性使其显得力不从心。针对于此，高度智能的机器学习能力是提高检测率，降低误报率和漏报率的最佳方法。结合神经网络、数据挖掘、关联性分析、人工免疫等前端技术，未来的入侵检测系统应能在已有的数据基础之上，通过模拟恶意入侵，不断获取新的知识和技能，进而提高其自适应能力。由此可见，智能化的深度学习是IDS未来发展的必经之路。

（2）作为专项网络安全防护技术，IDS的设计目标有一定的局限性，缺乏广度防护能力。这就要求它必须与防火墙、杀毒软件、加，解密等技术相融合，形成较为全面的广度防护网。只有推进多技术协同工作才能真正实现对系统全方位、多层次的有效保护。因此融合型IDS将成为未来信息安全防护体系的主导。

（3）目前入侵检测技术正在蓬勃发展，但国内外尚没有一个相关的标准，也没有一个国际组织对此负责。然而没有统一的标准和公共的平台，一门学科或是一项技术将无法健康发展，所以入侵检测技术的标准化和组织化工作迫在眉睫。