网络异常检测技术中数据挖掘和机器学习方法的应用分析

张亚苹 杨少英

（广东科技学院 广东省东莞市 523000）

近几年的发展过程中，计算机的网络技术在发展中迅速的进步，在人们的平时生活中可以大范围的应用到，而网络安全的问题出现的概率也在逐渐的增加。为了保证网络资源具有安全的水平，需要不断的对网络安全的预防和保护的技术实行改进，促进入侵信息的检测程度，更好的保护计算机网络，提升网络体系的安全水平，所以实现网络异常的检测技术非常具有必要。

1 入侵检测的技术分析

1.1 概念的分析

关于入侵检测的技术，它是遵循着设定好的安全方式，利用软件和硬件的内容，监测网络体系的进行状态，尽最大化去得到各类攻击行为的目的，获取详细的攻击行为，得到攻击之后的结果，保证网络应用的资源得到合理的维护，处于机密的状态，实现信息资源的完整应用。有关的专家学者为了更加直观的让人们理解，将计算机的整个系统比喻成一栋大楼，楼需要得到安全的保护，因此需要一把安全锁，防火墙的作用就和门锁一样，而入侵系统的应用，可以起到对楼层的监视作用。如果有不良分子利用非法的途径进入大楼，或者是内部的工作人员做出了超出范围的事情，采取实时的监测可以及时的发现情况，做出警示提醒。利用入侵检测的技术，可以第一时间对不良的侵入行为辨别，促进了计算机体系的良好维护，借助计算机网络非正常的报告情况，可以对违反安全的行为进行检测，形成计算机系统的保护网。如果计算机中遇到一些没有经过权益审核的信息，这些信息想要对计算机展开攻击，展开对外在系统的不良攻击的处理，实行辨别、监视，同时出现警示，引起管理人员的注意，让他们采取对应的管理方式，搭建合理、接近智能形式的安全保护体系，促进网络管理的易操作处理，审核计算机网络的安排情况，促进计算机体系的健全，便于漏洞的发觉，实现计算机信息的整体估量和评价，凭借对未了解的攻击进行辨别，分析攻击的意图，将安全的保护和预防对策建设完全，进行具体的攻击应对方式，采取有效的解决方式，有助于提升系统的稳定发展[1]。

比如，某研究的人员依据入侵检测的技术，将其充分的应用于网络体系中，探究合理的入侵检测的体系，安排体系的监控室，在中间的位置设置一个大屏幕，利用可视化的模式，可以查看网络安全监测的整体过程。比如，在某市的网络安全发展趋势的感知平台上，利用这个界面，可以看到城市安全的评价水平、城市区域的指数、已明确的漏洞、具有威胁性的资产等，并且能够结合安全发展趋势的感知平台，实现安全事件的监视。另外，医院应用网络的系统，引入了入侵检测的技术，可以对防火墙进行完善处理，补充一些合理的应用功能，可以帮助系统更好的应对网络的进攻，让系统的管理人员获得更广的知识面，提升他们的安全管理的水平，合理的展开安全内容审核，进行细致化的监视，及时的发现并辨别进攻行为，第一时间做出响应，促进信息结构的完整，保证信息更具安全的水平。与此同时，利用了入侵检测的技术，可以借助网络的系统，获取大量的重要的信息，探究这些信息，判断网络的应用程度，找出违反安全的举动，找出遇到入侵的疑点，引入此项技术之后，有效的维护了网络，如图1 为入侵检测系统分类。

图1：入侵检测系统分类

1.2 专家系统的分析

进行入侵检测的初级过程中，应用比较多的一种方式就是专家系统，主要的用途是检测那些误用的侵入。经过分析专家入侵检测内容的经验，展开了整体的细化归纳，将专家系统建设成更加完整的知识库，将知识库作为基础的内容，通过促进知识库作用的发挥，摸索侵入行为的特点，抓清入侵举动的规律，凭借专家在入侵行为的探究，将获取到的规律实现整理，把有利的点提取出来，将这些内容加入入侵行为的特点系统库中，如果遇到不良的入侵行为，只要在特点库里将有关的信息找出，就可以利用科学的方式判断此行为的性质。关于专家系统，它的优点有很多，它的特点储存库可以随时的，可以借助科学的方式辨别入侵的情况，目前可以及时的更新知识库，但是收集信息仍然不够全面，如果计算机的系统受到攻击，那么计算机的系统就没有办法有效的辨别[2]。

1.3 状态转换的分析

为了保证网络资源具有安全的水平，重视网络异常的检测技术的应用显得至关重要，应该展开入侵检测技术的细致分析。对于误用入侵的检测阶段，经常使用的是状态转换的方式，凭借高层的状态转换图，不仅可以辨别入侵的情况，还可以对外在的进攻目的展开分析识别，应用状态转换的技术，探究入侵的行为，需要改变计算机的系统状态，从之前的安全形式开始调整，转换为入侵的状态，将侵入对象的举动进行辨别，总结它的特点和规律，将总结的内容加入入侵的特点库，凭借系统里面的信息，对入侵的行为采取检测处理。关于状态转换的方式，它可以更加容易被理解，目前可以实现已经了解的入侵行为的检测，并且应用的时间也比较短，但是对于那些没有明确 的形式，还是没有办法做到准确的识别处理。

1.4 统计分析的分析

利用统计分析的方法，结合入侵检测的技术，对于计算机网络中出现的全部的不良侵入行为，它们都是有规律可以追寻的，通过对已经入侵的数据进汇总，经过细致的分析，就可以抓住入侵情况的发展规律。分析入侵的数据，找出系统的数据，得出它们之间的误差，就可以认定不良的入侵行为，利用计算机设施，促进内部的变量实现赋值，产生安全模式下的处理规律，结合目前用户的行为，拿出外在的入侵产生的数据值，将它们和标准的数据值比较，如果和正常的数据值差距比较大，就可以将其纳入入侵行为[3]。

1.5 神经网络的分析

近几年的发展中，入侵检测的过程应用了很多的方式，其中神经网络算法是经常应用的一个方式，和平时应用的检测方式进行比较，神经网络的算法可以具有特点的处理入侵的数据，实现非参量形式的汇总，实现对历史数据的应用，通过处理和分析得到特点情况，将它们提取出来，这就是入侵行为的重要特点，对于网络的数据，采用有机的形式整理，总体分析入侵的行为，比较历史的行为，通过分析偏离的情况和相似的点，为判断不正常入侵行为提供基础。

2 数据挖掘的技术

2.1 定义研究

关于数据的挖掘技术，它涉及到的应用比较多，和机器学习等方面的知识存在相似，呈现出不同程度的交叉。利用数据挖掘时，需要遵循一定的处理原则，借助大规模的数据库，主要查看那些随机的、不明显的数据，然后将它们有目的的整合，得到想要获取的信息[4]。目前的发展阶段，数据的挖掘非常重要，它是智能领域的应用的研究对象，如果可以借助合适的方式，筛选大量的原始的数据，提取出有用的内容，在需要时挖掘出侵入的数据，这就可以更好的制定出入侵的预防和控制方案，保证方案更加接近科学的水平。数据挖掘涵盖了多个方面，先来分析信息的收集处理，它是根据数据得到对象的特点，然后将信息收集起来，放入数据的存储库里。对于大规模的数据，择取适宜的数据存储区域很重要，需要保证数据仓库的管理合理。

分析数据的集成处理，它是指将不同的渠道的数据利用逻辑的思维，实现汇总和集中的处理，实现数据的互通。分析数据的规约，它是利用多数的数据挖掘形式，将算法执行起来，即便执行了很少的数据，也需要应用大量的时间，对于商业的形式，进行数据挖掘时，涉及到的数据规模比较大，此项技术可以得到数据的集，实现它的规约表示，分析执行数据，得到挖掘的结果，它基本上和规约前执行的结果没有什么差别。分析数据处理，主要是针对于数据库中比较特别的数据，比如不完整的形式、含有噪声的形式，它们都是不一致的，需要对这些数据展开清理，找出完整、规范的数据，保证他们是一致的，将它们存入数据的库里。分析数据的变换，它凭借的是平滑聚集的方式，实现规范处理，促进数据的转换，将它们变成数据挖掘的形式，针对于实数形式的数据，可以利用概念分层的方式，对数据离散化处理，实现数据的转换。

2.2 关联规则的分析法

目前的发展阶段，随着信息网络的不断进步，数据存储工作的内容也在改变，开始不断的应用关联的规则。这个规则方式可以凭借在数据之间的关联展开分析，找出对象之间存在的规律，如果这个规律和入侵数据的散布形式相同，就可以将其判断为网络的不正常的情况。基于关联规则，分析这个方法，判断入侵的情况阶段，一般会结合两个大的方面：一个是借鉴频繁项集的概念理论，找出达到最小赞成形式的集合，一个是参照常规则的细化内容，构建完善的强则。关于关联算法，它具有很多类型的规则，表现为为树频集的算法等。

2.3 分类预测的分析法

分析以前应用的网络不正常的数据，主要采用的形式为分类分析、预测分析，对于分类分析，主要借助比较重要的数据，搭建有关的模型，完成有关的网络不正常的分析工作；关于预测分析，主要对数据搭建预测的模型，对未来的入侵状态展开预测。采取分类分析法时，一般需要掌握离散值的情况，而预测分析的方法，主要是以连续值的函数模型作为基础。利用分析方式研究网络的不正常行为时，优先结合数据的集合，将它们划分为不一样的数据库模块，构建不一样的模型，搭训练的数据集。选择数据的样本时，应用不同的数据库分组，凭借基础的规则，保证良好的判断网络的不正常行为[5]。根据学习模型的分类规范内容，划分位置数据的组别。

2.4 聚类的分析法

关于这个方式，它主要是指将不一样的数据进行分组处理，依据数据之间的相似点展开划分，促使数据对象成为具有特点的类、簇。通常情况下，相比于不同类的相似对象，同类的数据具有更高的相似性，对于聚类分析法，它在划分时会依据方法、层次，另外还会依据密度和网络等，以这些为依据进行分类，在数据挖掘中属于比较新型的方式，在应用的过程中获得了良好的效果。这个分析的方法，是通过统计分析的方式变换而来，也是统计分析的扩展内容，可以有效的应用于网络不正常的检测。

2.5 序列模式的分析法

在数据挖掘技术当中，对于异常数据进行分析具有一定的关联性的方式，被称为序列模式分析法。这一方式主要的形式在于对网络异常数据之间的关系进行查找，再将之间的关系进行分析，了解当中的种种关联性，深层次的关系。在不同的数据关系之间找到共同的属性，同时发现其中的相关性，从而达到对于系统日志之间规则的发掘，同时建立起具有逻辑的序列。这一序列当中同时还包含了Apriori 算法以及序列生长技术的两种形式，这里的两种类型当中，其序列通常以情况下最高模式展现，同时还要满足于最小支持度的要求，要是可以提升对于序列模式分析法的使用场景，就可以提升网络异常信息检测过程当中的准确程度。序列模式的要点在于给一个不同序列组成的集合，每一个序列都是由不同的元素依据顺序进行有序的排列，每一个元素都由不同项目进行组成，同时也会给定一个用户制定出最小的支持度，序列模式发掘本质也就是找到频繁出现的子序列，也就是这一子序列在序列集当中，出现的频率不小于所制定的最小支持度阈值。

3 机器学习要点分析

3.1 机器学习分析

机器学习是当下具有热度的科技重点研究内容，依托于AI 技术的发展，机器学习这一宏观的概念得到了发展，其中细化分析，学习的方式可以列举为监督式学习、无监督式学习、半监督式学习、集成学习、深度学习以及强化学习，在这些机器学习当中，主要的学习方式在于回归、分类与聚类，异常检测，度量学习以及因果分析。在整个机器学习当中而言，最为主要的内容在于算法，有利合适的算法才能够进行解析数据。在数据的角度进行分析过程当中，利用大量的数据进行学习的过程当中，让学习者对于实现世界中的事件作出决策与预测，所以在准确程度当中，依靠于算法的完善程度进行计算，另外的一个重点在于训练量的多少来保证计算的准确程度。在这样的背景当中，机器学习这样的训练方式也就是和硬编码解决特定任务的传统软件程序不一样的地方，同时这样地不同之处也就是机器学习所存在的价值[6]。就好比是大众在进行网络商城的过程当中，会常常出现相关产品推荐的信息，反复出现这一类型推送的原因就在于机器所产生的算法，也就是根据所浏览的商品类别进行记录与计算，在后台进行处理，然后在大众进行下一次浏览商城的过程中就开始反复推送计算的结果，也就是用户感兴趣或者是想要购买的产品，这样地决策模型在实际的使用当中，可以帮助商家为客户提供出相关的建议，带来眼球经济，甚至是出现“信息茧房”的情况。

3.2 深度学习分析

深度学习的主要价值在于带来入侵检测研究的新发展空间，使用分层结构就可以对于数据进行无监督特征学习和模式的分类，这样背景之下就可以将提取器与分类器集中到框架当中，不在依赖于用户进行手动完成特征的提取和操作。进行深度学习的方式可以有效的处理大规模网络流量数据，在这样的方式之下，要比浅层的传统机器学习方式当中，具有更加鲜明的检测效率以及准确性。但是由于在训练的过程当中过于复杂，并且模型可解释性比较差，也就使得深度学习还有很长的发展空间。在深度学习的角度而言，生活模型和判别模型结合使用成为了这一技术的发展方向。但是在这一技术的发展当中会有很大的漏洞，也会出现一定的挑战。主要的问题在于速度训练以及计算存储，因为深度学习的过程当中会有很大的复杂性在其中，并且负荷也比较的大，所以当下的CPU 在深度学习当中已经不能够满足于这一算法巨大的计算量，常见的对于这一难点的解决方式在于使用多个CPU 进行处理同一个算法的数据。同时还有一种问题在于模型调参，对于不同问题而言，就需要使用不相同的网络架构以及神经元，换言之，也就是需要在网络结构的数量以及神经元的多少进行规划的难点。在优化模型当中，主要的问题在于深度学习模型训练当中，常常会出现梯度爆炸、梯度消失，所以针对于这些问题需要进行有效的解决方式。在实时检测当中，主要的原因在于网络当中数据的数量正在不断地增加，从而导致对于数据的解析难度越来越高，利用深度学习的方式可以实时的进行入侵检测过程当中，也就有现实性的难题存在[7]。

从这一技术的根源进行分析，深度学习并非是一种独立的学习方式，使用有监督和没有监督的学习方式训练深度神经网络，因为在这一技术当中快速的过程当中，有很多的独特学习方式被设定，所以也就有越来越多的用户将这一方式称之为学习方式。在最早的深度学习当中，所使用的是一种深度神经网络求解特征表达的学习过程。深度神经网络这一概念本身也就是一个全新的概念，用一种通俗的方式进行分析，本质上就是使用深度神经网络求解特征，使用较浅的概念进行分析可以认为这一理解当中具有很多的隐含层的神经网络结构，想要提升深层次神经网络的训练质量，在现阶段的设计当中，用户调整神经元连接技术与激活功能。但是这样的想法在早期的AI 技术当中已经进行了假想，但是因为在早期的发展当中受制于技术的缺陷，同时也没有有效的训练数据和逆向的计算能力，就会使得深度学习的质量并不具有理想的效果。在以往的机器学习当中，主要的技术可以成为监督方式以及无监督方式两种，其中监督方式也可以分成生成方式以及判别方式两种。在入侵检测当中，放置于这一命题当中，本质上是一种分类问题，也就是主机数据和网络当中流量数据进行二分类或者是多分类之间的判断。现阶段常常所使用在入侵检测领域当中的技术也就是机器学习，其本质原因在于可以对于数据进行分类。在监督机器学习技术当中而言，进行入侵检测技术的优点也就在于可使用先验知识，充分的对于未知样本进行分类，但是这样地方式并非是一劳永逸的，是会具有极大短板的，缺点在于训练数据的选取评估与类别标注要使用大量的时间和人力物力的投入，在成本之上会有极大的弊端。

3.3 人工智能的分析

人工智能本质上也就是一种概念，是一种基于计算机所产生的一种新型的科学技术，起源在于1956 年，爆发在2012 年左右期间，因为当时的互联网技术蓬勃发展，数据量爆发出来，并且计算机的算法得到了新的提升，深度学习方式也被科学的操作出来，到当下人工智能的研究还在不断地发展当中，并且所投入的资金，相关的从业人员与应用场景都在不断地增加。主要的分支也在愈发的丰富起来，主要的层面在于专家系统、机器学习、进化计算、模糊逻辑以及计算机视觉、自然语言处理与推荐系统，这其中还包含了机器人技术和感知技术。

从分类学的领域当中进行分析，常规情况下也就被分成了弱人工智能与强人工智能，让机器具有更高的观察能力和感知能力，同时在一定的程度当中进行理解和验算，让本就强大的人工智能可以让机器得到适应能力，从而解决在科学领域当中出现难以解决的问题。但是这一领域当中的内容也还是基于设想的层面，重点的内容在弱人工智能层面，想要具有重大突破还要依据未来的发展才可以得到新的质变，像是在科幻电影当中的发展，在很大的程度之上属于强人工智能，这样地情节发展在现实的世界当中是目前难以实现的。

即使在异常检测当中会有大量的研究结果，但是这样地研究部结果并不具有实际的推动力，在实际的使用当中效果是很有限的，机器学习工具在其他的领域当中得到了实现同时也在市场当中得到了巨大的回报，商业环境当中，有很多的数据被人工检测到，就会使得机器学习具有很大的实际价值。但是由于这样地差异出现，就会导致入侵检测域具有一定的特殊性，导致机器学习方式的有效性在很多情况下得不到展现，就使得这一技术出现很大的困难存在。其主要的研究方向在于离群点探测、错误成本高、语义鸿沟、网络流量的多样性、评价的困难以及传统机器学习的运用。细化而言，人工智能的网络安全在于网络空间攻击传统机器学习方案，这其中需要找到基于k‐最近邻的网络安全、基于支持向量机的网络安全、基于决策树的网络安全以及基于神经网络的网络安全。在防范网络空间攻击的深度学习解决方案当中分析，主要的内容在于基于深度信念网络的攻击防御、基于递归神经网络的攻击检测、基于卷积神经网络的攻击检测以及基于自动编码器的威胁检测解决方案。但是在当下的发展当中来看，人工智能并没有在大众设想之下的规划方向发展，没有实际的解决网络或者网络安全问题，所谓的机器学习也只是解决现实生活当中一小部分的问题，所以还需要在以后的发展当中着手解决。

4 结论

近几年的发展过程中，计算机的网络技术在发展中迅速的进步，在人们的平时生活中可以大范围的应用到，而网络安全的问题出现的现象也在逐渐的增加。为了保证网络资源具有安全的水平，重视网络异常的检测技术的应用显得至关重要，应该展开入侵检测技术的细致分析，将技术的应用方法分析出来，保证信息的合理检测，促进入侵信息的检测程度的提升，更好的保护计算机网络。