基于数据挖掘和机器学习方法的网络异常检测技术

秦振凯

摘要 近年来，随着互联网技术的飞速发展，网络的覆盖面积逐渐扩大，而相应的规模和结构也变得日益复杂，导致网络安全问题频发，成为人们关注的重点。本文分别介绍了基于数据挖掘和基于机器学习方法的两种网络异常检测技术的内容和特点，希望能够为相关的工作提供借鉴和参考。

【关键词】数据挖掘 机器学习 网络异常检测监督 执行 回归 同化

想要保障网络安全需要应用先进的网络异常检测技术，而传统的静态规则匹配的方法已经落后于时代，尤其是如今网络环境十分复杂，更需要及时检测出是否存在攻击或者破坏的行为，从而为网络的安全运行打下坚实的基础。

1 网络异常检测技术概述

如今，我们已经处于网络时代，生活的方方面面都离不开网络，而且网络的稳定与否直接影响着人们生活质量的高低。在日常生活中，由于受到外界因素的影响以及网络本身的问题，常常会出现网络异常的情况，为了解决这一问题，保证用户上网的流畅性，需要针对发生异常的网络进行检测，这种技术就是网络异常检测技术。网络异常这种情况在生活中较为常见，但是产生的原因却十分复杂，一旦找不到问题的原因，就会造成网络大范围的崩溃，进而影响人们的工作和生活。

2 基于数据挖掘的网络异常检测技术

数据挖掘就是人们常说的知识发现，通过对海量的、杂乱无章的、不清晰的并且随机性很大的数据进行挖掘，找到其中蕴含的有规律并且有价值和能够理解应用的知识，这一过程就是数据挖掘。它主要是借助分析工具找到数据和模型之间的关心，之后进行预测，并将数据回归到真实变量。在网络异常检测技术中应用数据挖掘技术，能够从海量数据中找到需要的信息，并且根据数据信息建立模型，从而对入侵行为和正常操作进行分类了，数据挖掘的方法有两种：一種是分类分析，一种是聚类分析。

分类分析需要找到数据之间的依赖关系，并且进行预判断，这一过程需要兴趣度的介入，也就是对规则的可行性和适用性进行衡量，确保满足最小阈值，之后建立一个数据映射分类模型，从而输出离散类别。分类的效果与数据的特点息息相关，有的数据噪声较大，有的数据缺失不全，有的数据密集分布，有的数据字段离散，所以还需要具体情况具体分析。

聚类分析是通过反复的分区从而找到解决办法，它的输出是各个不同类型的数据，也就是先对数据进行初始归类，之后去粗取精进行合并，最后使得对象之间能够彼此联系，归于一类。值得一提的是，通过对数据和对象之间的距离进行聚类，能够消除数据的噪声，完成不同形状的聚类，也可以对数据的空间分布进行划分，形成网格单元，对数据分布情况进行更直观的判断。

3 基于机器学习方法的网络异常检测技术

机器学习指的是根据人类学习的情况，对机器进行研究，使得机器掌握学习的能力，从而获取新的知识，并通过一系列的模拟学习，让机器能够自主解决问题。机器学习是人工智能的最新成果，由环境、执行和数据库构成，首先环境为机器学习系统提供信息，之后机器学习系统对这些信息进行识别，和数据库进行对比，最后加以执行，网络异常检测技术应用机器学习方法主要有两种情况：监督学习和无监督学习。

监督学习指的是通过之前的异常情况和数据分析进行练习和研究，找到一个固定的模板，从而对输入信息进行检测，根据检测结果进行判断，对异常情况进行分类。这种方法需要研究人员熟悉网络异常的特征，并且能够准确区分数据，从而使得机器学习系统能够检测出不同类型的异常，同时，如果是新型的异常，系统也能够检测出来。下面介绍一些检测的方法：第一种，KNN算法，这种算法是比较简单的机器学习方法，并且能够对异常行为直接进行计算，并根据最近的K个样本找到相似的类型，尤其是在动态网络中，应用比较成熟。但是样本需要均匀分布，如果测量不准确就可能出现一定的误差，所以也可以结合其他算法同时使用。第二种，决策树法，这种方法和流程图比较像，每个节点代表者检测的属性，每个分支则是检测结果，每片叶子就是异常的类型。在检测过程中通过对没有标记的数据进行分类，由上到下测试，之后选择合理的分支和节点，最后在叶片上判断类型。但是随着网络数据的不断增多，需要对内存资源进行优化，从而提高系统检测的精准性。

无监督学习不需要对异常情况做标记，只需要根据目前的网络进行建模，这样极大地减少了工作量，同时能够将数据聚集情况进行分类，之后由研究者进行判断，虽然准确度不如监督学习的高，但是操作便捷，简单易行，它的检测方法如下：第一种，Apriori方法，这种算法能够第一时间检测到网络的异常，并且直接锁定攻击来源，主要是找到满足设定的频集，之后根据频集的相关规则，对数据进行保留处理，之后生成动态的检测规则，提高系统的稳定性。第二种，EM方法，在对网络异常进行检测时，数据可能会有缺失或者是处于隐性状态，所以需要根据检测对象的属性对其权重进行分配，找到属性期望，之后根据似然估计进行计算，从而实现交替循环。

4 结论

综上所述，网络异常直接影响着用户的信息安全，所以需要认真做好网络异常的检测工作，通过创新和应用相关的检测技术，在最快的时间内找到产生的问题的原因，从而加以解决，满足人们使用网络的需求。

参考文献

[1]黄煜坤.网络安全异常检测技术探究[J].电子测试，2015 （05）：40-42+45.

[2]廖国辉，刘嘉勇，基于数据挖掘和机器学习的恶意代码检测方法[J].信息安全研究，2016，2 （01）：74-79.