基于网络的数据挖掘技术分析
2016-07-04吕天赐
摘 要:随着互联网科技的飞速进步,经济全球化的进程也逐步加快。网络技术的开发也应用也在逐步的完善,同时其应用范围也涉及到了社会、生活和工作的方方面面。现今的企业发展和经济进步也已经离不开网络技术的应用。数控挖掘技术是网络技术中应用中最为普遍的一项。随着信息技术的高速发展,人们积累的数据量急剧增长。如何从海量的信息数据中提取有用的知识成为当务之急。下面就网络的数据处理技术进行分析。
关键词:网络技术 数据挖掘技术 信息存储
一、数据挖掘技术在网络中的定义
数据挖掘是在大量的、不完整的、有噪声的、模糊的、随机的数据中提取隐含在其中的、未知的、有用的信息和知识的过程。数据挖掘技术可以通过技术处理在复杂的环境中提取出自己所需的重要信息。这样能够将复杂多样化的储备信息进行针对性的分类和利用,对信息方便管理和存储。数据挖掘技术的关联分析,主要包括关联分析、聚类分析、分类、预测、时序模式和偏差分析等等。其中关联分析是指两个或者两个以上变量的取值之间存在的某种规律性,数据关联分析的目的是找出数据库中隐藏的关联网络参数得以充分利用。而聚类分析和其他几个类型的分析通常都是通过数据挖掘技术对信息和知识进行宏观的分类,在每个类型中再进行细化的分析。这样可以使数据更加立体化和细致化,方便管理和及时利用。
二、数据挖掘技术的应用方法
数据挖掘技术在实践中的应用主要包括神经网络方法、遗传算法、决策树法、粗集方法、覆盖正例排斥反例法、统计分析法、模糊集法等。(1)神經网络方法主要以感知机、bp反向传播模型、函数型网络为代表的应用模型,神经网络本身就具有良好的适应性和自主性。在处理、分布存储和高度容错等特性上非常适合解决数据挖掘问题。(2)遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,易于和其他模型结合应用。例如对飞机上失事后的真实数据进行数据挖掘,遗传算法在实际应用中比较便捷有效。并且可以与神经网络、粗集等技术进行结合应用。遗传算法对神经网络结构的优化有一定的效果,可以在不增加错误率的前提下删除多余的链接和隐居单元。(3)决策树法经常被用于对某应用或者软件等方案实践前的预测。它可以将大量的数据进行有规律的分类,再从中找出有价值的潜在的有利信息。它的优点是简单,分类快速,更加适合较大规模的数据处理。随着网络时代的发展,网络技术也促进了人脑思维的创新。决策树法也随着时代的发展不断改善着。(4)粗集方法是针对不确定性、不明确性的知识的教学工具。它的优点在于算法相对比较简便,很容易操作。它的缺点在于在连续属性上的处理不能够直接进行,而实践中现实属性是普遍存在的。所以,粗集方法也正在随着日新月异的市场要求而改变。(5)覆盖正例排斥反例方法是通过覆盖所有的正例,排斥所有反例的思想寻找规则。它比较适合对确定性的实例。(6)统计分析方法是指,利用统计分析的方法对数据库中的信息进行分析,比如求数据库中针对数值的最大值、最小值、总和、平均值等等。(7)模糊集方法,是利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析等。系统的模糊性取决于它的复杂程度。
三、数据挖掘技术的应用流程
在网络环境下,数据存储的数量、类型和范围都是比较广泛的。因而在数据挖掘技术应用时就要先对数据进行大致的定义,首先清晰的定义出业务问题,确定数据挖掘的目的。然后进行数据准备。数据准备就是在大型的数据库中提取数据挖掘的目标数据库,然后进行数据加工删除无效的数据。其次,根据数据功能的类型和特点选择相对应的算法,以进行针对性的数据挖掘。最后,进行结果分析,对挖掘出的数据进行解释和评价,以转变成为用户能够理解的信息。然后将这些信息集成到业务信息系统的组织结构中。完成数据挖掘技术的实践应用。
四、网络的数据挖掘技术的局限性
在网络环境下,市场对数据有着更高的敏感度和要求,数据挖掘并不是万能的,它只是一个工具。在数据挖掘技术应用的前期需要对涉及业务进行初步了解和预测。在应用中,它也只是在帮助我们更深入的分析数据,并无法给出一个确定的目标方案,而通过数据挖掘出的结果必须要通过验证才能够进行采纳。因为数据挖掘技术是针对于数据库信息的应用技术。它的准确性受到数据库信息的制约,数据库信息的存储必须确定正确无误才能够保证数据挖掘技术应用后得出的结果分析是正确的。虽然大数据时代的来临代表着网络技术可以在各个领域施展,但单纯的只利用科学技术根本不能够解决复杂多变的数据环境。所以,在高明的科学技术也离不开经验丰富的人脑操作。在人脑和高技能技术的共同协作下才能够信息的真实性、可靠性、正确性有所保障。
五、数据挖掘的发展趋势
近十几年来,数据挖掘已经得到了广泛的研究。并在商业、金融、医疗等众多领域得到了成功的应用。但是在网络时代快速发展和大数据时代全面覆盖的情况下,现有的信息挖掘技术显然不能够经受大数据时代的考验。因此,数据挖掘还有很大的提升空间。数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初只是对数据库的存储和分类进行研究,后来逐渐升级为对数据库的信息进行即时性的分辩和甄选。数据挖掘使数据库技术进入了一个更为高级的阶段。数据挖掘的核心模块技术历经了数十年的发展,但随着时代的变迁和人们思想的进步,数据挖掘技术也在不断的被改进,争取通过数据挖掘技术的应用省去人工操作,这样更有利于企业和社会的高效性,进而促进了社会和经济的飞速发展。
六、结语
综上所述,根据对数据挖掘技术的应用范围和应用方法进行了解分析,我们可以看到数据挖掘是各领域实践应用中不可或缺的部分。它的应用可以有效的将数据库内的有效信息进行提取,减少繁琐的人工处理步骤。在复杂的网络结构下,信息的产生和处理有较高的要求,高效率的信息处理技术可以给运营软件加速,减少不常用信息的内存占用,也给信息挖掘做好了铺垫。数据挖掘技术将在未来发展中不断进行改革,配合人脑的经验值应用,更加便捷有效的完成数据处理。为商业、金融、医疗、教育等方面的蓬勃发展提供了有利的条件。
参考文献:
[1]郭春. 基于数据挖掘的网络入侵检测关键技术研究[D].北京邮电大学,2014.
[2]胡领. 数据挖掘技术在网络入侵检测中的应用研究[D].宁夏大学,2014.
[3]常凯. 基于神经网络的数据挖掘分类算法比较和分析研究[D].安徽大学,2014.
[4]尚志远. 基于数据流挖掘分析的网络入侵检测系统研究[D].山东大学,2012.
[5]程建平. 基于网络化数据挖掘技术的银行间资金流网络研究[D].西南财经大学,2012.
[6]陈萍. 数据挖掘技术在网络教学中的应用研究[D].广东技术师范学院,2015.
[7]孔志周. 基于小波网络的数据挖掘技术及其在销售预测中的应用[D].湖南大学,2004.
[8]潘凤. 基于数据挖掘技术的安全事件分析平台的研究与设计[D].成都理工大学,2009.
[9]王金磊. 数据挖掘技术在网络入侵检测中的应用研究[D].郑州大学,2005.
[10]王丽影. 数据挖掘技术在网络教育平台中的应用研究[D].天津师范大学,2008.
作者简介:吕天赐(1996—),男,籍贯:黑龙江省大兴安岭地区,学历:本科,职称:学生,研究方向: 计算机科学与技术。