浅析数据挖掘
2014-07-28何栋
何栋
摘要:伴随着计算机网络技术与数据库技术日新月异的发展,数据库的规模总是在一直不断的扩大,人们积累的数据也就越来越多。当数据在不断增加的同时,我们如何从大量的数据中提取出有效信息的矛盾日益突显。而传统的查询、报表等工具已经无法满足收集有效信息的需求,因此,需要一种新的数据分析方法与技术:它可以实现从大量的数据中提取出隐含但有效的信息与知识,所以数据挖掘技术由此而生。该文简单地介绍了数据挖掘技术的产生,挖掘过程以及数据挖掘的应用和发展。
关键词:数据库;数据挖掘模式
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2014)18-4121-01
1 数据挖掘技术的概念
数据是分析问题,掌握知识的基石。但是,拥有大量的数据与拥有许多有效的数据却完全是两回事。近几年来,从数据库中发现新问题掌握新知识这一领域发展飞速,广阔的市场前景和研究利益促使这一领域不断壮大。计算机技术发展和数据收集技术的进步,可以让人们从更加广泛的范围和以惊人的速度收集和存储有效信息。
收集数据是为了得到有效信息,然而大量数据的存在本身却并不意味着信息。当今的数据库技术使我们存储大量的数据流已变得非常简单,但却还没有一种成熟的技术能帮我们来分析、理解和让数据以可理解的信息表示出来。所以,传统的知识获取技术,在面对巨型数据仓库无能为力时数据挖掘技术就此诞生。
数据挖掘(Data Mining)它就是在融合了数据库、数理统计以及人工智能等多方面的技术后形成的一类深层次的数据分析方法。它是在以计算机为基础的前提下加以新技术,并从大量的数据中获得有用知识的一个完整的过程,这就称作数据挖掘。
2 数据挖掘的过程
数据挖掘是在以现有的已知数据集合为前提下,从中发现、建立各种模型,并且导出值的过程。
简单的说来,数据挖掘可以大体分为以下几个阶段:
1)提出并阐明问题,随之提出假设;
2)相关数据的收集;
3)数据及其预处理;
4)模型及其评估;
5)解释模型并得出结论。
3 数据挖掘的应用和发展趋势
数据挖掘是一门具有广泛应用的新兴的学科,并且数据挖掘的原理与针对特定应用领域,及其需要的有效的数据挖掘的工具之间,还存在不小的距离。本节我们分析几个应用领域,讨论如何为这些应用定制专门的数据挖掘工具。
3.1 针对生物医学和 DNA 数据分析的数据挖掘
大量的研究发现,在疾病不同阶段时的致病基因有这样的一个现象:引起一种疾病的基因是多个,但在某阶段发挥主要作用的基因可能只有一个或者是几个,所以,如果我们可以在不同阶段,分别找出关键基因及它的基因组合序列,分别使用相对应的药物及治疗手段,那将会大幅提升治疗效果。
3.2 农业中的数据挖掘与问题
农业的生产是随着时间的变化在不断地发展变化中的,这样一来就使得农业生产数据更具有多样性,变化性及不确定性等特性。我们面对着海量的数据,在大量的数据面前,我们迫切需要找出一种方法,他可以帮助我们,在大量数据中找出隐藏的规律,能让我们制定出正确的农业策略, 使农业生产能持续高效的并协调和谐的健康发展,数据挖掘技术首当其冲。
3.3 电信业中的数据挖掘
随着时代的发展与变迁电信业的电信服务,早已不是以前单一的长短话服务了,计算机和 Web 数据传输,以及其它数据通讯服务,反而成了它的主流业务。现在人们跟多的使用手机,来进行数据的传输服务,所以电信,计算机网络和各种其它方式的通讯与计算的融合是目前的大势所趋,正像我们现在大力发展的物联网技术一样。
电信数据本身同样具有多维性,例如呼叫时间,呼叫类型,数据量等。对此类数据的多维分析有助于识别和比较数据通讯情况,以及资源使用的情况等。例如,分析人员希望经常查看有关呼叫源,呼叫目标,呼叫量,数据量和每天使用模式等方面的图表。因此,将电信数据构造为数据仓库十分有用,可以经常使用 OLAP和可视化工具进行多维分析。同样面对海量数据,数据挖掘技术依然首当其冲。
21世纪是信息高速发展的时代,数据挖掘技术正是一个发展迅猛的技术,在数据挖掘技术日益广泛的使用前提下,它完全可以实现数据资源的共享以及技术发展的跨领域,使工作效率大幅提升。正如人们所说“信息不仅是资源,更是财富”,的确要实现经济的腾飞,离不开创新,要实现高新尖科技的发展,离不开创新,创新是一个国家发展的力量源泉,所以我们要充分利用提供的信息,进行数据挖掘,为数据库的应用开辟新的前景,为人类的文明和发展开辟一个崭新的时代。
参考文献:
[1] 互联网文档资源(http://wenku.baidu.c).2012-11-13.
[2] 李庆香.数据挖掘技术在高校学生成绩分析中的应用研究[D].西南大学,2009.
[3] 张静. 数据挖掘在生物信息中应用的现状及展望[J].电脑知识与技术,2008,5.
[4] Berson A, Smith S, Thearling K. Building Data Mining Applications for CRM[M].McGraw-Hill, New York, 2000.
[5] Hand D, Mannila H, Smith P. Principles of Data Mining[M].MIT Press, Cambridge: MA, 2001.
[6] 韩家炜, 堪博.数据挖掘概念与技术[M]. 2版.范明,孟小峰,译.北京:机械工业出版社,2007.endprint