计算机数据挖掘技术的开发及其应用探究

2018-02-21刘芬

现代工业经济和信息化 2018年6期

刘芬

（延安大学计算机学院，陕西延安 716000）

引言

现如今是大数据时代，海量的数据随处可见，可能有真有假，可能数据不完整，可能是垃圾数据，也可能是极有价值的数据。但是这些海量的数据都有其存在的意义，数据背后必然隐藏着重要的信息和知识，所以在模糊随机的、不完整的、有噪声的数据中挖掘出有价值的那部分信息是十分重要的。数据挖掘，也就是通过对海量数据的分析，基本上就是自动化分析，对其进行归纳整理，提取有用信息，通过这些信息，对应用对象提供帮助。例如帮助企业或者个体用户对市场进行重要评估，确定实施方案，根据市场政策的变化，降低投资风险，获取更大利益，它可以帮助很多行业领域更好地应对政策的变化，提供最佳市场营销手段，掌握最优营销策略，制定最佳管理方案，甚至是企业面临资金或者管理危机时，它都能够贡献一份力量。

1 数据挖掘的方法

对于大数据的挖掘，目前已经有许多种挖掘方法，例如回归分析、关联规则、神经网络方法、Web数据挖掘以及最简单的分类聚类等，不同方向运用不同的挖掘方式，基于目前的数据挖掘的方式方法，未来也会出现更多种可靠的方法，甚至是方法的联用等，有很可观的发展前景。下面对于这些方法做一个简单的介绍。

1.1 回归分析

回归分析通过函数关系式或是关系图表发现数据之间的关联性，实际上是对数据所具有的一种属性值特性的体现，可以有效地对整体数据进行预测，也是分析数据相关性的一种常用方式。例如在销售行业领域中，常常会利用回归分析的方式，根据本月或者本季度的销售额进行回归分析之后对下个月的销售情况进行预测，及时有效地调整策略。

1.2 关联规则

关联规则的定义比较抽象，需要考虑置信度和支持度两个概念，都在阈值范围内，则说明两个事务关联性是有效的。实际上想要反映两个事务之间的相关性，其挖掘过程有两个阶段：第一个阶段是从原始的数据库或是说原始数据集合中找到出现的频率达到一定水平的事务组，也就是说，支持度要超过规定的最小值；第二个阶段就是对关联性分析，产生关联规则，这里就需要考虑到置信度，二者置信度需要满足最小置信度，才能说明具有关联规则。例如，超市运营中常见的购物篮分析，根据顾客购物篮中出现的物品的频率，分析它们之间的关联性，确定哪些物品是顾客会一次性一起购买的，这也是关联规则的起源，现在关联规则常被用在金融行业中预测客户的需求[1]。

1.3 神经网络方法

神经网络方法实际上是对动物神经系统的模仿，它的基础有两种，一种是M-P模型，另一种是Hebb学习规则。通过对数据的挖掘，构建神经网络模型，累加计算或是反复迭代，最后计算权值。神经网络的这样一种人工智能技术，优点有许多，比如高容错、自行学习处理，还有非线性等，使得它在处理一些不完整有漏洞的数据或是信息时能够比较恰当地处理好，这也正是它能够用于数据挖掘的原因之一。这种模拟人的思维的方式，在研究中有以下几个方面：一是生命科学中，生物神经系统原型和结构，二是根据生物原型构建理论模型，三是模型的算法研究，这里就需要构建具体的一种神经网络模型，最后是进行实际应用，例如信号探索识别，甚至是制造机器人等。

1.4 Web数据挖掘

这是一种利用数据挖掘应用于Web的方式，从相关的资源中得到所需要的隐含信息，主要有三种类型：结构挖掘、内容挖掘和使用挖掘。

1.5 分类与聚类

分类，从字面意义来看非常简单，就是从海量的数据中找出某几组或是某几个数据的共同点，然后根据特点和具体的分类模式对其进行分类。这种分类技术可以运用到未来数据的预测当中，例如，超市根据产品的购买情况进行分类，再根据分类情况选择可以对消费者推荐的关联产品，以此来增加销售业绩。和分类相似的另一种叫做聚类，但实际上也有差别，这里需要强调的就是聚类中相似特点的产品关联性很大，而对于不同类别的产品数据，特点的相似性很小，关联性就很低。也就是说，聚类强调的是不同类别的产品关联性低[2]。

2 数据挖掘的应用

2.1 数据挖掘在档案管理上的应用

现如今信息技术发展迅速，而档案的管理对象也逐渐增加，利用数据挖掘技术，建立一个档案管理的系统，对处理对象的档案进行有效的归纳整理有极其重要的意义。利用以上介绍的数据挖掘方法，实现档案的有效分类，档案数据快速搜索。可以先构建一种数据分布的结构模型，接着对数据进行分类整理，寻找数据特性并对数据对象进行关联性的处理，对数据进行挖掘，最后进行一个监测分析，根据以往的众多研究表明，利用数据挖掘对档案进行管理，可以有效提高安全性，同时档案的检索速度有了相应的提高。

2.2 数据挖掘在电子商务上的应用

类似于淘宝京东的电子商务在市场上占有重要地位，消费者频繁地交易使得电子商务成为了一种重要的消费手段，交易方式简单，基本可以人人都会，也为消费者购买商品提供了便利条件，受到广大消费者的欢迎。

电子商务上，数据挖掘尤其是Web挖掘的应用是非常广泛的。之前有提到Web挖掘是利用Web从相关资源中找到隐含信息，例如从网络用户的浏览记录数据、电子商务中的购买记录数据找到客户主要需求，找到他们的主要兴趣，然后利用这些数据，做出相应的调整改善，推出客户最感兴趣的产品，提高产品销量，创造销售业绩[3]。