分析数据挖掘中决策树算法及其应用

戴艳丽江苏省宿迁高等师范学校，江苏宿迁　223800

分析数据挖掘中决策树算法及其应用

戴艳丽
江苏省宿迁高等师范学校，江苏宿迁223800

数据分析中一种比较新的形式就是数据挖掘，数据挖掘的应用非常广泛，在金融保险业、政府部门、运输领域等都有广泛的应用。本文通过分析决策树的算法研究，阐述了ID3、C4.5、CART等算法的优劣势以及在数据挖掘中的运用，在实际的科研活动中，要进行综合考虑和科学总结，为未来相关方面的发展提供更加科学和合理的依据。

数据挖掘；决策树算法；应用

数据分析中一种比较新的形式就是数据挖掘，数据挖掘就是指挖掘具有价值的但有相当隐蔽性的信息。现在，数据挖掘的应用非常广泛，在金融保险业、政府部门、运输领域等都有广泛的应用。决策树算法在数据挖掘中可以起到很好的作用，本文将通过分析决策树的算法研究和在数据挖掘中的改进，希望对决策树在数据挖掘中的应用提供帮助。

1　决策树算法的概述

决策树算法是一种数学归纳方法，强调从复杂无序的事例中，推导出最终结果的方法，在分类器、预测模型和数据挖掘中应用比较广泛。决策树算法要首先建立一个决策树模型，然后通过所建立的模型对复杂无序的数据进行逐项测试，从根节点一直到最终的叶节点。

2　数据挖掘中常见的决策树算法研究

决策树经过长时间的发展，现在常见的算法主要包括ID3算法、C4.5算法以及CART算法。下面我们对相关的算法做一个简单的介绍。

2.1ID3算法

ID3算法在决策树算法中，是一种比较主流的算法。它的属性选择的标准是信息增益方法，通过在各级结点上运用信息增益方法，来确定结点生成时的属性。这样做可以使取得相关信息最小［1］。ID3算法的流程图如图1所示。

主要公式为：假设U是整个集合，｛X1，……，Xn｝是整个集合的一个部分，它的概率分布可以表示为Pi=P（Xi），则称：

为信息源的信息熵。里面的对数取2为底，当Pi为零的时候，则

通过上面的分析，我们对ID3算法已经有了一个简单的了解，下面对ID3算法的优劣势进行相应的研究。ID3算法具有的优势是：1）由于ID3算法对所有可能出现的决策树都有所涉及，所以具有完整性；2）信息增益减少了训练样例不够准确的敏感性；3）算法在所用时间上比较少，同时分类效率较高；4）ID3算法的结点数量在所有算法中最小。ID3算法的劣势是：1）由于ID3算法的假设前提比较单一，所以不具有对所有假设进行表示的特点；2）ID3算法在进行测试之后，不会选择在对这个点进行测试，所以相对来说得到的结果只是个体最优的；3）ID3算法对于属性值数目比较依赖，但属性值本身并不能保证是最优的；4）ID3算法的开销较大；5）ID3算法主要基于属性选择，而属性选择是否对决策树有很大影响，在学术界缺乏确定的结论。通过对ID3算法的优劣势分析，可以认为ID3算法的理论明白，方法也并不复杂，在数据挖掘中，可以得到一个很好的应用。

2.2C4.5算法

C4.5算法是昆兰在1993年创立的，它创立的主要依据是ID3算法，但更加完整。相比于ID3算法，C4.5算法对于属性的不间断性和属性值不完整的情况进行了改变，在决策树剪枝阶段也有了比较成熟的算法。C4.5算法采用的是信息增益率为基准进行属性测试。信息增益率的英文名称是：information gain ratio。基本公式为：

假设整个集合为S，离散属性A的不同取值用n表示，子集划分为S1，……，Sn，用A表示的信息增益率为：

其中：

C4.5算法的优点是对于离散和连续属性都可以很好地进行处理，信息增益率相比信息增益属性来说，对于整个决策树保持稳定也更加有利。但同时C4.5算法也暴露出了一些问题：1）C4.5算法的结果在准确性上有很大提高，但对于全局最优效果还有待加强；2）决策树的整体性能在决策树构造完成后不易改变；3）C4.5算法在分组时的效率有待提高；4）C4.5算法的核心信息增益率也有着局限性，如果信息熵的值选择较小的话，那么信息增率的牢固性则很可能达不到要求［2］。

2.3CART算法

CART属于挖掘算法，最早在统计学中开始广泛应用，相对来说比较灵活。CART算法的一个特点就是是一种监督学习法，即在使用时，要首先建立一个可以对CART进行评价的样本集。一般情况下CART的学习样本集为：

其中X为属性向量，Y为标签向量，其中，回归树的Y的数量值是有序的，分类树的Y的数值是无序的。

CART算法是基于统计理论建立的，它的解析能力比较强大，对非参数的识别具有一定作用，对于相关的数据要求也不是特别的严格，可以是无序或者离散的，最终获得的数据结果的规则也比较简单。当然，CART算法也存在着一定缺陷。相对来说CART算法在稳定性方面的表现不尽如人意，所建立的模型之间的差异也比较明显，对于样本较小的处理结果能力有待提高。

3　数据挖掘中决策树算法的改进

3.1决策树算法的优化

在数据挖掘中，决策树的算法要有所优化。首先应该明确加权简化熵的理念，所谓的加权简化熵指的是决策树的权值取决于属性A的值的具体数量，然后根据子集Vi计算相应的简化熵值，再和权值进行相乘，所得结果就是加权简化熵。最后在对结果进行比较得出最优选择，主要公式为：

其中P为A对应的概率。

3.2新算法的优劣势分析

通过与传统的ID3算法进行比较，发现新算法具有下面的优点：1）权值的引入是一个比较新的观念，对于决策属性的取值有很大的帮助；2）由于新算法解决了决策树“空枝”的问题，所以算法的可靠性和易读性得到了提升；3）新算法相比传统算法在时间上的节省比较多，提升了运行效率。

3.3挖掘流程阐述

数据挖掘的过程比较复杂，首先要通过对数据进行分析，分出不同的数据类型和格式，在经过清理筛选等工作，存入SQL SERVER。然后选择ID3、C4.5、CART或者改进算法，生成对应的决策树，并对其进行检测［3］。

4　结论

随着社会经济的发展，数据挖掘的作用越来越重要，决策树算法在数据挖掘中的作用也越来越广泛，各种决策树算法的各有其自己的优劣势。在数据挖掘中，要根据实际情况，进行综合考虑和科学总结，为未来相关方面的研究提供更加科学和合理的依据。

［1］张悦，杨学全.决策树算法在学生选课系统中的应用［J］.科技经济市场，2014（7）：185.

［2］张莉.数据挖掘研究现状及发展趋势［J］.赤峰学院学报（自然科学版），2014（18）：14-15.

［3］胡常伟，钱程.基于决策树的模具制造企业订单履约数据挖掘［J］.模具工业，2014（11）：4-7.

TP3

A

1674-6708（2015）152-0033-02