决策树算法

机器学习中，决策树是一个预测模型；它代表的是对象属性值与对象值之间的一种映射关系。树中每个节点表示某个对象，每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应具有上述属性值的子对象。决策树仅有单一输出；若需要多个输出，可以建立独立的决策树以处理不同输出。

从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。

决策树学习也是数据挖掘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。

决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。

1.1 决策树的工作原理

决策树一般都是自上而下的来生成的。

选择分割的方法有多种，但是目的都是一致的，即对目标类尝试进行最佳的分割。

从根节点到叶子节点都有一条路径，这条路径就是一条“规则”。

决策树可以是二叉的，也可以是多叉的。

对每个节点的衡量：

1) 通过该节点的记录数；

2) 如果是叶子节点的话，分类的路径；

3) 对叶子节点正确分类的比例。

有些规则的效果可以比其他的一些规则要好。

 

1.2 ID3算法

1.2.1 概念提取算法CLS

1) 初始化参数C={E}，E包括所有的例子，为根；

2) 如果C中的任一元素e同属于同一个决策类则创建一个叶子节点YES终止；否则依启发式标准，选择特征F_i={V₁,V₂, V₃,……, V_n}并创建判定节点，划分C为互不相交的N个集合C₁，C₂，C₃，……，C_n；

3) 对任一个C_i递归。

1.2.2 ID3算法

1) 随机选择C的一个子集W (窗口)；

2) 调用CLS生成W的分类树DT(强调的启发式标准在后)；

3) 顺序扫描C搜集DT的意外(即由DT无法确定的例子)；

4) 组合W与已发现的意外，形成新的W；

5) 重复2)到4)，直到无例外为止。

启发式标准：

只跟本身与其子树有关，采取信息理论用熵来量度。

熵是选择事件时选择自由度的量度，其计算方法为：P=freq(C_j,S)/|S|；INFO(S)=-SUM(P*LOG(P))；SUM()函数是求j从1到n的和。Gain(X)=Info(X)-Infox(X)；Infox(X)=SUM((|T_i|/|T|)*Info(X)；

为保证生成的决策树最小，ID3算法在生成子树时，选取使生成的子树的熵(即Gain(S))最小的特征来生成子树。

ID3算法对数据的要求：

1) 所有属性必须为离散量；

2) 所有的训练例的所有属性必须有一个明确的值；

3) 相同的因素必须得到相同的结论且训练例必须唯一。

1.3 C4.5算法

由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。

C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：

1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；

2) 在树构造过程中进行剪枝；

3) 能够完成对连续属性的离散化处理；

4) 能够对不完整数据进行处理。

C4.5算法有如下优点：

产生的分类规则易于理解，准确率较高。

C4.5算法有如下缺点：

在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。

分类决策树算法：

C4.5算法是机器学习算法中的一种分类决策树算法，其核心算法是ID3算法。

分类决策树算法是从大量事例中进行提取分类规则的自上而下的决策树。

决策树的各部分是：

根：学习的事例集；

枝：分类的判定条件；

叶：分好的各个类。

1.3.1 C4.5对ID3算法的改进

1) 熵的改进，加上了子树的信息。

Split_Infox(X)= -SUM( (|T|/|T_i|)*LOG(|T_i|/|T|))；

Gain ratio(X)= Gain(X)/Split_Infox(X);

2) 在输入数据上的改进

① 因素属性的值可以是连续量，C4.5对其排序并分成不同的集合后按照ID3算法当作离散量进行处理，但结论属性的值必须是离散值。

② 训练例的因素属性值可以是不确定的，以?表示，但结论必须是确定的。

3) 对已生成的决策树进行裁剪，减小生成树的规模。

 

1.4　剪枝

 

（1）子树置换

（2）子树上升

两者都是根据剪枝前与剪枝后的误差估计来决定是否剪枝。

http://blog.csdn.net/whycold/article/details/6555071