决策树算法简单总结

·来自：https://mp.weixin.qq.com/s/tevVm0jlS6vZ3LCnczWD0w

前言

李航老师《统计学习方法》详细的描述了决策树的生成和剪枝。根据书的内容，做总结如下。

目录

1. 决策树不确定性的度量方法
2. 决策树的特征筛选准则
3. 决策函数的损失函数评估
4. 决策树最优模型的构建步骤
5. 决策树的优缺点分析

a. 决策树不确定性的度量方法

1. 不确定性理解

下图为事件A是否发生的概率分布，事件发生记为1，讨论事件A的不确定性。

（1）一种极端情况，若p=1或p=0，表示为事件A必定发生或事件A不可能发生。

（2）若p>1/2，即事件A发生的概率大于事件A不发生的概率，我们倾向于预测事件A是发生的；若 p<1/2，即事件A不发生的概率小于事件A发生的概率，我们倾向于预测事件A是不发生的；若 p=1/2，即事件A发生的概率等于事件A不发生的概率，我们无法作出预测。

2. 决策树不确定性的度量方法

这里用熵和基尼指数去衡量数据集的不确定性，假设数据集包含K类，每个类的大小和比例分别为Di和pi，i = 1，2，...，k。

（1）熵的不确定性度量方法

信息论和概率统计中，熵是表示随机变量不确定性的度量，令熵为H(p)，则：

熵越大，数据集的不确定性就越大。

（2）基尼指数的不确定度量方法

数据集的基尼指数定义为：

基尼指数越大，数据集不确定性越大。

b. 决策树特征筛选准则

假设数据集A共有K个特征，记为xi，i = 1,2,...,K。数据集A的不确定性越大，则数据集A包含的信息越多。假设数据集A的信息为H(A)，经过特征xi筛选后的信息为H(A|xi)，定义信息增益g(A, xi)为两者的差值，即：

g(A, xi) = H(A) - H(A|xi)

选择使数据集A信息增益最大的特征作为决策树当前节点，数学表示为：

x = max( g(A,xi) ) = max( H(A) - H(A|xi) )

 

C. 决策树的损失函数评估

 

令决策树的叶节点数为T，损失函数为：

其中C(T)为决策树的训练误差，决策树模型用不确定性表示，不确定性越大，则训练误差亦越大。T表示决策树的复杂度惩罚，α参数权衡训练数据的训练误差与模型复杂度的关系，意义相当于正则化参数。

考虑极端情况：当α趋于0的时候，最优决策树模型的训练误差接近 0，模型处于过拟合；当α趋于无穷大的时候，最优决策树模型是由根节点组成的单节点树。

d. 决策树最优模型的构建步骤

 

将数据集A通过一定的比例划分为训练集和测试集。

决策树的损失函数：

决策树最优模型的构建步骤包括训练阶段和测试阶段：

训练阶段：

（1）最小化决策树的不确定性值得到的生成模型，即决策树生成；

（2）通过决策树剪枝，得到不同的正则化参数α下的最优决策树模型，即决策树剪枝。

 下面重点讨论训练阶段的决策树生成步骤和决策树剪枝步骤。

决策树生成步骤：

（1） 根据决策树的特征筛选准则，选择数据集信息增益最大的特征；

（2） 重复第一个步骤，直到所有叶节点的不确定性为0 。

决策树剪枝步骤：

（1）将正则化参数α从小到大分成不同的区间

e. 决策树优缺点

优点：模型很强的解释性

缺点：容易过拟合。即训练误差很小，测试误差很大。为避免过拟合，使用时结合集成算法。如：bagging算法、boosting算法。