1.bootstrap 在原始数据的范围内作有放回的再抽样M个, 样本容量仍为n，原始数据中每个观察单位每次被抽到的概率相等, 为1/n , 所得样本称为Bootstrap样本。于是可得到参数θ的一个估计值θ^(b)，这样重复若干次，记为B 。为了可以避免一些误差点对少量树的决策影响。
2.决策树 :
信息熵: Ent(D) = - ΣPk*logPk, Ent(D)的值越小，则D的纯度越高
信息增益： ID3中使用, 存在过拟合的情况,
避免过拟合的方法，1. 通过significant test，用判断成功的概率来判断要不要进行剩下的分类
2. 进行剪枝，去掉该枝还是可以完成正确的分类，就说明该枝没有用
举例说明: 17个西瓜， 8个好瓜， 9个坏西瓜
P1 = 8/17， P2 = 9/17
当前的信息熵 = -(8/17*log(8/17)+9/17*log(9/17))
根据色泽特征（绿色，红色，白色）分成了3类
绿色里面有6个瓜，3个好瓜，3个坏瓜， 红色里面有4个好瓜，2个坏瓜， 白色里面有一个好瓜，4个坏瓜
Ent(D1) = -(3/6*log(3/6) + 3/6*log(3/6)) 根据绿色条件分出了6个西瓜，其中3个好瓜，3个坏瓜
Ent(D2) = -(4/6*log(4/6) + 2/6*log(2/6)) 根据红色条件分出了6个西瓜，其中4个好瓜，2个坏瓜
Ent(D3) = -(1/5*log(1/5) + 4/5*log(4/5)) 根据白色条件分出了5个西瓜，其中1个坏瓜，4个好瓜
信息增益率 = 上一次的信息熵 - 当前信息熵
= -(8/17*log(8/17)+9/17*log(9/17)) - (6/17 * Ent(D1) + 6/17 * Ent(D2) + 5/17*Ent(D3)) > 0 说明存在信息增益
信息增益率： C4,5
通过进行前后的信息熵的相除
CART算法： 基尼系数, 从两个样本中随机抽取两个样例，其类别标记不一致的概率
Gini（D） = 1 - ΣPk^2
如果是连续值的话，那么进行的就是回归树的分类
多分类 ΣΣPk*logPk
决策树：优势：
- 非黑盒
- 轻松去除无关attribute(Gain=0)
- test 起来很快
劣势：
- 只能线性分割数据
- 贪婪算法（可能找不到最好的树）
３. Ｂａgging 表示集群树进行投票，根据票数的结果来统计最终结果
４. Random Forest (随机森林） 在选取有限样本的同时，选取的特征也是有限的，有点像dropout，最后的结果进行投票
5. Boosting ：
1. 先在原始数据集中长出一个Tree,
2 把前一个tree没有完美分类的数据，进行数据权重的重构,让没有分好的数据所占的权重更大
3. 用新的re-weighted tree再训练一个tree
4.最终的分类结果由投票决定
根据前一个树的分类结果，来强化当前的树
6. Adaboost
步骤1 ： 首先初始化数据的权重分布，每个训练样本最开始被赋予相同的权值
D1 = (w11, w12, ...., W1n） W1i = 1/n i= 1, 2, ....N
步骤2： 使用权值分布Dm的训练集学习，得到基本分类器（选取让误差率最低的阈值来设计基本分类器）
步骤3： 计算Gm(x) 在训练数据集上的分类误差率,Wm = 当前分类器的分类误差， 根据错误率对训练数据进行加权
em = ΣWmIGm(xi) != yi
步骤4： 带入上述进行权重加权的em，然后表示当前分类器的受重视程度
am = 1/2log(1-em/em) 当em<1/2 时 am>=0 且am随着em的减小而增大
意味着分类误差率越小的基本分类器在最终分类器的作用越大
步骤5：组合各个弱分类器
7.GBDT
Adaboost 的Regreesion版本
Adaboost的em , 这里可以使用欧式距离或者交叉熵做为错误率判断的方式
把残差做为下一轮的学习目标
c .最终的结果有加权和值得到，不再是简单的多数投票
G(x) = ΣamGm(x)
8. XGboost 本身也是一种GBDT,但是把速度与效率做到了极值
a. 使用L1， L2 Regularization 防止Overfitting， 加入正则化偏质相，使得每次梯度方向都存在一定的偏差,减少局部拟合的情况
L1
w = argminΣ(t(xj) - Σwihi(xj)^2) + λΣwi
L2
w =argminΣ(t(xj) - Σwihi(xj)^2) + λΣwi^2
b. 对代价函数一阶与二阶求导,更快的Converge
c. 树长全后再进行剪枝，防止贪心算法