提升树

提升树

这里简单介绍一下提升树，准备在下一篇博客中详细介绍。
前面我们介绍了AdaBoost算法，它是统计学习方法中的一种提升方法，提升树也是一种提升方法，是以回归树或者分类树为基本分类器的提升方法。且提升树被认为是统计学习中性能最好的方法之一，因为树的线性组合可以很好的拟合数据。
并且提升树和AdaBoost都是使用前向提升方法，关于前向提升方法，我准备在后面的博客也介绍一下，其思路其实就是每一次的弱分类器的训练在前面已有的分类器的基础上进行线性组合时使损失函数最小化来求解每一次弱分类器的参数及其权重。