提升树在回归方法中的应用

提升树在回归方法中的应用

提升树是采用加法模型和和前向分步算法，前向分布算法，我在前一篇博客刚刚讲过，加法模型也在前向分步算法中介绍过，若是不了解可以看一看。
首先，提升树模型可以表示为决策树的加法模型：

T()表示决策树模型，x是输出特征，x右边的数学符号是模型参数。分布算法在提升树中的应用如下

所以和我之前在前向分步算法中讲的一样，每一轮训练一个基函数的参数，在前一轮的基础上。这里还有一个概念把

在提升树解决回归问题时叫做残差，实际上，我们每一轮的训练就是在让那一轮的基函数拟合残差。