简单地看了一些入门的资料。
随机森林似乎和CART有些联系。
随机森林的算法步骤:
1. 利用自助法(Bootstrap)从原始训练集中生成k个自助样本集,每个自助样本集是每棵分类树的全部训练数据。自助法(Bootstrap):从原始的样本容量为N的训练集合中随机抽取N个样本生成新的训练集,抽样的方法是有放回的。这样的抽样方式有可能造成新的训练集中存在重复的样本。
2. 每个自助样本集生长为单棵分类树。在树的每个节点从M个特征中随机挑选m个特征(mm),利用这m个特征,按照节点不纯度最小的原则选取特征进行分支,不进行剪枝,直到建树完成。
3. 根据生成的k个分类树对新的数据进行预测,分类结果由k个分类树决定。例如取k个树的投票最多的结果或者所有树投票结果的平均。
参考链接: