本章主要讲述了“集成学习”和“随机森林”两个方面。
重点关注：bagging/pasting、boosting、stacking三个方法。
首先，提出一个思想，如果想提升预测的准确率，一个很好的方法就是用集成的方法。让多种预测器尽可能相互独立，使用不同的算法进行训练。最后以预测器中的预测结果的多数作为最终结果或者将平均概率最高的结果作为最后的结果。
还有没有其他的方法呢，有的。
- Bagging/Pasting方法：每个预测器使用的算法相同，但是在不同的训练集随机子集上进行训练，采样时将样本放回就是bagging方法，采样时样本不放回就是pasting方法。下图就是一个pasting/bagging训练集采样和训练。
当训练完成后，我们的集成函数一般就采用统计的方法即可。显然，我们可以得出这样的结论，就是每个预测器单独的偏差都高于在原始训练集上的偏差，但是通过聚合集成，我们将会降低偏差与方差，得出更精准的答案。决策树一般采用上述方法进行训练。当然，随机森林也可以采用上述方法。
sklearn中有相关bagging与pasting的工具包，这里不再做赘述，请自行查阅相关文档。提示：使用BaggingClassifier类进行调用。
- Boosting方法：是指几个弱学习器合成一个强学习器的任意的集成方式。目前最流行的方法就是AdaBoost（自适应提升法）和梯度提升法。
Adaboost方法，思想就是更多地关注前序拟合不足地训练实例。从而使得新地预测器不断地越来越专注于难缠的问题。可以发现，该方法是一种存在时序关系的方法，我们必须要得到前者地训练的情况，然后对数据中对前者状态的分类器拟合不好的数据再次进行训练，然后循环往复。故此，可以得出，这个方法不能并行计算，在拓展方面，不如bagging、boosting。
相关推导，请看Scorpio.Lu博主的文章：https://www.cnblogs.com/ScorpioLu/p/8295990.html
梯度提升法：该方法是逐步在集成中添加预测器，每个都对其前序做出改正，让新的预测器对前一个的预测器的残差进行拟合。具体的推导，请见刘建平Pinard博主的文章：https://www.cnblogs.com/pinard/p/6140514.html
- Stacking方法：训练一个模型执行聚合集成所有预测器的预测，然后以预测器的预测作为输入再进行最后的预测。训练混合器的常用方式就是使用留存集。首先，将训练集分为两个子集，第一个子集训练第一层的预测器。然后，用第一层的预测器在第二个子集上进行预测。然后将在第二个子集上预测的值作为输入特征，创建一个新的训练集，保留目标值。在新的训练集上训练混合器，让其学习根据第一层的预测来预测目标值。通过该方法，可以训练多种不同的混合器。
