• 《机器学习Python实现_10_09_集成学习_bagging_stacking原理及实现》


    介绍

    前面对模型的组合主要用了两种方式:

    (1)一种是平均/投票;

    (2)另外一种是加权平均/投票;

    所以,我们有时就会陷入纠结,是平均的好,还是加权的好,那如果是加权,权重又该如何分配的好?如果我们在这些模型预测的结果上再训练一个模型对结果做预测,那么岂不是就免除了这些烦恼;而训练后,也可以方便的获取这些基分类器的权重(等价于下一层级模型的特征权重),且结果也更为客观!简单流程如下:

    png

    当然实际训练时回更加细致和复杂,比如:

    (1)通常会对数据做(k)折切分,切分为(k)份,然后将每个基学习器扩展为(k)个基学习器,每个学习器学习(k-1)份训练数据;

    (2)对分类器,预测结果通常会取概率分布,这样可以提取更多的信息;

    (3)上面的结构还可以无限叠加,构建更加复杂的stacking结构,比如对新的拼接特征又训练几组基分类器,然后再组合...

    stacking的代码实现,跳转>>>

    作者: 努力的番茄

    出处: https://www.cnblogs.com/zhulei227/

    关于作者:专注于机器学习、深度学习、强化学习、NLP等领域!

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出.

  • 相关阅读:
    c# 进制
    java生成验证码
    java基础练习题
    java九九乘法表
    java list集合练习
    深入理解Java的接口和抽象类
    java 接口 练习
    java泛型详解
    Java 继承 小练习
    Java单例模式深入详解
  • 原文地址:https://www.cnblogs.com/zhulei227/p/14736825.html
Copyright © 2020-2023  润新知