• aggregation(2):adaptive Boosting (AdaBoost)


    image

    给你这些水果图片,告诉你哪些是苹果。那么现在,让你总结一下哪些是苹果?

    1)苹果都是圆的。我们发现,有些苹果不是圆的、有些水果是圆的但不是苹果,

    2)其中到这些违反“苹果都是圆的”这一规则的图片,我们得到“苹果都是圆的,可能是红色或者绿色”。。我们发现还是有些图片违反这一规则;

    3)其中到违反规则的图片,我们发现“苹果都是圆的,可能是红色或者绿色,而且有梗”。

    至此分类完成。

    模拟这一过程,就是adaBoost算法。

    首先从一个弱分类器开始,然后集中注意力放在发生错误的样本上,get下一次分类器。adaBoost的特点是:

    1)不同的分类器是串行训练的,也就是:第二个分类器依赖于第一个分类器;

    2)通过集中关注被已有分类器错分的那些数据来获得新的分类器。

    如何集中关注错分的数据?通过提高错分数据的权重。这就要求:

    image

    image

    image

    为了更具有物理意义,我们把ε给scaling一下:

    image

    这样有什么物理意义呢?当数据错分的时候,◇必然大于1.相当于将数据权重放大;而数据分类正确的时候,◇小于1,相当于将数据权重减小。

    image

    image

    image

    image

    另一个问题:如何寻找弱分类器?我们知道任何机器学习算法都可以,但是这里一种常用的弱分类器是:单层决策树。

    image

  • 相关阅读:
    IP fragmentation
    pci驱动
    cpu地址空间
    CentOS7 安装bazel
    kettle集群
    TextRankGloVe算法资料
    使用Kong Service负载均衡Load Balance功能
    自建ss服务器教程
    OpenSSL创建TLS/SSL证书
    监控告警
  • 原文地址:https://www.cnblogs.com/wangyanphp/p/5520323.html
Copyright © 2020-2023  润新知