• 机器学习技法-AdaBoost元算法


    课程地址:https://class.coursera.org/ntumltwo-002/lecture

    重要!重要!重要~

    image

    一、Adaptive Boosting 的动机

    通过组合多个弱分类器(hypothese),构建一个更强大的分类器(hypothese),从而达到“三个臭皮匠赛过诸葛亮”的效果。

    例如实际中,可以通过简单的“横”“竖”组成比较复杂的模型。

    image

    二、样本权重

    image

    AdaBoost元算法中有个很重要的概念叫样本权重u。

    学习算法A使用相同的样本集合D,每次训练后,D中每个样本的权重u会有所变化。由于样本权重u不同,所以每次都会生成不同g(t).

    总的原则是“增大错误样本的权重,减小正确样本的权重”。数学描述如下:

     image

    三、AdaBoost元算法描述

    初始化样本权重u,通多”弱算法“A、迭代更新样本权重u,生成不同的g(t),当错误率或者迭代次数满足要求后,通过alpha融合g(t),得到”强算法“G。

    image

    四、单层决策树(Decision Stump)

    通常在AdaBoost使用的“弱算法”为单层决策树。在二维空间上的物理意义是针对某些特征的“横、竖”线。

    image

    五、AdaBoost的应用案例

    对数据集迭代100次的AdaBoost算法分类结果,类似sine函数形状。

    image

     

  • 相关阅读:
    drf之序列化器的使用
    drf的安装和配置
    drf(djangorestframework)
    前后端分离和restful开发规范
    requests模块的一些总结
    Glide 使用教程与原理
    Dagger2 单例
    Android
    继承Application管理生命周期
    Android
  • 原文地址:https://www.cnblogs.com/wxquare/p/5352080.html
Copyright © 2020-2023  润新知