• 统计学习方法 –> 逻辑死地回归与最大熵模型


    前言

    本章的两个模型都是对数线性模型。

    逻辑斯蒂分布

    如果变量X服从逻辑斯蒂分布,那么X的分布一定是y轴对称的。曲线在中心部分增长的较快。两端增长缓慢。

    二项逻辑斯蒂回归模型

    其本质就是条件概率P(Y|X)。也就意味着给定X,求出最大可能的Y来。

    Y取值只有1和0。

    考虑条件概率分布。

    逻辑斯蒂回归模型:输出Y=1的对数几率是输出x的线性函数的模型。

    参数模型估计

    还是求极大似然估计。

    逻辑回归的优缺点:

    优点:1》实现简单

            2》计算量小,速度快,存储资源低

    缺点:1》欠拟合,准确度相对较低

            2》只能处理两分类问题。必须线性可分。

     

    最大熵模型原理

    不要把所有鸡蛋放在同一个篮子里面,分散到多个篮子可以降低鸡蛋碎裂的危险。

    学习概率模型的时候,熵最大的模型就是最好的模型。

    最大熵模型就是在满足约束条件的模型集合之中选取最大的模型。

    定义:使用最大熵模型的目的是U型安泽最合适的分类模型。

    可用的分类模型的条件熵最大的模型称为最大熵模型。

  • 相关阅读:
    NOIP2006代码及简析
    设计模式的原则
    UML应用
    关系
    活动图
    状态图
    UML概序
    UML基本图示
    用例
    介绍一个好的英语学习网站!
  • 原文地址:https://www.cnblogs.com/chengxuyuanxiaowang/p/4776693.html
Copyright © 2020-2023  润新知