• 从广义线性模型到逻辑回归,逻辑回归的深入理解


    总结:由于逻辑回归假定y的条件分布(y|x)是伯努利分布,所以根据广义线性模型和指数分布簇的定义,它对应的假设函数是sigmoid函数。


    广义线性模型的三个假设——逻辑回归

    1、 假定服从指数分布簇的某个分布(见文章后面参考)

      逻辑回归中,,所以假定【即已知参数θ的情况下,给定x,y的条件概率服从参数的伯努利分布】,此时有。在将伯努利分布转换成指数簇的表达形式中,得知

      见文章后面参考)

    2、假定在假设h下预测值hθ(x)满足【即预测结果要和均值相同】

      在逻辑回归中有

            

    3、 假定自然参数η与输入x之间是线性相关的,即η=θTx【线性分类器体现在这】

     根据以上信息可以得到:

                


     当假定p(y|x)服从高斯分布时,可以得到线性回归

    当假定p(y|x)服从多项式分布时,可以得到softmax回归(即逻辑回归扩展到多分类问题),从下面的公式可以看出,逻辑回归是softmax回归的特例

    ps:k类分类问题,只需要求k-1个,因为第k个可以有前面k-1个求出(概率和=1),所以二分类问题只需要求一个


    参考:

    指数分布簇具有以下形式:

        

    其中η是分布的自然参数(natural parameter),T(y)是充分统计量(sufficient statistic),一般T(y)=y,a(η)是log partition function。e-a(η)是起标准化作用的。

    将伯努利分布转换成指数分布簇的形式

        

    对应到指数分布簇中有:

        

    此时:

        

    另外:

      

  • 相关阅读:
    关于页面元素不可见的几种方法
    关于a标签点击禁止的
    v-bind 的作用 以及:key的作用
    v-model双向绑定的原理
    es6之babel
    父子组件之间的传参
    组件名学习
    PreparedStatement執行sql語句
    Statement执行DQL语句(查询操作)
    MySQL 插入数据时,中文乱码???问题的解决
  • 原文地址:https://www.cnblogs.com/xiangzhi/p/4668155.html
Copyright © 2020-2023  润新知