• 逻辑回归推导


    首先线性模型:

    而logistic回归则通过函数L将w‘x+b对应一个隐状态p,p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数

    而每一个观察到的样本(xi, yi)出现的概率是:

    由于y的取值是(0,1),当y=1的时候,后面那一项是不是没有了,那就只剩下x属于1类的概率,当y=0的时候,第一项是不是没有了,

    那就只剩下后面那个x属于0的概率(1减去x属于1的概率)。所以不管y是0还是1,上面得到的数,都是(x, y)出现的概率,所以:

     又因为,p =L(w‘x+b),即是logistic之后,而逻辑函数(即是sigmoid函数)又等于:

    所以:(其实这里已经推导出来的逻辑回归表达式)

    后面的是损失函数了

    整合为似然函数为:

     对数似然函数为(log减就是除):前面少了log,最后面少了大括号]

    令:

    得到:

     而又有:

      代入对数似然函数  (L(w)少了log())  :

     也可以这样表达:

     这时候为求最大值,对L(θ)对θ求导,得到:

     求导太复杂了,就不求导了

    逻辑回归的最终模型为:

     转换一下:

    ============================================================

    这步我主要看求导部分,也就是求参数的最小值

     

  • 相关阅读:
    c# 并行运算二
    c# 并行运算
    Task+http请求
    Task多线程
    SSO系统认证
    web系统权限设计
    AutoMapper的使用
    中间件
    express-middleware
    中间件概念
  • 原文地址:https://www.cnblogs.com/cgmcoding/p/13536280.html
Copyright © 2020-2023  润新知