• Coursera台大机器学习技法课程笔记05-Kernel Logistic Regression


          这一节主要讲的是如何将Kernel trick 用到 logistic regression上。

         从另一个角度来看soft-margin SVM,将其与 logistic regression进行对比,发现可将

    SVM看作一个正则化模型:

          

          

         将SVM看作一个regularize model,是为了更好的延伸到其他模型上。

         下面从erro measure的角度来分析二者相似性:

          

         再从binary classfication的角度来比对:做了一个LogReg就相当于做了SVM,那SVM的结果能否用到LogReg上呢?

         

        能否将SVM与LogReg进行融合呢?

       

       先由SVM跑出一个分数,然后引入两个变量将其引入到LogReg:

        

       更具体:

       

       上面得到的是在Z空间的近似解,如果想要得到一个准确解呢?

       回想之前能用kernel trick的关键,是因为w能表示成z的线性组合。那能否推广这个结论呢?

      

       用反证法对这个想法进行了证明:任何 L2-regularized都能被kernelized

       

       将kernel用到logistic regression上:

      

     另一个角度看 logistic regression:

     

          参考:http://www.cnblogs.com/xbf9xbf/p/4633775.html

  • 相关阅读:
    [SHOI2015]自动刷题机
    【教程】AI画放射图
    AI画圆角矩形
    极限运动:街头极限单车,不只是牛逼!
    DPK750针式打印机驱动,750u.dll下载
    文艺青年必看的Ⅹ部心理电影
    C语言程序设计-第2章 算法-程序的灵魂
    C语言程序设计-第1章 程序设计和C语言
    20151127笔记
    20151125小概念
  • 原文地址:https://www.cnblogs.com/573177885qq/p/4667756.html
Copyright © 2020-2023  润新知