• support vector regression与 kernel ridge regression


    前一篇,我们将SVM与logistic regression联系起来,这一次我们将SVM与ridge regression(之前的linear regression)联系起来。

    (一)kernel ridge regression

    之前我们之前在做的是linear regression,现在我们希望在regression中使用kernel trick。

    image

    image

    下面是linear versus kernel:

    image

    至此,kernel ridge regression结束。但是,这里的β与kernel logistic regression中的β存在同样的问题:β大多不是0。具体例子如下:

    image

    (二) support vector regression

    前一篇文章中,有两个思路:1.把SVM与logistic regression混合起来用(先运行SVM,后运行logistic regression);2.将kernel trick加到logistic regression中;

    这一次,我们已经完成了上述思路2:将kernel trick加到ridge regression中;却不打算完成上述的思路1了。

    为什么不完成思路1了呢?一是因为课程中没有讲;二是把SVM与logistic regression混合起来得到的probabilistic SVM,我没有理解这一算法有什么好处

    我们现在希望:将kernel ridge regression中的β变得很sparse。这就要借助QP工具。

    现在错误衡量方式为:

    image

    这种衡量方式得到的nonlinear error,跟SVM的nonlinear error形式上很相似。所以可以使用SVM的求解方法。

    image

    转化为SVM问题:

    image

    image

    image

    image

    image

  • 相关阅读:
    漏洞扫描
    端口探测
    IP探测
    kali linux基础命令
    python学习07
    python学习06
    openoffice+jquery.media.js实现Linux与Windows中文档在线预览
    Oracle10g安装包
    MyEclipse2014安装包附注册破解包、eclipse安装包
    外层div自适应内层div高度
  • 原文地址:https://www.cnblogs.com/wangyanphp/p/5505628.html
Copyright © 2020-2023  润新知