• 机器学习之SVM与逻辑回归的联系和区别


      通常说的SVM与逻辑回归的联系一般指的是软间隔的SVM与逻辑回归之间的关系,硬间隔的SVM应该是与感知机模型的区别和联系。而且工程中也不能要求所有的点都正确分类,训练数据中噪声的存在使得完全正确分类很可能造成过拟合。

      软间隔SVM与逻辑回归的联系

      要说软间隔SVM与联系就要看软间隔SVM的缘由。

      软间隔SVM表示样本数据不必要求全部正确分类,允许少量的数据点犯错。于是将硬间隔SVM的优化目标由:

      

      变成硬间隔的优化目标:

      

      在上面的优化目标中加上了惩罚项,C越大惩罚越大允许的错误越小。但是直接使用0/1损失函数的话其非凸、非连续,数学性质不好优化起来比较复杂,因此需要使用其他的数学性能较好的函数进行替换,替代损失函数一般有较好的数学性质。常用的三种替代函数:

      1、hinge损失:

      2、指数损失:

      3、对吕损失:

      一般的软间隔SVM采用的是hinge损失函数进行替代,可以得到常见的软件的SVM的优化目标函数。如果采用的是对率损失函数进行替代那么就和逻辑回归的优化目标几乎相同,这就得到了软间隔SVM与逻辑回归的数学上的联系,因此一般来说SVM的性能和逻辑回归的性能差不多。

      软间隔SVM与逻辑回归的区别

      1、逻辑回归通过输出预测概率后根据阈值进行判断类别,SVM则直接输出分割超平面,然后使用0/1函数对距离进行分类,不能直接输出概率值,如果需要SVM输出概率值则需要进行特殊处理,可以根据距离的大小进行归一化概率输出。

      2、逻辑回归可以使用多阈值然后进行多分类,SVM则需要进行推广。

      3、SVM在训练过程只需要支持向量的,依赖的训练样本数较小,而逻辑回归则是需要全部的训练样本数据,在训练时开销更大。

  • 相关阅读:
    Python2 新手 编码问题 吐血总结
    朴素贝叶斯算法下的情感分析——C#编程实现
    element ui输入框监听enter回车事件
    MySql的动态语句foreach各种用法比较
    Mybatis中的CDATA标签的用法
    IDEA里面报黄色/灰色的重复代码的下划波浪线的去除方案
    wamp 3.0.6(apache 2.4.23) 403 forbidden 解决办法
    less文件编译成微信小程序wxss文件
    C#返回时间格式转换成 js 字符串
    Highcharts动态添加点数据
  • 原文地址:https://www.cnblogs.com/daguankele/p/6652597.html
Copyright © 2020-2023  润新知