• 统计学习方法读书笔记:感知机


    什么是感知机

    二分类的线性分类模型,输入是实例的特征向量,输出是实例的类别,取-1和+1两值。

    感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。

    感知机是神经网络和支持向量机的基础。

    模型的使用条件

    数据集需要是线性可分的,同时,如果数据集是线性可分的话,经过一定的迭代次数一定可以得到一个感知机模型,将正负例分离开。

    损失函数的定义

    一个自然的选择是误分类点的总数,但是这样的损失函数不是参数w和b的连续可导函数,不易于优化。

    感知机所采用的损失函数为误分类点到超平面S的总距离。

    学习算法

    感知机学习问题转化为求解损失函数的最优化问题。

    最优化的方法为随机梯度下降。

    (1)任意选择一个超平面w0和b0;

    (2)梯度下降不断地极小化目标函数,极小化的过程中每次只随机地选择一个误分类点使其梯度下降。

  • 相关阅读:
    从书上学的东西(顺带总结一发)
    网上讲的好的知识点汇总
    土地征用题解(兼斜率优化详解)
    Blocks题解(区间dp)
    高精度模板汇总
    动态规划总结
    异或序列(题解)(莫队)
    小Z的袜子(题解)(莫队)
    小B的询问(题解)(莫队)
    凸包模板——Graham扫描法
  • 原文地址:https://www.cnblogs.com/harrygogo/p/4645634.html
Copyright © 2020-2023  润新知