• 1.2 linear SVM 推导


    1.将公式中的distance具体化
    将$w_0$单独抽出作为$b$,$w=(w_1,...,w_n),x=(x_1,...,x_n)$
    则分割平面为:$w^Tx+b=0$
    A.证明w为法向量
        设两点$x',x''$都在平面上,所以有
        $w^Tx'=w^Tx''=-b$
        $w^T(x'-x'')=0$
        可以知道$x'-x''$是平面上的一个向量,$w$和它垂直,所以为法向量
    B.距离表示为x-x'到法向量的投影,同时使用第一个限制条件
        $distance=|frac{w^T(x-x')}{||w||}|=|frac{w^Tx+b}{||w||}|=frac{1}{||w||}y_n(w^Tx+b)$
     

    2.使用放缩,简化条件
      因为$w^Tx+b=0$和$3w^Tx+3b=0$表示同一个平面,适当放缩w和b
      使 $minlimits_{n=1,...,N}y_n(w^Tx+b) = 1$,则$margin(b,w)=frac{1}{||w||}$
      此时下方限制条件使最小的等于0,已经保证上方的条件,所以上方可省略
     
    3.放松限制条件,去除min
    A.变换条件,解不变
       变条件为$y_n(w^Tx+b)geq 1$
       假设此时在$y_n(w^Tx+b)$上取得最优(b,w),
       比如是在$y_n(w^Tx+b)=1.26$取得最优解,此时放缩(b,w)为$(frac{b}{1.26},frac{w}{1.26})$,
       此时由于w变短,所以得到更好的解
       因此,最优解不能在大于1的地方获得,最优解保持一致
    B.变换max为min,并去除根号
     
    7eae1d20-0edf-46dc-867c-090b71a631e6.png
  • 相关阅读:
    JavaScript
    简单的js合天
    DNS信息收集
    合天 GG
    java/web语言的笔记
    虚拟ip题目
    说明
    ASP.NET MVC HtmlHelper用法大全
    『合肥』郁闷!刚买了没一个月的Ipad 2居然降价了!!啊啊啊啊啊啊!!!!
    第一次写博客用来记录自己的工程师生涯。
  • 原文地址:https://www.cnblogs.com/porco/p/4501083.html
Copyright © 2020-2023  润新知