SVM
时间复杂度一般为O(N³)
最重要的是推导过程
NIPS(机器学习顶级会议)
如果给定一个训练集,我们的目标是给定一个边界(一条线),离他最近的训练集样本路越宽越好
下面的几张图反映了SVM的推导过程,可惜,这个文本编辑框不太熟,没法解释具体个中过程,只好
先说中间涉及的各个知识。
KEY IDEAS
推导过程:
图(1)
涉及到向量的投影,,以中间距离正负样本点几乎等宽的粗线为分界线 l,从原点引出一条向量W,垂直于 l,X正为正样本点,
X负为负样本点,大于1为正,小于1为负,以此分开。
图(2)
将图(1)中右侧两个式子合并,得到②式,X为样本区域附近
图(3)
向量W的max是(正样本点-负样本点)*单位1,WIDTH的式子展开,将左下角的②式带入,
消元,只剩下2倍的向量W的长度值。
图(4)
转化成求左下角的式子。。。
图(5)
上图此处要用到多元偏导的知识,求极值,得出方框里的值
图(6)
化简后的值。
图(7)
终极BOSS!
核函数的作用: 将高维映射为低维,这一点涉及的知识点比较系统,有时间的话,重新整理发布一下,^_^
图(8)
图(9)