(原创)
本文讨论svm,支持向量机的原理
1 思想
找到最大间隔的分离超平面 wx+b,(从数学上可以证明他有存在性和唯一性)
那么怎么样度量间隔,以及怎么求解最优化问题,就是接下来的内容
2 函数间距和几何间距
函数间隔和w成比例,为了避免这个影响,引入了w规范化 | w | =1后的 几何间隔
3 约束条件下的最优化问题
(1)约束条件:假定间隔m,每个样本到超平面的几何距离至少是m
(2)优化问题:max m
4 原始数据线性不可分,映射函数
以上情况都是在原始数据线性可分下的理想情况,很多情况下原始数据都不能直接线性可分
为了能够使用线性可分的方法,需要使用到数学的转换思想。
通过一个 映射函数Φ 将线性不可分的空间,映射到线性可分的空间上去
5 核函数技巧
在优化计算的数学过程中,需要计算Φx1 和 Φx2 的内积
引入核函数 K(x1,x2) 定义为这两个量的内积,
那么在计算中,只需要知道核函数即可,而不必非要显式的知道映射函数Φ
此即核函数技巧。