超平面
超平面是 $n$ 维空间的 $n-1$ 维子空间,类似二维空间的直线,三维空间的平面。
分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开。以二维空间为例:
如图所示,若要把图中的红圆和蓝圆分开,有许多直线可以选择,而这些直线的定义就是: $Ax+By+C = 0$。
同理,如果是在三维空间中就是$Ax+By+Cz+D=0$。
当在更高的维数时,就是 $omega _{1}x_{1} + omega _{2}x_{2}+omega _{3}x_{3}+cdots +omega _{d}x_{d}+b$,用向量形式表达就是:
$mathbf{omega }^{T}mathbf{x}+b=0$
其中 $mathbf{omega }=(omega_{1 };omega_{1 };cdots ;omega_{d }) $为法向量,决定了超平面的方向,为什么它就是法向量呢?看一下下面的高数知识就懂了。
点到超平面的距离
根据点到直线和点到平面的距离可推断出空间中任意点$mathbf{x}$到超平面的距离为:
$r=frac{|mathbf{omega }^{T}mathbf{x}+b|}{left | mathbf{omega } ight |}$
具体的推导就是: