参考： 李航《统计学习方法》
【定义】设X是输入空间，又设F为特征空间，如果存在一个从X到F的映射
[phi(x):X→F
]
使得所有的x,z∈X，函数K(x,z)满足条件
[K(x,z)=phi(x)·phi(z)
]
则称K(x,z)为核函数，Φ(x)为映射函数，· 为内积运算。
核函数的想法是，在学习与预测中只定义核函数K(x,z)，而不显式地定义Φ。直接计算K(x,z)比较容易，而通过Φ(x),Φ(z)计算K(x,z)并不容易。
【注意】特征空间F一般是高维的，对于给定的K(x,z)，F和Φ的取法并不唯一。
常用的核函数：
-
多项式核函数(polynomial kernel function)
[K(x,z)=(x·z+1)^p ] -
高斯核函数(Guussian kernel function)
[K(x,z)=exp(-frac{||x-z||^2}{2sigma^2}) ]【个人理解】这些常用的核函数，我尚未去验证，但姑且这样理解：X->F的路径不唯一(F也可以不同)，即Φ可以有千变万化的选择，那我们只要可以从核函数推导出其中一种Φ即可验证该核函数是合理的。而为什么这些核函数比较常用，即这些核函数的特点和优点在哪里，我暂时不去研讨。 可了解一下《统计学习方法》的“正定核”。
核函数的应用：
见文章《PCA与LLE的理解》中的kernel PCA
见文章《LDA的理解》中的kernel LDA