The Representer Theorem, 表示定理.
给定:
- 非空样本空间: (chi)
- (m)个样本:({(x_1, y_1), dots, (x_m, y_m)}, x_i in chi, y_i in R)
- 非负的损失函数: (J:(chi imes R^2)^m o R^+). 这个符号表示初看挺别扭的, 从wikipedia上抄来的. 含义是(J)有(m imes 3)个参数, 3代表: 样本(x_i) (一个(chi))+ 它的目标值(y_i)(一个(R)) + 估计值 (f(x_i)) (另一个(R))
- 一个正半定kernel function : (kappa: chi^2 o R)
- (kappa)对应的再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS) (H)
- 一个递增函数(g)
优化问题:
[argmin_h J = argmin_h J(x_1, y_1, h(x_1), dots, x_m, y_m, g(||h||^2))
]
如果(h^* in H)是一个最优解,(h*)必具有以下形式:
[h^* = sum_{i=1}^m alpha_i kappa(x_i, cdot)
]
可能是理解不够吧, 感觉也就那样:
SVM要去掉bias才符合.(将(x)增广可将(b)并入(w)处理)- 只说明形式, 对得到(alpha)的值并没有帮助.
所以证明就不管了, 知道有这么回事就行了. 以后若需要深入了解, 可以参考pdf