1 无约束形式的soft-SVM
我们知道，soft-SVM的一般形式是：
这里我们把松弛变量ξn写成下面的形式（这里其实就是松弛变量的定义，如果这个点不违反硬条件，则它的松弛变量为0，否则的话，松弛变量的值就是它到底违反了多少，即yn(w*xn + b)与1的差值）:
这样写之后，原问题的约束条件已经被包含进来了。因此原问题变为下面的无约束形式：
2 soft-SVM与逻辑回归的联系
我们用另一种方式看待上面的无约束形式：第一项是正则项，第二项是替代01错误的一个errhat。我们把01错误和这个errhat画在图上，可以发现：
这个errhat是01错误的上界，所以我们只要做好这个errhat，也就间接做好了01错误。
我们再把逻辑回归的errhat加进来：
黄色的线是逻辑回归的err。可以发现，它和svm的err是很接近的！
结论：
加L2正则的逻辑回归，很近似的相当于soft-SVM。
3 用SVM来输出概率值
由于SVM和逻辑回归的相似性，因此我们可以用如下两层学习的方式，先学一个SVM模型，然后把这个模型的打分用最大似然的原则的微调：
得到的混合模型就可以用来输出概率。
4 核型逻辑回归KLR
加L2正则的逻辑回归，可以用核函数来做。下面我们做一番推导。
首先介绍一个定理，Representer Theorem：
即：对于加了L2正则，并且err是wz的函数的问题，最优的w一定是z的线性组合。
证明如下：
因此，对于加L2正则的逻辑回归来说，就有：
代入最优的w形式，并把z的乘积用核函数表示：
5 另一个视角看KLR
我们的KLR既可以看作是z空间上的一个线性模型，也可以看作是核函数对原始特征变换后产生新特征的一个线性模型。
KLR的形式是：
经核函数变换得到的新特征是：
右边这一项就是在新特征上的一个线性模型，左边这一项可以看作一个正则项：
因此KLR既可以看作是w的一个线性模型，也可以看作是β的一个线性模型：
