卓越源于坚持，努力须有方向。
如上图所示，有一堆训练数据的正负样本，标记为：，假设有一个超平面H：
，可以把这些样本正确无误地分割开来，同时存在两个平行于H的超平面H1和H2：
使离H最近的正负样本刚好分别落在H1和H2上，这样的样本就是支持向量。那么其他所有的训练样本都将位于H1和H2之外，样本距离可以是任何值，没必要是正负1.也就是满足如下约束：
写成统一的式子就是：
（1）
而超平面H1和H2的距离可知为：
SVM的任务就是寻找这样一个超平面H把样本无误地分割成两部分，并且使H1和H2的距离最大。要找到这样的超平面，只需最大化间隔Margin，也就是最小化。于是可以构造如下的条件极值问题：
（2）
对于不等式约束的条件极值问题，可以用拉格朗日方法求解。而拉格朗日方程的构造规则是：用约束方程乘以非负的拉格朗日系数，然后再从目标函数中减去。于是得到拉格朗日方程如下：
（3）
其中：
（4）
那么我们要处理的规划问题就变为：
（5）
上式才是严格的不等式约束的拉格朗日条件极值的表达式。对于这一步的变换，很多文章都没有多做表述，或者理解有偏差，从而影响了读者后续的推演。在此我将详细地一步步推导，以解困惑。
（5）式是一个凸规划问题，其意义是先对α求偏导，令其等于0消掉α，然后再对w和b求L的最小值。要直接求解（5）式是有难度的，通过消去拉格朗日系数来化简方程，对我们的问题无济于事。所幸这个问题可以通过拉格朗日对偶问题来解决，为此我们把（5）式做一个等价变换：
上式即为对偶变换，这样就把这个凸规划问题转换成了对偶问题：
（6）
其意义是：原凸规划问题可以转化为先对w和b求偏导，令其等于0消掉w和b，然后再对α求L的最大值。下面我们就来求解（6）式，为此我们先计算w和b的偏导数。由（3）式有：
（7）
为了让L在w和b上取到最小值，令（7）式的两个偏导数分别为0，于是得到：
（8）
将（8）代回（3）式，可得：
（9）
再把（9）代入（6）式有：
（10）
考虑到（8）式，我们的对偶问题就变为：
（11）
上式这个规划问题可以直接从数值方法计算求解。
需要指出的一点是，（2）式的条件极值问题能够转化为（5）式的凸规划问题，其中隐含着一个约束，即：
（12）
这个约束是这样得来的，如果（2）和（5）等效，必有：
把（3）式代入上式中，得到：
化简得到：
（13）
又因为约束（1）式和（4）式，有：
所以要使（13）式成立，只有令：，由此得到（12）式的约束。该约束的意义是：如果一个样本是支持向量，则其对应的拉格朗日系数非零；如果一个样本不是支持向量，则其对应的拉格朗日系数一定为0。由此可知大多数拉格朗日系数都是0。
一旦我们从（11）式求解出所有拉格朗日系数，就可以通过（8）式的
计算得到最优分割面H的法向量w。而分割阈值b也可以通过（12）式的约束用支持向量计算出来。这样我们就找到了最优的H1和H2，这就是我们训练出来的SVM。