整理自李航老师统计机器学习。
拍照版纸质笔记。
目录：
- 线性支持向量机与软间隔最大化
- 学习的对偶算法
- 支持向量
- 合页损失函数
- 核函数与核技巧
- 非线性支持向量机
- 序列最小最优化（SMO）算法
序列最小最优化（SMO）算法
支持向量机的学习问题即凸二次规划的求解问题，有很多的算法可以进行求解。但是当训练样本的数目非常多的时候，算法会十分的低效，以至于无法使用。
SMO算法可以快速高效的求解出学习问题。它的一个基本思路是：当所有的解的变量都满足KKT条件时，那么这就是最优化问题的解；否则，选取两个变量，固定其他的变量，构造一个只含两个变量的凸二次规划问题，求解这个问题得到的解就会更加接近原始问题的解，而且2个变量的凸二次规划问题具有解析解，求解简单；这样做可以大大加快算法的计算速度。
具体的SMO算法不做解释。