本系列文档是根据小象学院-邹博主讲的《机器学习》自己做的笔记。感觉讲得很好，公式推理通俗易懂。是学习机器学习的不错的选择。当时花了几百大洋买的。觉得不能浪费，应该不止一遍的研习。禁止转载，严禁用于商业用途。废话不多说了，开始整理笔记。
首先从凸集及其性质开始，邹博老师在课程里讲得很详细，笔记里就只记录我认为的重点了。
直线的向量表达：
过两定点A(5,1)。B（2,3）
还能推广到高维：三位平面，超平面。
仿射集 定义：通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集。
像直线、平面、超平面都是仿射集。
凸集 定义：集合C内任意两点间的线段均在集合C内，则称集合C为凸集。
还有K个点的推广版本：
由上面的定义可以知道，仿射集必然是凸集，但凸集不一定是仿射集。
超平面和半空间：
2x+3y-9=0表示直线，可以写成向量的形式
推广开来，超平面可以这样定义：
将等式 写成不等式就得到半空间的概念：
下面是二维空间里的例子，当然可以推广到高维的空间里。
下面了解几个保持凸性的运算：
1.集合交算。例如：半空间的交
2.仿射变换
f=Ax+b的形式，称函数是仿射的：线性函数加常数的形式。
3.透视变换
4.投射变换
分割超平面：设C和D为两个不相交的凸集，则存在超平面P可以将C和D分离。
支撑超平面：
如何定义两个集合的“最优”分割超平面?
支撑向量
支持向量机的内容。
*********************************************分割线**************************************************
凸函数定义：
前面表示是底下部分，后面是上面的直线.
直观的理解就是：线段位于图像上方就是凸函数。
Jensen不等式：函数f是凸函数（基本条件）。
则有基本Jensen不等式：
k个
的版本
离散的情况下成立，连续的情况下也成立。
可以看成期望的形式如下：
Jensen不等式几乎是所有不等式的基础。
保持函数凸性的算子：
凸函数的非负加权和：
凸函数与仿射函数的复合：
凸函数的逐点最大值、逐点上确界：
N条直线（直线是凸的，直线既是凸的又是凹的），在每个x处取得这些直线的最大点，则构成的新函数是凸函数；
当然，N条直线逐点求下界，得到的新函数是凹函数。
********************************************************分割线*********************************************************
凸优化
优化问题的基本形式：
凸优化问题的基本形式：
凸优化问题的重要性质：
凸优化问题的可行域为凸集
凸优化问题的局部最优即为全局最优解。
对偶问题：
思路整理：
我们的目的：
然后约束条件有：
这样，由④的最大值可以求的①的最小值，达到目的。
并且
要想保证取等号，则需要KKT条件。
只做学习用途。欢迎讨论及指正！
可以在新浪微博@徐卜灵 找到我哦。