2014年斯坦福机器学习课程2-7
课程中主要介绍梯度下降算法找代价函数的最小值。我们知道梯度下降可以找到局部最优，
但不一定是全局最优。但如果convex function（凸函数），可以通过梯度下降找到全局最优解。
此时局部最优对应全局最优。于是恩达老师举了个凸函数的例子，弓形的曲面。但并没有具体
介绍凸函数的定义，只是说该曲面为凸函数，这就与大学时期学的高等数学中的凸函数定义有
些矛盾，如果没有记错定义的话完全相反。
如何判断是否是凸函数？
法一、求导
对于一元函数，通过二阶导数大于等于零来判断是凸函数。
对于多元函数，通过它的黑塞矩阵的正定性来判断，如果正定，则为凸函数
法二、分析函数结构
- 指数函数是凸函数；
- 对数函数是凹函数，然后负对数函数就是凸函数；
- 对于一个凸函数进行仿射变换，可以理解为线性变换，结果还是凸函数；
- 二次函数是凸函数（二次项系数为正）；
- 高斯分布函数是凹函数；
- 多个凸函数的线性加权，如果权值是大于等于零的，那么整个加权结果函数是凸函数。