1 等式约束优化问题
等式约束问题如下：
求解方法包括：消元法、拉格朗日乘子法。
1、消元法
通过等式约束条件消去一个变量，得到其他变量关于该变量的表达式代入目标函数，转化为无约束的极值求解问题，具体过程如下：
得到无约束的极值问题即可通过：一阶导数=0求驻点，Hession矩阵判定极值点。
2、拉格朗日乘子法
消元法大部分情况下很难适用，比如等式约束为高次耦合非线性，难以消去其中一个变量。拉格朗日乘子法适用于多维、高次、非线性约束方程。
拉格朗日乘子法（二维问题）：
三个方程三个未知数，联立该方程即可求解最优的。
拉格朗日乘子法（多维问题）：
得到的方程组，方程个数与未知变量个数相同，可以求解得出。
2 不等式约束优化问题与KKT条件
求解思路是对非线性约束条件引入松弛变量，转化为等式约束，二维问题如下：
注意，引入松弛变量是为了确保非负，这样满足约束函数小于等于0的条件。
多维问题如下：
引入松弛变量的作用是为了将不等式约束转化为等式约束，原理是：松弛变量是等高线负值，将不等式约束的取值面改为等式约束的取值曲线，但要满足不等式约束条件。
KKT条件：上述方法问题在于求解出来的解可能不满足原不等式约束条件，即解落于参数区域外。下面介绍通用的KKT条件：
KKT条件给出了不等式约束条件的优化问题，存在极值点的必要条件，即通过判定该条件来判定解是否存在，并利用KKT条件求解极值。必要条件如下：
KKT条件证明：
KKT条件应用说明：
3 拉格朗日乘子法证明
如果极值点存在，则极值点满足目标函数在约束曲线的切线方向方向导数为0，如下：
为什么？因为方向导数代表了曲面梯度在曲线切向方向的分量，梯度是曲面在该点上升的方向，如果曲面梯度与曲线切线向量乘积不为0，即梯度与曲线切线不垂直，则在该曲线上，沿着负梯度方向走，必然能找见更小的点。
同时易得：极值点满足约束函数再约束曲线切线方向的导数为0（二维函数），如下：
则对比上述两个方程切线矢量的系数可以得到：
4 KKT计算实例
对于如下非线性规划问题：
