最常用的：梯度下降法(gradient descent)或最速下降法(steepest descent)。有实现简单的优点。梯度下降是迭代算法，每一步需要求解目标函数的梯度。
当目标函数是凸函数时，梯度下降算法是全局最优解。一般情况下，其解不保证是全局最优解。梯度下降法的收敛速度也未必最快。
还有，牛顿法和拟牛顿法，也是常用的方法，有收敛速度快的优点。牛顿算法是迭代算法，每一步需要求解目标函数的海赛矩阵，计算比较复杂。
拟牛顿算法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵，简化了计算过程。即“模拟”牛顿法的改进型算法。基本思想是不用二阶偏导数而构造出可以近似海赛矩阵的逆的正定对称阵，从而在“拟牛顿”的条件下优化目标函数。海赛阵的构造方法的不同决定了不同的拟牛顿法。
其他方法：DFP(davidon-fletcher-powell)算法，BFGS(broyden-fletcher-goldfarb-shanno)算法， broyden类算法。这些方法其实都是拟牛顿方法。
牛顿法相关博客：http://jacoxu.com/?p=146
拟牛顿法相关博客：http://www.tuicool.com/articles/EviQ32m http://www.codelast.com/?p=2780
补充资料：单纯形法，20世纪十大牛逼算法之一，还未搞懂，帖个维基百科连接：https://en.wikipedia.org/wiki/Simplex_algorithm