参考:
https://www.zhihu.com/column/numerical-optimization
1. Line search与Trust Region
一个先定方向(梯度方向,牛顿方向(用二阶函数拟合),quasi-Newton方向(拟合hessian矩阵),conjugate gradient方向),再定步长(确定interval,插值)
一个可认为先定范围,再选最小值。
2. Gauss-Newton:
特指非线性最小二乘问题中的,用J^T J拟合Hessian的Quasi-Newton法。
3. Levenberg-Marquadt
特指用J^T J + lambda I 拟合Hessian方法。主要是J^T J未必严格正定。