SGD
此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。
SGD就是每一次迭代计算mini-batch的梯度，然后对参数进行更新，是最常见的优化方法了。即：
其中，是学习率，
是梯度 SGD完全依赖于当前batch的梯度，所以
可理解为允许当前batch的梯度多大程度影响参数更新
缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法）
- 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了
- SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点【原来写的是“容易困于鞍点”，经查阅论文发现，其实在合适的初始化和step size的情况下，鞍点的影响并没这么大。
Momentum
momentum是模拟物理里动量的概念，积累之前的动量来替代真正的梯度。公式如下：
特点：
- 下降初期时，使用上一次参数更新，下降方向一致，乘上较大的
能够进行很好的加速
- 下降中后期时，在局部最小值来回震荡的时候，
，
- 在梯度改变方向的时候，