BGD(batch gradient descent)
遍历完所有数据，计算一次损失函数，更新一次梯度。
计算量大，速度慢，不支持在线学习。
SGD(stochastic gradient descent)
看一个数据，就计算一次损失函数，更新一次梯度。
速度快，收敛性能不太好，可能在最优点附近震荡，找不到最优点。
mini-batch
克服上面两个方法的缺点，将数据分为若干个批次，小批的梯度下降。
按批来更新参数。一个批中的所有数据共同决定本批梯度的方向，下降起来不容易跑偏，减少随机性。计算量也小。