深度学习

梯度

什么是梯度？

导数：标量。各个反向都有，反映函数在给定方向的变化率。
偏导数：标量。是一种特殊的导数。沿自变量反向，反映函数在各自变量方向的变化率。
梯度：向量。由各个偏导数组成的向量。梯度的反向反映函数增长的方向

下面的箭头表示梯度：

梯度下降

图源：https://ruder.io/optimizing-gradient-descent/

局部极小值

ResNet可以平滑局部极小值：

鞍点

有可能求得的是某个维度的极小值，却是另一个维度的极大值。

影响求极小值的因素

初始状态

不同的初始状态对结果产生影响：

学习率

不再赘述

动量

使其具有保持原来运动方向的趋势。