梯度与梯度下降（上升）算法
方向导数与偏导数
设函数(z=f(x,y))在点(P(x,y))的某一领域(U(P))内有定义。自点(P)引射线(l)。设(x)轴正向到射线(l)的转角为(varphi)，并设(P'(x+Delta x, y + Delta y))为(l)上的另一点且(P'in U(p))。
考虑
[lim_{
ho
ightarrow 0}dfrac{f(x+Delta x,y + Delta y)-f(x,y)}{
ho}
]
若此极限存在，则称此极限为函数(f(x,y))在点(P)沿方向(l)的方向导数，记作(dfrac{partial f}{partial l})，即
[dfrac{partial f}{partial l}=lim_{
ho
ightarrow 0}dfrac{f(x+Delta x,y + Delta y)-f(x,y)}{
ho}
]
其中( ho=sqrt{(Delta x)^2+(Delta y)^2})。
-
如果函数(z=f(x,y))在(P(x,y))是可微分的，那么函数在改点的任一方向(l)的方向导数都存在，且有
[dfrac{partial f}{partial l}=dfrac{partial f}{partial x}cos varphi + dfrac{partial f}{partial y}sinvarphi ]其中(varphi)为(x)轴到方向(l)的夹角。
简要证明
[egin{align*} f(x+Delta x, y + Delta y) - f(x,y) &= frac{partial f}{partial x}Delta x + frac{partial f}{partial y}Delta y + o( ho) \ dfrac{f(x + Delta x,y + Delta y) - f(x,y)}{ ho} &= dfrac{partial f}{partial x}cosvarphi + dfrac{partial f}{partial y}sinvarphi + frac{o( ho)}{ ho}\ dfrac{partial f}{partial l} &= lim_{ ho ightarrow 0}dfrac{f(x+Delta x,y + Delta y)-f(x,y)}{ ho}\ &= dfrac{partial f}{partial x}cosvarphi + dfrac{partial f}{partial y}sinvarphi end{align*} ]