二阶泰勒展开:
f(x)=f(0)+f′Tx+12xTf′′x+o(⋅)
对等式右端求导,并置 0,得x=f′′−1f′
1. 方向导数与梯度
设有单位向量
对
因此方向导数定义式进一步可化为:
所以其沿任意方向的导数为:
- 大于 0,为上升方向(
f(x+αh)−f(x)>0 ); - 小于 0,则为下降方向(
f(x+αh)−f(x)<0 ); cos(∇f(x),h)=1 (夹角为 0°,h=∇f ) 时,∂f∂h 取的最大值,为∥∇f∥ ,h=∇f 为最速上升方向;cos(∇f(x),h)=−1 (夹角为 180°,h=−∇f ) 时,∂f∂h 取得最小值,为−∥∇f∥ ,h=−∇f 为最速下降方向;
2. 几种特殊类型的函数,求梯度
自然是对自变量
x 求偏导;求梯度得到的是一个列向量;
bTx=∑ibixi ,则∇bTx=b xTx=∑ix2i ,则∇xTx=2x xTAx (AT=A ),则∇xTAx=2Ax